Self-voice: programe pentru citirea textului prin voce. Proiector DOU: BeWarned - aplicații pentru persoanele surde și cu deficiențe de auz Aplicație pentru comunicare cu surzi

Principala problemă cu astfel de aplicații este că această nișă nu este suficient de dezvoltată. În timpul căutării, m-am uitat la peste 30 de aplicații și aproape toate au fost concepute pentru un public vorbitor de limba engleză sau pentru oameni care locuiesc în Europa sau SUA. Cu toate acestea, cele șase aplicații care sunt prezentate mai jos sunt o excepție și, sper, pot fi utile cuiva.

Minunea Modus

Miracle Modus este o aplicație creată de un dezvoltator autist. Judecând după cuvintele și recenziile sale de pe Play Market, aplicația funcționează cu adevărat. Principiul de funcționare este simplu și complex în același timp: Miracle Modus trasează diverse linii și modele și redă sunete relaxante care au un efect calmant asupra persoanelor cu autism.

Jurnalul de Diabet

O aplicație care ajută persoanele cu diabet de gradul I și II. Aici puteți introduce toate informațiile despre alimentele pe care le-ați consumat în timpul zilei. Raportul complet poate fi apoi exportat în Excel pentru a arăta medicului dumneavoastră.

Migrenă Buddy

Permite persoanelor care suferă de migrenă să-și analizeze stilul de viață și să înțeleagă ce factori duc la dureri de cap. De asemenea, aplicația vă urmărește somnul, astfel încât să puteți vedea corelația dintre migrene și calitatea somnului.

Denivelări

Bumps îi ajută pe orbi să învețe Braille. Aplicația acceptă doar limba engleză, deci este potrivită doar pentru cei care doresc să învețe să citească nu numai limba rusă. Pe lângă învățarea alfabetului, Bumps vă permite să introduceți diferite cuvinte și să vedeți cum sunt scrise în Braille.

Există o aplicație similară pentru Android - Braile Guide.

Semne de răspândire

Spread Signs are o bibliotecă imensă de gesturi care ajută persoanele surde și mute să comunice. Baza de aplicații include mai mult de o duzină de limbi, inclusiv rusă, ucraineană și engleză. Puteți învăța atât gesturi care indică litere individuale, cât și cuvinte întregi.

Idee

Buna ziua! Numele meu este Vitaly, sunt dezvoltator și co-fondator al unui startup Atenție. Din copilărie am fost foarte greu de auz, iar soția mea nu aude deloc De mult mi-am dorit să dezvolt aplicații și software pentru surzi și cu probleme de auz. Toate problemele cu care se confruntă îmi sunt familiare.

Eu și soția mea Natalya

Anterior, dezvoltam software pentru companii aeriene civile din Ucraina și am creat o aplicație de realitate augmentată numită SIMO. Mereu am fost interesat de tot ce ține de tehnologie. Și acum câțiva ani l-am cunoscut pe Serghei Malyukov, acum CEO-ul nostru, printr-un profesor la Institutul Politehnic din Kiev, cu care am studiat cândva.

Ideea de a crea o aplicație pentru persoanele surde și cu deficiențe de auz a venit lui Serghei în 2013. Într-o zi, mergea pe stradă seara și o mașină a început să claxoneze în spatele lui, Serghei a sărit rapid în lateral, dar cuplul care mergea în apropiere nu s-a mișcat. A strigat după ei să se îndepărteze, dar au rămas în același loc în care stăteau. Curând, Serghei și-a dat seama că erau câțiva surzi care comunicau între ei. Sergey era sigur că există aplicații care ajută la recunoașterea sunetelor periculoase. După ce a analizat aplicațiile și gadgeturile existente pentru persoanele surde și nu a găsit o singură soluție care să ajute la recunoașterea sunetelor periculoase, și-a propus să creeze o astfel de aplicație. În procesul de lucru, i s-au alăturat mai mulți parteneri, iar acum BeWarned este auto-investit de fondatorii startup-ului.

De îndată ce am auzit despre proiect și am văzut evoluțiile, am fost instant captivat de idee și în curând am devenit co-fondator. În acest moment sunt angajat în dezvoltarea tehnică a unui startup.

Implementarea

În 2014, a fost lansat primul prototip al aplicației BeWarned cu funcția Sound Monitor, care a făcut posibilă recunoașterea sunetelor periculoase în timp real. Acesta a fost primul mic succes. Dar acesta a fost doar începutul.

Din copilărie mi-a plăcut tehnologia, de multe ori asamblam sau dezasamblam ceva, voiam să văd ce va rezulta din asta

Din sute de e-mailuri și recenzii a fost clar că persoanele surde au nevoie de mai mult decât de o aplicație care să recunoască sunete periculoase. Surzii aveau o mie de probleme nerezolvate care puteau fi rezolvate. Pe baza acestor scrisori și feedback, a fost creată platforma BeWarned, care a reunit 4 asistenți tehnici pentru surzi: Sound Monitor, Connect, Emergency Call și Dance.

Sound Monitor rezolvă problema siguranței prin identificarea sunetelor periculoase (țipete, claxon mașină, câine care lătră, sirenă). În caz de pericol, aplicația avertizează utilizatorul prin vibrarea și clipirea blițului de pe smartphone. Connect ajută persoanele surde să comunice cu ceilalți - transformă textul în vorbire și invers. Dansul vă permite să experimentați piesele muzicale transformându-le în vibrații, semnale luminoase și un egalizator vizual pulsatoriu. Apel de urgență ajută utilizatorul să sune pe cei dragi care aud pentru ajutor atunci când se află într-o situație periculoasă.

Puteți găsi mai multe videoclipuri pe canalul nostru

În vara lui 2016, am efectuat testarea beta a platformei în Statele Unite. Drept urmare, 88,9% dintre utilizatori au raportat că ar recomanda aplicația prietenilor.

Cea mai dificilă parte a dezvoltării BeWarned a fost monitorul de sunet, pe care am petrecut câțiva ani să îl dezvoltăm. Programul de recunoaștere a sunetelor periculoase se bazează pe rețele neuronale. Am încercat două tipuri de rețele neuronale: un perceptron multistrat clasic și o rețea neuronală convoluțională. Dar apoi am decis să încercăm modelul Markov ascuns, care era cel mai potrivit pentru sarcinile noastre.

Pentru a crea o bază de date pe care se va baza algoritmul, noi înșine am înregistrat multe variații ale unui tip de sunet periculos, de exemplu, un semnal de mașină, pe baza căruia algoritmul va recunoaște sunetele primite și le va determina ca aparținând un anumit tip. Cu toate acestea, în cursul activității noastre, am întâmpinat o problemă în sensul că algoritmul de recunoaștere a clasificat toate sunetele primite numai în categorii existente: un claxon de mașină, un țipăt, sunetul unei sirene de poliție și un câine care lătră. De exemplu, dacă cineva râdea, programul îl recunoștea ca aparținând uneia dintre aceste categorii. Pentru a rezolva această problemă, a trebuit să segmentăm sunetele, de exemplu, după frecvențe și alte caracteristici. Ceea ce în cele din urmă a făcut posibilă introducerea unui tip suplimentar de sunet nedefinit.

La ceva timp după lansarea platformei BeWarned, am decis să facem schimbări importante pentru a îmbunătăți gradul de utilizare: am simplificat totul radical și l-am adaptat la percepția persoanelor surde. De aceea am relansat aplicațiile individual.

În decembrie, a fost lansat BW Dance (Android, iOS), care s-a transformat dintr-o caracteristică a platformei BeWarned într-o aplicație independentă. BW Dance permite persoanelor surde și cu probleme cu auzul să danseze pe melodiile lor preferate. Utilizatorul adaugă melodiile preferate la o listă de redare, iar aplicația convertește muzica în vibrații, flash-uri și animații pe ecran. De asemenea, utilizatorul poate experimenta muzica folosind un player vizual. BW Dance a fost primit pozitiv de utilizatori atât din Ucraina, cât și din străinătate.

După aceea, am lansat Connect by Bewarned (Android, iOS), o aplicație care permite persoanelor surde și cu deficiențe de auz să comunice cu persoanele auzătoare. Pentru a începe să comunicați cu una sau mai multe persoane din aplicație, trebuie doar să apăsați butonul START și să lăsați cealaltă persoană să vorbească, după care aplicația va converti discursul într-un mesaj text pe care un surd îl poate citi. Aplicația convertește și textul în vorbire, surdul trebuie să scrie ceea ce vrea să spună. În plus, am dezvoltat un set de șabloane care modelează situații simple, repetate frecvent, precum comandarea cafelei la o cafenea. Folosind aceste modele, o persoană surdă poate comunica rapid ceva unei persoane care auz. De asemenea, am oferit posibilitatea de a crea șabloane suplimentare pentru scopurile personale ale fiecărei persoane surde.

Rezultate

În Ucraina, jurnaliştii au început să ne scrie în mod activ STB, 1+1, Channel 5 şi alţii au făcut poveşti despre noi. Am văzut că oamenilor le pasă de surzi și, de asemenea, am văzut că grija de simplitate și utilizare a fost un pas în direcția cea bună. Ne-am dat seama că suntem pe drumul cel bun.

Eu și soția mea vorbim cu jurnaliştii de la Canalul 5

Am lansat Connect by Bewarned pe Product Hunt pe 30 ianuarie și am intrat în TOP 5 al zilei și am fost incluși în buletinul informativ oficial. În comentariile la produsul nostru pe Product Hunt, am primit oferte de ajutor în dezvoltarea localizărilor în franceză și chiar farsi. Împreună cu cele patru localizări deja existente - spaniolă, rusă, ucraineană și engleză, ne vom putea apropia de obiectivul nostru global: ușurarea vieții persoanelor surde.

Sunt convins că profesioniștii IT ar trebui să folosească abilitățile care le sunt date în beneficiul altor oameni. Experiența noastră mică, dar de succes, arată că noile aplicații pot schimba în mod semnificativ viața altor oameni. De aceea, vom continua să lucrăm la ideea întruchipată în Connect by Bewarned: depășirea barierelor în comunicarea dintre persoanele surde și auzătoare, există aproximativ 400 de milioane de persoane în lume.

Echipa BeWarned de la stânga la dreapta: Eu, Evgeny, Evgeniya, Ivan, Yulia, Sergey, Andrey, Ilona, ​​​​Ira, Anton, Andrey (acum suntem chiar mai mulți decât în ​​această fotografie :))

Oamenii ca mine au adesea probleme atunci când au nevoie să comunice cu o persoană care auz: un polițist, un medic, un bancher. Ne sunt garantate legal drepturi egale și acces la servicii pe o bază egală cu persoanele care auz. Dar, în realitate, capacitățile noastre sunt semnificativ limitate. De aceea am decis să ne asumăm o sarcină cu adevărat globală: crearea unei infrastructuri electronice globale care să faciliteze accesul persoanelor surde la toate serviciile care sunt disponibile persoanelor cu auz: bănci, spitale, taxiuri etc. În prezent lucrăm exact la această sarcină.

Doi studenți de la Universitatea Beijing Beihai au dezvoltat o aplicație pentru a ajuta persoanele surde din China. Aplicația se numește Shouyin, ceea ce înseamnă literal „vocea mâinilor”. Vă permite să traduceți semnele limbajului surd în vorbire în timp real.

Aplicația funcționează împreună cu brățara inteligentă și poate recunoaște în prezent mai mult de 200 de caractere, fiecare caracter a fost înregistrat de o mie de ori de la oameni diferiți pentru a îmbunătăți acuratețea traducerii. În prezent, rata de recunoaștere este de 95%.

Tânăra Nana Wang, unul dintre dezvoltatori, a spus că a fost inspirată de o prietenă surdă-mută cu care putea comunica doar prin mesaje de pe telefonul mobil. În China, aproximativ 5% din populație sau 70 de milioane de oameni sunt surzi. Nu există nicio îndoială că aplicația va avea un mare succes. Lansarea oficială a aplicației este programată pentru sfârșitul lunii mai. Programe similare există deja în alte țări din întreaga lume. De exemplu, Uni de la MotionSavvy și traducătorul de limbi pentru surzi de la Google Chats.

Tehnologiile de astăzi se dezvoltă într-un ritm rapid, inclusiv în sfera socială și în medicină. Ele ajută nu numai să facă față diferitelor tipuri de afecțiuni, ci și să-ți înțeleagă mai bine aproapele, chiar dacă percepția lui asupra lumii diferă de a ta. O aplicație specială vă va ajuta să vorbiți cu o persoană surdo-mută, în timp ce tehnologiile VR vă pot ajuta, de exemplu, la înțelegerea autismului și, prin urmare, vă pot apropia de cei care suferă de această boală.

Diverse studii au arătat că peste 99% dintre oameni au auzit de autism, dar doar 16% înțeleg de fapt ce înseamnă această afecțiune psihică. Și potrivit unui sondaj realizat în Marea Britanie, peste 25% dintre persoanele cu autism au fost vreodată rugate să părăsească un loc public, cum ar fi un restaurant sau un magazin, atunci când au văzut simptomele bolii lor.

Pentru a combate această problemă a dezinformarii, British National Autistic Society a decis să creeze film VR, care i-ar ajuta pe toți oamenii să știe cum este să trăiești cu un astfel de diagnostic. Gmbox a scris despre asta.

Acest videoclip virtual vă va duce în corpul unui băiat cu autism și vă va arăta lumea prin ochii lui. În film, intri într-un centru comercial și experimentezi enorma încărcătură senzorială de a te plimba prin acest loc aglomerat. Zgomotul, abundența diferitelor obiecte, culori, mișcarea oamenilor, vocile lor - toate acestea provoacă panică în băiat, ceea ce îi este foarte greu să facă față.

O altă comunitate a bolii Alzheimer a produs și un film VR care te pune în pielea cuiva cu demență. O plimbare prin demență vă va ajuta să înțelegeți cum unele sarcini simple de zi cu zi, cum ar fi să vă faceți o ceașcă de ceai, pot deveni o adevărată provocare pentru cineva cu boală.

Buna ziua!

„Pâinea hrănește trupul, dar o carte hrănește mintea”...

Cărțile sunt unul dintre cele mai valoroase bunuri ale omului modern. Cărțile au apărut în vremuri străvechi și erau foarte scumpe (o carte putea fi schimbată cu o turmă de vaci!). În lumea modernă, cărțile sunt disponibile pentru toată lumea! Citindu-le, devenim mai alfabetizați, ne dezvoltă orizonturile și ingeniozitatea. Și, în general, nu am venit încă cu o sursă mai perfectă de cunoștințe de transferat unul altuia!

Odată cu dezvoltarea tehnologiei informatice (mai ales în ultimii 10 ani), a devenit posibil nu numai să citești cărți, ci și să le asculți (adică un program special ți le va citi, cu voce masculină sau feminină ). Aș dori să vă spun despre instrumentele software pentru voce off.

Posibile probleme de înregistrare

Înainte de a trece la lista de programe, aș dori să mă opresc asupra unei probleme comune și să iau în considerare cazurile în care un program nu poate citi textul.

Cert este că există motoare de voce, acestea pot fi de diferite standarde: SAPI 4, SAPI 5 sau Microsoft Speech Platform (majoritatea programelor pentru reproducerea textului au posibilitatea de a alege acest instrument). Așadar, este logic ca pe lângă un program de citire vocală, să ai nevoie de un motor (va depinde de ce limbă îți vor citi, în ce voce: masculin sau feminin etc.).

Motoare de vorbire

Motoarele pot fi gratuite sau comerciale (desigur, motoarele comerciale oferă cea mai bună calitate a sunetului).

SAPI 4. Versiuni învechite de instrumente. Pentru computerele moderne, nu este recomandat să folosiți versiuni învechite. Este mai bine să aruncați o privire mai atentă la SAPI 5 sau Microsoft Speech Platform.

SAPI 5. Motoare de vorbire moderne, există atât gratuite, cât și plătite. Pe Internet puteți găsi zeci de motoare de vorbire SAPI 5 (cu voci feminine și masculine).

Unul dintre cele mai bune programe pentru exprimarea textului. Permite computerului să citească nu numai fișiere simple în format txt, ci și știri, RSS, orice pagini web de pe Internet, e-mail etc.

În plus, vă permite să convertiți text într-un fișier mp3 (pe care apoi îl puteți descărca pe orice telefon sau player mp3 și îl puteți asculta din mers, de exemplu). Aceste. poți crea singur cărți audio!

Vocile programului IVONA sunt foarte asemănătoare cu cele reale, pronunția este destul de bună și nu se bâlbâie. Apropo, programul poate fi util celor care studiază o limbă străină. Datorită acesteia, puteți asculta pronunția corectă a anumitor cuvinte și expresii.

Suportă SAPI5, plus că cooperează bine cu aplicații externe (de exemplu, Apple iTunes, Skype).

Exemplu (înregistrarea unuia dintre articolele mele recente)

Din minusuri: citește câteva cuvinte necunoscute cu accent și intonație incorecte. În general, nu este rău să asculți, de exemplu, un paragraf dintr-o carte de istorie în timp ce mergi la o prelegere/curs - chiar mai mult decât atât!

Balabolka

Un program excelent pentru lucrul cu cărți: citire, catalogare, căutare a ceea ce aveți nevoie, etc. Pe lângă documentele standard care pot fi citite de alte programe (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB -TXT, LIT-TXT , FB2-TXT etc.) ICE Book Reader acceptă formate de fișiere: .LIT, .CHM și .ePub.

În plus, ICE Book Reader vă permite nu numai să citiți, ci și o excelentă bibliotecă desktop:

• vă permite să stocați, să procesați, să catalogați cărți (până la 250.000 de mii de exemplare!);
• comanda automată a colecției tale;
• căutare rapidă pentru o carte din „halda” dvs. (mai ales important dacă aveți multă literatură necatalogată);
• Motorul de baze de date al ICE Book Reader este superior majorității programelor de acest gen.

De asemenea, programul vă permite să citiți texte folosind vocea.

Pentru a face acest lucru, trebuie să accesați setările programului și să configurați două file: „Mod” (selectați citirea vocii) și „Modul de sinteză a vorbirii” (selectați motorul de vorbire în sine).

Vorbitor

Cu Sakrament Talker vă puteți transforma computerul într-o carte audio vorbitoare! Programul Sakrament Talker acceptă formatele RTF și TXT și poate recunoaște automat codificarea fișierului (probabil, uneori ați observat că unele programe deschid un fișier cu „crackere” în loc de text, dar acest lucru este imposibil în Sakrament Talker!).

În plus, Sakrament Talker vă permite să redați fișiere destul de mari și să găsiți rapid anumite fișiere. Puteți nu numai să ascultați textul vocal pe computer, ci și să îl salvați ca fișier mp3 (care poate fi copiat ulterior pe orice player sau telefon și ascultat departe de computer).

În general, este un program destul de bun care acceptă toate motoarele de voce populare.

Asta e tot pentru azi. În ciuda faptului că programele de astăzi nu pot încă citi complet (100%) text, astfel încât o persoană nu poate determina cine îl citește: un program sau o persoană... Dar cred că într-o zi programele vor realiza acest lucru: puterea computerelor este în creștere , motoarele cresc în volum (inclusiv din ce în ce mai mult, chiar și cele mai complexe ture de vorbire) - ceea ce înseamnă că destul de curând sunetul din program va fi imposibil de distins de vorbirea umană obișnuită?!

Activitățile simple precum vorbirea la telefon, coborarea scărilor sau chiar verificarea datei de expirare a laptelui pot deveni provocatoare pentru persoanele cu dizabilități. Cu toate acestea, unele dintre aceste probleme pot fi rezolvate cu succes folosind un smartphone.

Vă prezentăm o selecție de aplicații mobile care ușurează viața persoanelor cu dizabilități.

Aplicații care recunosc vorbirea

„Conversație Yandex”

Recent, Yandex a lansat o aplicație care ajută persoanele surde și cu deficiențe de auz să comunice cu prietenii și străinii prin traducerea vorbirii vorbite în text și invers.

Aplicația poate asculta și recunoaște vorbirea - tot ceea ce ți se spune este afișat pe ecranul smartphone-ului sub formă de text și, de asemenea, pronunță cuvintele tipărite cu voce tare.

Aplicația a fost inventată și dezvoltată de un grup de studenți MIPT și rulează pe tehnologia Yandex SpeechKit de recunoaștere a vorbirii.

RogerVoice

RogerVoice este o aplicație care permite persoanelor surde să vorbească cu alții la telefon. Aplicația folosește tehnologia de recunoaștere a vorbirii pentru a converti vocea în text, astfel încât persoanele surde să poată citi ceea ce spune cealaltă persoană.

Aplicația a apărut datorită campanie Kickstarter de succes – O versiune beta a aplicației este disponibilă în prezent și poate fi descărcată de pe site-ul web RogerVoice.

O aplicație care te ajută să auzi

Ascultă-te acum

Cu această aplicație, utilizatorii cu deficiențe de auz pot regla sunetul în funcție de situația în care se află - într-un loc public, într-o întâlnire etc. Pentru a face acest lucru, căștile sunt conectate la smartphone, prin intermediul căruia sunetul este furnizat cu setări adecvate pentru a optimiza fundalul sau prim-planul.

Aplicația a fost dezvoltată de ExSilent, un producător olandez de aparate auditive și se adresează persoanelor care pot folosi aparate auditive, dar nu sunt încă pregătite să facă acest lucru.