Собствен глас: програми за гласово четене на текст. DOU Projector: BeWarned - приложения за глухи и хора с увреден слух Приложение за комуникация с глухи

Основният проблем при подобни приложения е, че тази ниша не е достатъчно развита. Докато търсих, разгледах повече от 30 приложения и почти всички бяха предназначени за англоговоряща аудитория или хора, живеещи в Европа или САЩ. Въпреки това, шестте приложения, които са представени по-долу, са изключение и, надявам се, могат да бъдат полезни на някого.

Miracle Modus

Miracle Modus е приложение, създадено от разработчик с аутизъм. Съдейки по неговите думи и прегледи на Play Market, приложението наистина работи. Принципът на работа е едновременно прост и сложен: Miracle Modus рисува различни линии и модели и възпроизвежда релаксиращи звуци, които имат успокояващ ефект върху хората с аутизъм.

Дневник за диабет

Приложение, което помага на хора с диабет от първа и втора степен. Тук можете да въведете цялата информация за храната, която сте изяли през деня. След това пълният отчет може да бъде експортиран в Excel, за да се покаже на Вашия лекар.

Приятел с мигрена

Позволява на страдащите от мигрена да анализират начина си на живот и да разберат кои фактори водят до главоболие. Приложението също така проследява вашия сън, така че можете да видите връзката между мигрена и качеството на съня.


Подутини

Bumps помага на слепите хора да научат брайлово писмо. Приложението поддържа само английски, така че е подходящо само за тези, които искат да се научат да четат не само руски. В допълнение към изучаването на азбуката, Bumps ви позволява да въвеждате различни думи и да виждате как са написани на Брайл.

Има подобно приложение за Android - Braile Guide.

Знаци за разпространение

Spread Signs има огромна библиотека от жестове, които помагат на глухите и немите хора да общуват. Базата на приложението включва повече от дузина езици, включително руски, украински и английски. Можете да научите както жестове, обозначаващи отделни букви, така и цели думи.

Идея

Здравейте! Казвам се Виталий, аз съм разработчик и съосновател на стартъп Бъди предупреден. От детството си имам много увреден слух, а жена ми изобщо не чува. Дълго време исках да разработвам приложения и софтуер за глухи и хора с увреден слух. Всички проблеми, с които се сблъскват, са ми познати.

Аз и съпругата ми Наталия

Преди това разработвах софтуер за граждански авиокомпании в Украйна и създадох приложение за разширена реалност, наречено SIMO. Винаги съм се интересувал от всичко свързано с технологиите. И преди няколко години се запознах със Сергей Малюков, сега нашия главен изпълнителен директор, чрез преподавател в Киевския политехнически институт, с когото някога съм учил.

Идеята за създаване на приложение за глухи и хора с увреден слух дойде на Сергей през 2013 г. Един ден той се разхождаше по улицата вечерта и една кола започна да свири на гърба му, но бързо отскочи встрани, но двойката, която вървеше наблизо, не помръдна. Той извика след тях да се махат, но те останаха на същото място, където стояха. Скоро Сергей разбра, че това са двойка глухи хора; те общуват помежду си на жестомимичен език. Сергей беше сигурен, че има приложения, които помагат да се разпознаят опасни звуци. След като анализира съществуващите приложения и джаджи за глухи хора и не намира нито едно решение, което да помага за разпознаването на опасни звуци, той се заема да създаде такова приложение. В процеса на работа няколко партньора се присъединиха към него и сега BeWarned е самостоятелно инвестиран от основателите на стартъпа.

Веднага щом чух за проекта и видях развитието, моментално бях пленен от идеята и скоро станах съосновател. В момента се занимавам с техническо развитие на стартъп.

Внедряване

През 2014 г. беше пуснат първият прототип на приложението BeWarned с функцията Sound Monitor, която позволява разпознаването на опасни звуци в реално време. Това беше първият малък успех. Но това беше само началото.

От дете харесвах техниката, често сглобявах или разглобявах нещо, исках да видя какво ще излезе от това

От стотици имейли и отзиви стана ясно, че глухите хора се нуждаят от нещо повече от приложение, което разпознава опасни звуци. Глухите имаха хиляди неразрешени проблеми, които можеха да бъдат разрешени. Въз основа на тези писма и обратна връзка беше създадена платформата BeWarned, която обедини 4 технически асистента за глухите: Sound Monitor, Connect, Emergency Call и Dance.

Sound Monitor решава проблема с безопасността, като идентифицира опасни звуци (писъци, клаксон на кола, лай на куче, сирена). В случай на опасност, приложението предупреждава потребителя чрез вибрация и мигане на светкавицата на смартфона. Connect помага на глухите хора да общуват с другите - преобразува текст в реч и обратно. Dance ви позволява да изживеете музикални записи, като ги преобразувате във вибрации, светлинни сигнали и пулсиращ визуален еквалайзер. Emergency Call помага на потребителя да се обади на чуващи близки за помощ, когато е в опасна ситуация.


Можете да намерите още видеоклипове на нашия канал

През лятото на 2016 г. проведохме бета тестване на платформата в САЩ. В резултат на това 88,9% от потребителите съобщават, че биха препоръчали приложението на приятели.

Най-предизвикателната част от разработването на BeWarned беше звуковият монитор, който прекарахме няколко години в разработването. Програмата за разпознаване на опасни звуци е базирана на невронни мрежи. Опитахме два типа невронни мрежи: класически многослоен перцептрон и конволюционна невронна мрежа. Но тогава решихме да опитаме скрития модел на Марков, той беше най-подходящ за нашите задачи.

За да създадем база данни, на която ще се основава алгоритъма, ние сами записахме много вариации на един вид опасен звук, например автомобилен сигнал, въз основа на които алгоритъмът ще разпознае входящите звуци и ще ги определи като принадлежащи на определен тип. По време на нашата работа обаче се натъкнахме на проблем, тъй като алгоритъмът за разпознаване класифицира всички входящи звуци само в съществуващи категории: клаксон на кола, писък, звук на полицейска сирена и лай на куче. Например, ако някой се смееше, програмата го разпознаваше като принадлежащ към една от тези категории. За да разрешим този проблем, трябваше да сегментираме звуците, например, по честоти и други характеристики. Което в крайна сметка направи възможно въвеждането на допълнителен недефиниран тип звук.

Известно време след пускането на платформата BeWarned решихме да направим важни промени, за да подобрим използваемостта: радикално опростихме всичко и го адаптирахме към възприятието на глухите хора. Ето защо преиздадохме приложенията поотделно.

През декември беше пуснат BW Dance (Android, iOS), който от функция на платформата BeWarned се превърна в самостоятелно приложение. BW Dance позволява на глухи и хора с увреден слух да танцуват на любимите си песни. Потребителят добавя любимите си песни към плейлист, а приложението преобразува музиката във вибрации, светкавици и анимации на екрана. Потребителят може също да изпита музиката с помощта на визуален плейър. BW Dance беше приет положително от потребителите както в Украйна, така и в чужбина.

След това пуснахме Connect by Bewarned (Android, iOS), приложение, което позволява на глухи и хора с увреден слух да общуват със чуващи хора. За да започнете да общувате с един или повече хора в приложението, трябва само да натиснете бутона СТАРТ и да оставите другия човек да говори, след което приложението ще преобразува речта в текстово съобщение, което глух човек може да прочете. Приложението също преобразува текст в реч, глухият трябва да напише това, което иска да каже. Освен това разработихме набор от шаблони, които моделират прости, често повтарящи се ситуации, като например поръчка на кафе в кафене. Използвайки тези модели, глух човек може бързо да съобщи нещо на чуващ човек. Осигурихме и възможност за създаване на допълнителни шаблони за личните цели на всеки глух.

резултати

В Украйна започнаха активно да ни пишат журналисти, СТБ, 1+1, Канал 5 и др. Видяхме, че хората се интересуват от глухите и също така видяхме, че грижата за простотата и използваемостта е стъпка в правилната посока. Разбрахме, че сме на прав път.

С жена ми разговаряме с журналисти от Канал 5

Стартирахме Connect by Bewarned on Product Hunt на 30 януари и влязохме в ТОП 5 за деня, както и бяхме включени в официалния бюлетин. В коментарите към нашия продукт на Product Hunt получихме предложения за помощ при разработването на локализации на френски и дори фарси. Заедно с вече съществуващите четири локализации – испанска, руска, украинска и английска, ще можем да се доближим до нашата глобална цел: да направим живота на глухите хора по-лесен.

Убеден съм, че ИТ специалистите трябва да използват уменията, които са им дали в полза на другите хора. Нашият малък, но успешен опит показва, че новите приложения могат значително да променят живота на други хора. Ето защо ние ще продължим да работим върху идеята, въплътена в Connect by Bewarned: преодоляване на бариерите в общуването между глухи и чуващи хора, които са около 400 милиона в света.

Екипът на BeWarned отляво надясно: Аз, Евгений, Евгения, Иван, Юлия, Сергей, Андрей, Илона, ​​Ира, Антон, Андрей (сега сме дори повече, отколкото на тази снимка :))

Хората като мен често имат проблеми, когато трябва да общуват със чуващ човек: полицай, лекар, банкер. Законово ни гарантират равни права и достъп до услуги наравно със чуващите хора. Но в действителност нашите възможности са значително ограничени. Ето защо решихме да се заемем с една наистина глобална задача: създаване на глобална електронна инфраструктура, която ще улесни достъпа на глухите хора до всички услуги, достъпни за чуващите хора: банки, болници, таксита и др. В момента работим точно по тази задача.

Двама студенти от Beijing Beihai University разработиха приложение, за да помогнат на хората с увреден слух в Китай. Приложението се нарича Shouyin, което буквално означава „глас на ръцете“. Тя ви позволява да превеждате знаците на езика на глухите в реч в реално време.

Приложението работи заедно с интелигентната гривна и в момента може да разпознае повече от 200 знака, като всеки знак е записан хиляда пъти от различни хора, за да се подобри точността на превода. В момента степента на разпознаване е 95%.

Младата Нана Уанг, един от разработчиците, каза, че е била вдъхновена от глухоням приятел, с когото можела да общува само чрез съобщения на мобилния си телефон. В Китай приблизително 5% от населението или 70 милиона души са глухи. Няма съмнение, че приложението ще има голям успех. Официалното пускане на приложението е насрочено за края на май. Подобни програми вече съществуват в други страни по света. Например Uni от MotionSavvy и преводачът на език за глухи от Google Chats.

Технологиите днес се развиват с бързи темпове, включително в социалната сфера и в медицината. Те помагат не само да се справят с различни видове заболявания, но и да разберат по-добре ближния си, дори ако неговото възприятие за света се различава от вашето. Специално приложение ще ви помогне да говорите с глухоням човек, докато VR технологиите могат да помогнат например за разбирането на аутизма и следователно да ви доближат до тези, които страдат от това заболяване.

Различни проучвания показват, че повече от 99% от хората са чували за аутизъм, но само 16% всъщност разбират какво означава това психическо състояние. И според проучване, проведено в Обединеното кралство, повече от 25% от хората с аутизъм някога са били помолени да напуснат обществено място като ресторант или магазин, когато видят симптоми на заболяването си.

За да се бори с този проблем с дезинформацията, Британското национално аутистично дружество реши да създаде VR филм, което би помогнало на всички хора да разберат какво е да живееш с такава диагноза. Gmbox писа за това.

Това виртуално видео ще ви отведе в тялото на младо момче с аутизъм и ще покаже света през неговите очи. Във филма влизате в търговски център и изпитвате огромния сензорен товар от разходката из това претъпкано място. Шумът, изобилието от различни предмети, цветове, движението на хората, техните гласове - всичко това предизвиква паника у момчето, с която то много трудно се справя.

Друга общност от болестта на Алцхаймер също е създала VR филм, който ви поставя на мястото на човек с деменция. Разходка през деменцията ще ви помогне да разберете как някои прости ежедневни задачи, като приготвянето на чаша чай, могат да се превърнат в истинско предизвикателство за някой с болестта.

Здравейте!

"Хлябът храни тялото, а книгата храни ума"...

Книгите са едно от най-ценните богатства на съвременния човек. Книгите се появяват в древни времена и са били много скъпи (една книга може да се размени за стадо крави!). В съвременния свят книгите са достъпни за всеки! Четейки ги, ние се ограмотяваме, развиват се кръгозора и изобретателността ни. И като цяло, все още не сме измислили по-съвършен източник на знания, които да си предаваме един на друг!

С развитието на компютърните технологии (особено през последните 10 години) стана възможно не само да четете книги, но и да ги слушате (т.е. специална програма ще ви ги прочете, с мъжки или женски глас ). Бих искал да ви разкажа за софтуерни инструменти за озвучаване.

Възможни проблеми със записа

Преди да премина към списъка с програми, бих искал да се спра на често срещан проблем и да разгледам случаите, когато програмата не може да чете текст.

Факт е, че има гласови машини, те могат да бъдат с различни стандарти: SAPI 4, SAPI 5 или Microsoft Speech Platform (повечето програми за възпроизвеждане на текст имат избор от този инструмент). Така че, логично е освен програма за гласово четене да ви трябва и двигател (ще зависи на какъв език ще ви четат, на какъв глас: мъжки или женски и т.н.).

Речеви двигатели

Енджините могат да бъдат безплатни или комерсиални (разбира се, комерсиалните двигатели осигуряват най-добро качество на възпроизвеждане на звука).

SAPI 4. Остарели версии на инструменти. За съвременните компютри не се препоръчва използването на остарели версии. По-добре е да разгледате по-отблизо SAPI 5 или Microsoft Speech Platform.

SAPI 5. Съвременни речеви машини, има безплатни и платени. В интернет можете да намерите десетки SAPI 5 речеви машини (както с женски, така и с мъжки гласове).

Една от най-добрите програми за озвучаване на текст. Позволява на вашия компютър да чете не само прости файлове във формат txt, но и новини, RSS, всякакви уеб страници в Интернет, имейл и др.

Освен това ви позволява да конвертирате текст в mp3 файл (който след това можете да изтеглите на всеки телефон или mp3 плейър и да слушате например в движение). Тези. можете сами да създавате аудио книги!

Гласовете на програмата IVONA са много подобни на истинските, произношението е доста добро и не заекват. Между другото, програмата може да бъде полезна за тези, които изучават чужд език. Благодарение на него можете да слушате правилното произношение на определени думи и фрази.

Поддържа SAPI5, плюс това си сътрудничи добре с външни приложения (например Apple iTunes, Skype).

Пример (запис на една от последните ми статии)

От минусите: той чете някои непознати думи с неправилно ударение и интонация. Като цяло, не е зле да слушате например абзац от учебник по история, докато ходите на лекция/уроци - дори повече от това!

Балаболка

Отлична програма за работа с книги: четене, каталогизиране, търсене на това, от което се нуждаете и т.н. В допълнение към стандартните документи, които могат да се четат от други програми (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB -TXT, LIT-TXT, FB2-TXT и др.) ICE Book Reader поддържа файлови формати: .LIT, .CHM и .ePub.

В допълнение, ICE Book Reader ви позволява не само да четете, но и отлична настолна библиотека:

  • ви позволява да съхранявате, обработвате, каталогизирате книги (до 250 000 хиляди копия!);
  • автоматично подреждане на вашата колекция;
  • бързо търсене на книга от вашето „сметище“ (особено важно, ако имате много некаталогизирана литература);
  • Базата данни на ICE Book Reader превъзхожда повечето програми от този вид.

Програмата също така ви позволява да четете текстове с гласа си.

За да направите това, трябва да отидете в настройките на програмата и да конфигурирате два раздела: „Режим“ (изберете гласово четене) и „Режим на синтез на реч“ (изберете самия двигател на речта).


Говорещ

С Sakrament Talker можете да превърнете вашия компютър в говореща аудио книга! Програмата Sakrament Talker поддържа RTF и TXT формати и може автоматично да разпознае кодирането на файла (вероятно понякога сте забелязали, че някои програми отварят файл с „кракери“ вместо текст, но това е невъзможно в Sakrament Talker!).

В допълнение, Sakrament Talker ви позволява да възпроизвеждате доста големи файлове и бързо да намирате определени файлове. Можете не само да слушате озвучения текст на вашия компютър, но и да го запишете като mp3 файл (който по-късно може да бъде копиран на всеки плейър или телефон и да се слуша извън вашия компютър).

Като цяло, това е доста добра програма, която поддържа всички популярни гласови машини.

Това е всичко за днес. Въпреки факта, че днешните програми все още не могат напълно (100%) да четат текст, така че човек да не може да определи кой го чете: програма или човек... Но аз вярвам, че някой ден програмите ще постигнат това: силата на компютрите нараства , двигателите се увеличават по обем (включително все повече и повече нови, дори и най-сложните фигури на речта) - което означава, че скоро звукът от програмата ще бъде неразличим от обикновената човешка реч?!

Прости дейности като говорене по телефона, слизане по стълби или дори проверка на срока на годност на млякото могат да се превърнат в предизвикателство за хората с увреждания. Въпреки това, някои от тези проблеми могат да бъдат успешно разрешени с помощта на смартфон.

Представяме ви селекция от мобилни приложения, които улесняват живота на хората с увреждания.


Приложения, които разпознават реч

"Yandex. Разговор"

Наскоро Yandex пусна приложение, което помага на глухите и хората с увреден слух да общуват с приятели и непознати, като превежда устна реч в текст и обратно.

Приложението може да слуша и разпознава реч - всичко, което ви се казва, се показва на екрана на смартфона под формата на текст, а също така произнася отпечатани думи на глас.

Приложението е измислено и разработено от група студенти на MIPT и работи с технологията за разпознаване на реч Yandex SpeechKit.


RogerVoice

RogerVoice е приложение, което позволява на глухите хора да говорят с други хора по телефона. Приложението използва технология за разпознаване на реч, за да преобразува глас в текст, така че глухите хора да могат да четат какво казва другият човек.

Приложението се появи благодарение науспешна кампания в Kickstarter – В момента е налична бета версия на приложението и може да бъде изтеглена от уебсайта на RogerVoice.


Приложение, което ви помага да чувате


HearYouNow

С това приложение потребителите с увреден слух могат да регулират звука в зависимост от ситуацията, в която се намират - на обществено място, на среща и т.н. За целта към смартфона се свързват слушалки, чрез които се подава звук с подходящи настройки за оптимизиране на фона или предния план.

Приложението е разработено от ExSilent, холандски производител на слухови апарати, и е насочено към хора, които могат да използват слухови апарати, но все още не са готови да го направят.