Израильский стартап CODA создал аватар - сурдопереводчик
По словам компании Languagers, официально осуществляющий переводы на американский жестовый язык амслен, глухие люди предпочитают собственный язык субтитрам. Ведь у него есть своя грамматическая структура и выразительность, и глухим гораздо легче взаимодействовать с контентом на нем.
«Это больше, чем просто алфавит. Мы можем взять предложение и изменить его суть одним своим голосом, верно? Например, я могу сказать «Я хочу домой» и очень спокойно, и с большим нажимом. То же самое и в языке жестов. Наш подход заключается в том, чтобы искусственный интеллект это понимал», – говорит соучредитель CODA Шани Зидми.
Созданный с помощью искусственного интеллекта аватар использует машинное обучение для перевода звуковых сигналов в язык жестов. Алгоритм извлекает из большой базы данных информацию о грамматике, выражениях и тонах, точность которой Зидми и ее компаньонка Ширан Ор обеспечили, работая с глухими пользователями жестового языка. Приложение имеет автономный режим. Оно может работать с видео, которые ранее были загружены в устройство.
Доступность для людей с особыми потребностями стала обычной чертой для контент-платформ, таких как YouTube. У них есть возможность автоматически создавать субтитры, в то время как видео дублируются на разных языках.
По данным ООН, около 70 миллионов человек во всем мире используют язык жестов в качестве основной формы общения. При этом они говорят на более чем 300 разных жестовых языках. Только у амслена в США 500 тысяч носителей.
Сурдопереводчики на публичных мероприятиях, таких как ежегодное обращение президента США к конгрессу, стали обычным делом. Так же, как и субтитры для фильмов. Но многие формы контента по-прежнему недоступны глухим и слабослышащим. И здесь на помощь приходит CODA. «Представьте, что вы смотрите новости, – говорит Зидми. – А в углу экрана «пузырь» с сурдопереводчиком. Вместо того чтобы нанимать для этого живого человека, это сможет делать аватар. Он переведет все, что скажет репортер в новостях, с задержкой в несколько секунд».
Зидми мечтала сделать нечто подобное с пяти лет. Она ребенок глухих родителей, и для таких, как она, есть специальная аббревиатура CODA (от английского child of deaf adults). Это международное слово, именно оно дало название стартапу.
«Технологии, например телефон, всегда делили мир на тех, кто слышит, и тех, кто не слышит, давали им разные возможности в жизни. Наша технология позволит уравнять их», – говорит Зидми. Что касается аватаров, стартап разработал мужскую и женскую модели, которые можно адаптировать к разным этническим группам и странам. Как говорит Зидми, чтобы создать идеальный аватар, они провели психологическое исследование совместно с Тель-Авивским университетом.
«Мы пытались понять, как люди думают, как люди реагируют, когда видят аватар, похожий на них самих по фигуре, цвету волос, возрасту, цвету и разрезу глаз», – говорит она.
Кроме того, они работали над локализацией контента, адаптируя язык жестов к диалекту и уникальным манерам конкретного региона. В настоящее время CODA предлагает свои услуги на пяти разных языках: английском, иврите, французском, испанском и итальянском. Зидми говорит, что следующим этапом станут языки жестов, распространенные в странах с большим населением, таких как Индия и Китай.
Недавно компания стала одной из девяти победителей программы MassChallenge Israel 2023 Early-Stage Accelerator. А еще она получила грант от Управления по инновациям Израиля. Стартап планирует привлечь миллион долларов к концу года. И основатели уверяют, что половину этой суммы они уже собрали.
Платформа искусственного интеллекта CODA будет доступна для компаний, производящих контент, для интеграции в их видео. Законы разных стран (в том числе Израиля) требуют, чтобы их продукт был доступен для людей с ограниченными возможностями. Обычно производители контента нанимают живых переводчиков. CODA предлагает альтернативу.
Есть и другие компании, предлагающие сурдоперевод с помощью искусственного интеллекта. Однако им для работы нужен письменный текст. CODA же работает напрямую со звуковой дорожкой. И в том числе поэтому делает перевод почти мгновенно
Энне Ким (Enne Kim), NoCamels