В VK Видео стало в 10 раз больше видео с субтитрами. Команда сервиса улучшила точность обработки автоматической расшифровки речи. Это сделало просмотр видео еще удобнее.
Текстовые субтитры, повторяющие речь говорящего, оформляются в виде предложений со знаками препинания и заглавными буквами. Дубляж учитывает особенности разговорной, узкоспециализированной лексики и неологизмов.
8 из 10 видео в ленте пользователя на главном экране будут с обновленными субтитрами.
Автоматический дубляж в VK Видео генерируется через ML-модели. Аудиопоток из видео обрабатывается в несколько этапов:
-
сначала искусственный интеллект убирает посторонние шумы, выделяет речь и преобразует ее в слова;
-
далее другие модели конвертируют расшифровку в текст;
-
в конце нейросеть синхронизирует получившийся текст с аудиодорожкой.
AI-модель VK Видео допускает на 30% ошибок меньше, чем подобные модели генерации субтитров в других сервисах.
Технология работает и в профессиональных роликах, и в пользовательском контенте. Она полезна для людей с нарушениями слуха и в ситуациях, когда звук в видео включать нежелательно или его заглушают посторонние шумы, например, в метро.
Напомним, что в веб-версии VK Видео теперь доступен режим «Картинка в картинке». Также неделю назад VK сообщала, что приложение VK Видео установили 60 млн раз.
Источник: пресс-релиз ВКонтакте
