В основе технологии — две нейросети глубокого обучения. Первая преобразует текст в спектрограмму (визуальное представление звуковых частот), которая потом передаётся в WaveNet — метод генерации речи.
создал систему преображения текста в речь , которая с удивительной точностью имитирует голос . Потом метод WaveNet, созданный исследовательской лабораторией DeepMind, считывает данные и генерирует соответствующие звуковые субъекты. Tacotron 2 воспринимает и воспроизводит сложные для произношения слова и наименования, делает ударение на подходящем слове и учитывает знаки препинания при построении заявлений.
Как пишет N+1, Google уже давно ведет разработки в области синтеза речи.
С примерами работы программы можно познакомиться на компании Google. Интонацией может быть выделено слово, написанное с заглавной буквы. Тут можно прослушать фразу, сказанную программой и человеком.
В отличие от остальных систем синтеза речи, метод Tacotron 2 представляет звуковую информацию в виде спектрограмм — визуализированной взаимосвязи частоты и времени. Предшествующая версия программы — Tacotron — набрала в среднем 4,0 балла.
Как считают создатели Tacotron 2, метод может быть использован для улучшения работы голосовых помощников, которые получают все не менее широкое распространение.
Как стало известно, с этого момента программы Google смогут говорить звуком не робота, а человека.
