Распознавание и генерация речи. Диалоговые системы

Познакомитесь с основными методами цифровой обработки аудиосигналов и базовыми библиотеками для работы со звуком: Pydub и Librosa.

Разберётесь в спектральных разложениях сигналов, из каких характеристик состоит звук. Узнаете основные понятия теории цифровой обработки сигналов и методы фильтрации.

Поймёте, как извлекать из аудио текст, что такое связь с языковыми моделями, как классифицировать тексты с помощью SOTA нейронных сетей для Speech to text.

Изучите проблемы извлечения признаков и современные подходы к решению подобных задач.

Узнаете про биометрию голоса, методы обработки сигналов, распознавание естественной речи, идентификационные признаки голоса, речевые декодеры.

Попрактикуетесь применять основные методы поиска аудиоинформации и технологии интеллектуального поиска музыки.

Погрузитесь в этапы построения систем Text to speech, Speech to text, в подходы к решению задач.

Познакомитесь с технологиями на стыке SR и NLP. Узнаете основные подходы к созданию диалоговых систем, платформы для создания ИИ-ассистентов.

Вы реализуете кейс, в котором можете использовать свои данные. Например, решить задачу по распознаванию речи, её генерации или созданию диалоговой системы.

В работе над проектом вас будет курировать ментор. Вы вместе с экспертом выберете удобную дату для персональной консультации.