cmusphinx module for DeskChan, localized for RU
Описание
Так, я потратил на эту херню слишком много времени.
Модуль включает в себя несколько компонент:
- Обёртка над pocketsphinx
- Обёртка над sphinx4
- Адаптатор (включая mllr, но почему-то он не особо помогает)
- Сборщик статистики русского языка с сайта lib.ru
- Генератор словаря произношений, включая и русский, и английский. На основе G2P-TensorFlow моделей + эвристики
- Генератор статистической модели языка
Всё это работает и без непосредственно DeskChan. Можете использовать наработки отсюда в своих проектах.
Важно: не ждите, что модуль заработает из коробки. Это - опенсорс. Вам придётся его настраивать, долбить во все щели, чтобы оно заработало, пробовать разные варианты.
Как пользоваться модулем:
- Собранная версия модуля находится в папке prebuilds. Перенесите папку ru4sphinx-DeskChan в папку plugins своей DeskChan, запустите.
- По умолчанию, нажмите F5, дождитесь готовности программы и произнесите что-либо в микрофон.
- У меня на машине лучше всего работает pocketsphinx, но у меня просто микрофон за 100 рублей. sphinx4 зато не как сервер работает.
- С самого начала работы с распознаванием речи точность распознавания будет ну максимум 60%. Для того, чтобы её улучшить, активируйте адаптацию в настройках, там все инструкции указаны. Чем больше текст вы прочитаете, тем выше вероятность повышения качества.
- Адаптатор требует комплекса sphinxtrain. Для пользователей Windows уже собранная версия в prebuilds. Линуксоидам собирать самим здесь: https://github.com/cmusphinx/sphinxtrain
- pocketsphinx требует собранного комплекса pocketsphinx. Для пользователей Windows уже собранная версия в prebuilds. Линуксоидам собирать самим здесь: https://github.com/cmusphinx/pocketsphinx. ОБЯЗАТЕЛЬНО: в папке pocketsphinx_continouos_patch лежит патченная версия кода, которую нужно поместить в "pocketsphinx/src/programs", без этого ничего не заработает.
- Чем меньше длина словаря - тем быстрее и качественнее распознавание. Но используйте минимум 600 слов.
- Если вам не помогла ни адаптация, ни уменьшение словаря, ни переход на другую систему распознавания речи - ну у меня для вас плохие новости: я бессилен. Добро пожаловать в опенсорс. Можете купить себе новый микрофон или найти программиста, который подключит вам например wit.ai
Информация по сборке:
- Собирать модуль надо через таску fatJar. В build/lib будет лежать плагин. Но это не всё, что вам нужно.
- Уже собранный модуль лежит в папке prebuilds/ru4sphinx-DeskChan. Да, вам нужен и .jar, и папка cmu-sphinx (там лежит акустическая модель отсюда: https://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/Russian/ - zero_ru_cont). Эту папку нужно поместить в папку plugins вашей DeskChan.