Голос в реальном времени и живой перевод

Обзор

ToRun поддерживает двунаправленный голос в реальном времени — вы говорите, ассистент слушает и отвечает аудио и текстом в рамках живой сессии — а также живой перевод, при котором речь переводится по мере произнесения. Они работают на возможности realtime (двунаправленный звук + текст) и тарифицируются посекундно по времени сессии.

Задействованные возможности

• Реальное время (звук + текст) — живая сессия в стиле WebSocket с подходящей моделью провайдера для естественного голосового диалога в обе стороны.
• Синтез речи (TTS) — синтезированный речевой вывод на многих языках.
• Распознавание речи (STT) — транскрипция, включая диаризацию говорящих (кто что сказал).
• Живой перевод — речь, переводимая в реальном времени между языками.

Запуск сессии реального времени

1. Откройте голосовую поверхность / поверхность реального времени.
2. Предоставьте доступ к микрофону.
3. Говорите естественно — ассистент транскрибирует, отвечает и (в голосовом режиме) отвечает голосом.
4. Завершите сессию по окончании. Сессия отслеживается как сущность голосовой сессии.

Для живого перевода выберите исходный и целевой языки; каждая сторона слышит речь другой переведённой по мере её передачи.

Тарификация

• Использование реального времени и живого перевода измеряется посекундно по звуку.
• Каждая измеренная единица работы создаёт BillingRecord со снимком тарификации, поэтому стоимость голосовой сессии прозрачна и поддаётся аудиту.
• Голос/реальное время находятся за правом доступа «Голос/Аудио», которое включено начиная с уровня Pro и выше.

STT и диаризация

Распознавание речи поддерживает диаризацию говорящих, помечая сегменты по говорящему. Это полезно для транскрипции совещаний, интервью или многосторонних звонков, где нужно отнести реплики к конкретным говорящим.

Советы

• Используйте гарнитуру или тихое помещение — чистый входной звук повышает точность как транскрипции, так и перевода.
• Поскольку реальное время тарифицируется посекундно, завершайте сессии, которые вы активно не используете.
• Для разовой транскрипции существующей записи STT (а не живая сессия реального времени) — более дешёвый путь.