Yearly Pay yearly and get 2 months free on every paid plan. See plans
登入 免費開始

一通不會排隊等候發言的語音通話

ToRun的語音模式曾經像一台對講機:你說話,它聽;它說話時,你的麥克風是關閉的。人們說話不是這樣的,幾乎每個人都會在大約三十秒內發現這一點——那正是你想說「不,是另一個」,卻不得不先等一句話說完的時刻。 gpt-live-1 是一個全雙工引擎。它說話時麥克風保持開啟。你可以像打斷一個人那樣打斷它,而它會在說話的同時聽到你,而不是只在說完之後。 藏在同一份契約背後 這與我們已有的即時語音是不同的協定——不同的端點、不同的事件詞彙表,沒有…

ToRun的語音模式曾經像一台對講機:你說話,它聽;它說話時,你的麥克風是關閉的。人們說話不是這樣的,幾乎每個人都會在大約三十秒內發現這一點——那正是你想說「不,是另一個」,卻不得不先等一句話說完的時刻。

gpt-live-1是一個全雙工引擎。它說話時麥克風保持開啟。你可以像打斷一個人那樣打斷它,而它會在說話的同時聽到你,而不是只在說完之後。

藏在同一份契約背後

這與我們已有的即時語音是不同的協定——不同的端點、不同的事件詞彙表,沒有輪次識別碼,也沒有輪次結束標記。所有這些都在一個邊界處被翻譯成我們的語音橋接層已經在使用的那套事件。在這層之下,一切都沒有變化:同一個工作階段,通話期間的同一批工具,同樣按分鐘結算的方式,同樣的兩款應用程式。

在寫下任何一行程式碼之前,一次探測就用開發金鑰對著服務商跑通了整個流程,並記錄下了所有資料訊框。這些錄製內容就是用來測試翻譯層的固定樣本——因此被測試的,是服務商實際傳送的內容,而不是某份文件聲稱會傳送的內容。

回聲正是沒人預設這樣做的原因

播放期間保持開啟的麥克風會聽到助理自己的聲音。如果沒有抑制處理,它就會不停地回應自己。因此在iOS上,音訊工作階段會切換到語音處理模式,也就是能消除回聲、表現得像免持通話的那種模式;在Android上,擷取預設也會完成同樣的工作。

這帶來了真實的成本,也正因如此,這個決定是按模型逐一做出的,而不是全局統一決定。目錄中的那一行帶有一個旗標。帶有該旗標的模型會保持麥克風開啟並啟用回聲消除;平台上其他每一個語音都保留自己原有的開關和音量更大的音訊模式,與之前完全一樣。這個決定在工作階段開始時做出一次,隨後又會根據伺服器實際打開的內容重新確認一次,以防某個層級預設值最終解析成了別的模型。

在網頁端沒有任何變化:那裡的麥克風從來就沒有被鎖定過,瀏覽器本來就會請求回聲消除。

目前還不具備的能力

它還不在免費層級中開放。一分鐘免費額度會在一次對話中就用光,而一份在句子說到一半時就耗盡的額度,比一份從未提供過的額度更糟糕。

而在行動端,第一個版本的表現更像是一次改進,而非一次徹底變革,因為兩款應用程式都還保留了部分自身的鎖定機制,直到裝置端的回聲抑制在真實硬體上得到驗證為止。引擎本身是全雙工的;手機端正在逐步跟上。

分享 LinkedIn X 電子郵件
用你自己的工作試試每則回覆都會顯示它的費用。從免費方案開始。 免費開始
Get product updates, not noise New models, features, and changelog highlights - a short email when something actually ships.
訂閱即表示你同意接收 ToRun 的產品更新郵件。你可以隨時取消訂閱。 隱私權政策