LLMキャラチャットのTTS応答速度を上げる方法をちょっと考えていた。
フィラーを自動挿入する方法はありがちなんだけど、フィラーを含めての台詞生成だろ、と思うのでそれは避けたい。
そこで、「生成された台詞の最初の句読点までをフィラーと見做して、先に音声合成する」という案（実は以前から考えてた）を実装した。
「はい、よろこんで、やらせていただきます。」
という台詞がLLMで生成されたなら、
「はい、」の音声をまず生成し、「よろこんで、やらせていただきます。」を音声生成キューに入れる感じ。
これはまあまあイイ感じだ。ストリーム生成される台詞をストリームのままTTSに送る仕組みに今はなってないんで、これでは若干の遅延はあるけど、それでも台詞生成が律速だから十分効果ある。採用。
この場合だと「はい、」という音声データを生成したらキャッシュして次回からキャッシュを利用することで、応答速度を更に上げることも考えられるけど、TTS側が決定論的に音声を生成するならまだしも、AI生成なら毎回違う音声データが得られるんだし、キャッシュしない方が良いと思う。
ただし、問題点はある。
「はい、よろこんで、やらせていただきます。」
と、
「はい、」「よろこんで、やらせていただきます。」
は別の台詞なので、TTSでは後者は不自然な発声になることがある。
これの解決方法も一応ある。
「はい、」を生成、再生したあと、「はい、よろこんで、やらせていただきます。」を生成し、「よろこんで…」から再生すればOK。ただ、特にAI音声合成だとタイムスタンプが得られない（おそらくだいたいは）ので、「はい、」の再生時間を取得し、「はい、よろこんで、やらせていただきます。」からその再生時間の前後で無音領域を検索し、無音領域の後部分だけ再生する、みたいな工夫がいる。そこまでするのはちょい面倒。
このキャラチャットシステムは、kv cacheを使っていてChatGPT並に応答が早いので、せっかくだから、音声応答も早くしたかったというのがあった。だいぶ早くなって満足。あとストリーム生成もさくっと実装したいところ。ちょっと作り的にめんどさがあって、滞ってるが。
フィラーのキャッシュもしようかなぁ、どうしよう？
faster-whisperでWhisper large-v3を使ったリアルタイム音声認識結果を、キャラチャットのユーザー入力として流し込めるようにして、キャラとの音声会話が出来るようになった。
キャラ発言中にこっちの音声入力も割り込める。
しかしもうVRAMがギリギリ。12GBは人権ないなぁ。
faster-whisperのCPU推論は、さすがに音声会話用途では厳しい。
faster-whisperでlarge-v3、fp16じゃなくてint8でも実用精度出るな。これならLLMの7B、Q8_0と同居可能だ。
音声入力は非同期で受け付けるんで、キャラ発声中でも入力できるから、音声認識にかかる待ち時間が気にならないな。これは思ったよりリアルタイム会話になってる。ローカルでここまでできるんや…
話者分離がまだ出来てないから、スピーカーから音声再生すると、その音声をマイクが拾って、ユーザー入力と見做されて音声認識されちゃう。ハウリングみたいなもん。まあヘッドセット使えばいいけど。
あるいは、「前回のボット発言と似た発言が音声入力されたら、それはハウリングと見做して弾く」みたいな処理を入れるのもいいけど、その判定も案外難しい。一字一句同じになるとも限らないしね。
AIでリアルタイム話者分離って、実用的なのあるのかなぁ。ちょっと大げさ過ぎる感じもする。
単純に、ボット発声中はマイクを切るという実装は無しではないのだけど、そうすると、ボットの発声を遮るとかはできないからな。
キャラチャット、ほっとくとずっと喋り続けるpushモードというのがあるんだけど、pushモード中に声で話しかけるとそれにもちゃんと応答する。これ普通に会話ぽさがあるな。おもろいｗ
会話ってpullだけじゃなくてpushもあるべきだよな。巷のAIチャット、pullばっかりだけど。
pushモードはまだ未完成で、話しかけてくるタイミングがランダムなのだけど、ここをもちっと人間ぽく調整すると良さそう。
音声入力が途絶えると、しばらくしてから話しかけるのをやめる。
そんで、しばらくしてまたこちらから話しかけるときには、前回からの経過時間を地の文として挿入し、会話再開。
また、数十分とかの間隔でランダムに話しかける。これも反応がなかったらすぐに黙る。
こんなんで十分かな。発話タイミングをAIで決定するのもいいけど、そこまでの必要はあんまり感じない。
AIキャラチャットで一番大切なのは、応答速度ではない、という結論に至りつつある。チャットをターン制バトルじゃなくて、アクティブタイムバトルにするのが、たぶん一番大事だ。
チャットをターン制としてpull的、同期的に処理しようとするから、応答速度が気になってしまうんだろう。でも、会話って必ずしも「応答」するもんじゃないし、即座の「応答」があると会話っぽいかというと、そんなことも無い。応答速度を気にするあまり、フィラーを機械的に挿入して、いかにも機械との会話っぽくなってしまって本末転倒状態まである。
任意のタイミングで、こちらの話がそれなりの時間内に相手に伝わり、任意のタイミングで相手の話がこちらに伝われば、会話は成立するんだ。我々は普通にそれくらいの遅延があるボイスチャットを人間同士でもやってるわけで。
あと、AIキャラチャットに、チャットチューニングを施したLLMは不適、というのも私の中で既に結論が出ている。
チャットモデルというのは、「人間とAIの会話」を学習したモデルなので、AIキャラチャットに用いると、「人間がAIに対して、キャラのように振る舞った回答を得る」行為になってしまう。だから回答内容は、いかにもChatGPT的な内容に、口調だけ再現したキャラになりがち。
だからAIキャラチャットは、小説文の台詞補完という形で実装するのが一番、精度が良い。
これ、できた。LLMがストリーム生成した台詞が、適度な長さ（フィラーに限り、最初の句読点まで）になったらその時点で即、TTSの生成キューに入れて、音声合成できたものから即再生。
今のところ理論上、音声応答速度は最速になったはず。良き。