ChatdollKitで好きなアバターをAIアシスタントにしてみる

うに

こんにちは、うにです！

2024年はブログ更新頑張るぞ！とか言いながら、すっかり更新が滞っておりました。
何をやっていたかというと、ChatdollKitでアバターをAIアシスタント化してみよう！という試みにはまっております。。

ChatGPTなど、LLMモデルのAPIを叩いてアバターにおしゃべりさせることってできないかな？と考えてみたときに、
見つけたうってつけの開発フレームワークが「ChatdollKit」。

これがまたすばらしい作りこみで、
デモ通り動かすまでならコード一切触らず、2時間もかからずできちゃいます。
デモ通りに動かしてみても「うわー！」という感じなのですが、拡張性の高さにも感動します。無料で公開されてるのすごいよ…

ということでまだまだ始めたばかりなのですが、初心者がChatdollKitを触ってみてつまづいたところ、追加で試してみたことをいくつか備忘録的に残しておきます。

・これからChatdollKitを触ってみたい！
・好きなAIアバターでAIアシスタントを作ってみたい！

という方の参考になりますとうれしいです。

(追記)カスタマイズを重ねて、最終的には机上に置ける
「デジタルフィギュア兼スマートリモコン兼おしゃべりAIアシスタント」
に進化しました。↓

ESPr IRで赤外線リモコンの操作をしてみる。AIアシスタント改造つづき

ChatdollKitベースで作成してみた「うにちゃんAIアシスタント(仮)」に家電のコントローラ機能を付与してみるなどしたくて、スイッチサイエンスのESPr IRという便利な赤外線リモコンボードを触ってみました。お手軽にイメージ通りの機能を実装できたので、本記事ではESPr IRを使ってできたものと、実際に使ってみて思ったこと気づいたことなどをゆるくご紹介してみようかと思います。

Table of contents

ChatdollKitについて。AIアシスタント作成にぴったり
1. ChatdollKitとは？
ChatdollKit導入でつまづいたところ
追加で試してみたこと
今後試したいこと
まとめ

ChatdollKitについて。AIアシスタント作成にぴったり

ChatdollKitとは？

ChatdollKitは、「お好みの3Dモデルを使って音声対話可能なチャットボットを作るためのフレームワーク」です。
開発者様にて公開されている各種パッケージ、マニュアルはこちら。

https://github.com/uezo/ChatdollKit/blob/master/README.ja.md

マニュアルから動画からデモ用シーンから、もう至れり尽くせり！
めちゃくちゃわかりやすいです。時々出てくるシグネットちゃんがかわいいんだなあ…

うにはUnityでほとんどスクリプトを書いたことがない人間ですが、
スクリプトの中身を触らなくてもUnity操作だけでおしゃべりまではできるようになっていて、初心者には大変入門しやすい設計でした。

自分で作るのはちょっとな～という方は、アプリとしてリリースされているものもあるみたいです！

ChatGPT×音声合成ソフト×VRMモデルによるトークアプリ「おしゃべりAI」が配信開始

ChatdollKit導入でつまづいたところ

インストール時のエラー

必要なパッケージを記載通りのバージョンでUnityにインポートしたけれど、エラーが多発…

■依存ライブラリ

・Burst from Unity Package Manager
・UniTask(Ver.2.3.1)
・uLipSync(v2.6.1)
・For VRM model: UniVRM(v0.89.0)
・JSON.NET

■ChatdollKitのパッケージ

ChatdollKit_0.7.1.unitypackage
ChatdollKit_VRMExtension_0.7.1.unitypackage
ChatdollKit_Demo_0.7.1.unitypackage

構文エラーばっかりがダーッと出てくる

エラー箇所を見に行ってみると、Unity2019.4.31にはサポートされていない記法が含まれている？みたい。

これだとエラー

using var streamRequest = new UnityWebRequest(
string.IsNullOrEmpty(ChatCompletionUrl) ? “https://api.openai.com/v1/chat/completions” : ChatCompletionUrl,
“POST”
);

以下に書き換えるとエラー解消

UnityWebRequest streamRequest = new UnityWebRequest(
string.IsNullOrEmpty(ChatCompletionUrl) ? “https://api.openai.com/v1/chat/completions” : ChatCompletionUrl,
“POST”
);

だいたい要領は分かったので、地道に直せばいけるかな？と少し頑張ってみましたが、
ボリュームがなかなかありそうだったので断念。
ということで潔く2021.3.34のUnityをインストールし、解決しました。

いっぱい入れたはずのアニメーションを実行してくれない

起動時に手は振ってくれるし、設定したIdleモーションも反映されているのに、
「会話の流れでアニメーションを実行してくれない」問題。

デバッグコンソールには「Animation waving_arm is not registered.」のメッセージ。
アニメーターにはちゃんと登録されてるのに…？

どこでアニメーションが紐づいているんだろう？と遡っていったところ、
RegisterAnimationという関数の中身をちゃんと定義してあげる必要があったみたいです。

\Demo\Scripts\Main.csに

public void RegisterAnimation(string name, Model.Animation animation)
{
animationsToPerform.Add(name, animation);

をみつけたので、この「Main.cs」をVRMChatdollkitにアタッチしてみたら解決しました。

文脈にあわせて踊ったり照れたり怒ったりしてくれます！愉快ですね。

リップシンクが動かない

実行したらおしゃべりもできるし、表情も変わるのに、
「リップシンクだけが頑なに動いてくれない」問題。

リップシンクに関係しそうなところを順番に確認したところ、
「U Lip Sync」の参照が違うオブジェクトになってしまっていたのが原因でした。

序盤に「ChatdollKit/Prefabs/ChatdollKit」をヒエラルキーに入れたらいいのか「ChatdollKit/Prefabs/ChatdollKitVRM」を入れたらいいのかでマゴマゴしてしまった影響で、
コンポーネントの値をコピペしたときに参照がずれてしまっていたみたいです。
あるあるですね。

(VRMモデルを使用している場合は「ChatdollKit/Prefabs/ChatdollKitVRM」を選べば大丈夫そうです)