ChatdollKitで好きなアバターをAIアシスタントにしてみる

うに

こんにちは、うにです！

2024年はブログ更新頑張るぞ！とか言いながら、すっかり更新が滞っておりました。
何をやっていたかというと、ChatdollKitでアバターをAIアシスタント化してみよう！という試みにはまっております。。

ChatGPTなど、LLMモデルのAPIを叩いてアバターにおしゃべりさせることってできないかな？と考えてみたときに、
見つけたうってつけの開発フレームワークが「ChatdollKit」。

これがまたすばらしい作りこみで、
デモ通り動かすまでならコード一切触らず、2時間もかからずできちゃいます。
デモ通りに動かしてみても「うわー！」という感じなのですが、拡張性の高さにも感動します。無料で公開されてるのすごいよ…

ということでまだまだ始めたばかりなのですが、初心者がChatdollKitを触ってみてつまづいたところ、追加で試してみたことをいくつか備忘録的に残しておきます。

・これからChatdollKitを触ってみたい！
・好きなAIアバターでAIアシスタントを作ってみたい！

という方の参考になりますとうれしいです。

買ってよかったMetaQuest2。初心者におすすめのVRゴーグル

もともと手芸や電子工作など「モノを触る趣味」が多かったのですが、最近はすっかり趣味も電子化してしまいました。バーチャルの世界っておもしろいな！？と思うようになったきっかけのひとつは、VRゴーグル「MetaQuest2」を購入したこと。本記事では、MetaQuest2とはどんな製品か？というご紹介と、実際に購入してみて良かった点・難点についてまとめます。

Unity初心者Quest勢のVRChatアバター改変事情

「Quest単機でフルトラ化を試してみた記事」の関連で、VRChat用アバターの衣装改変レパートリーと使用アイテムをまとめてみます。初心者＆Quest勢のアバター改変事情ってどんな感じ？という疑問をもつ方のご参考になりますとうれしいです。

Table of contents

ChatdollKitについて。AIアシスタント作成にぴったり
1. ChatdollKitとは？
ChatdollKit導入でつまづいたところ
追加で試してみたこと
今後試したいこと
まとめ

ChatdollKitについて。AIアシスタント作成にぴったり

ChatdollKitとは？

ChatdollKitは、「お好みの3Dモデルを使って音声対話可能なチャットボットを作るためのフレームワーク」です。
開発者様にて公開されている各種パッケージ、マニュアルはこちら。

https://github.com/uezo/ChatdollKit/blob/master/README.ja.md

マニュアルから動画からデモ用シーンから、もう至れり尽くせり！
めちゃくちゃわかりやすいです。時々出てくるシグネットちゃんがかわいいんだなあ…

うにはUnityでほとんどスクリプトを書いたことがない人間ですが、
スクリプトの中身を触らなくてもUnity操作だけでおしゃべりまではできるようになっていて、初心者には大変入門しやすい設計でした。

自分で作るのはちょっとな～という方は、アプリとしてリリースされているものもあるみたいです！

ChatGPT×音声合成ソフト×VRMモデルによるトークアプリ「おしゃべりAI」が配信開始

ChatdollKit導入でつまづいたところ

インストール時のエラー

必要なパッケージを記載通りのバージョンでUnityにインポートしたけれど、エラーが多発…

■依存ライブラリ

・Burst from Unity Package Manager
・UniTask(Ver.2.3.1)
・uLipSync(v2.6.1)
・For VRM model: UniVRM(v0.89.0)
・JSON.NET

■ChatdollKitのパッケージ

ChatdollKit_0.7.1.unitypackage
ChatdollKit_VRMExtension_0.7.1.unitypackage
ChatdollKit_Demo_0.7.1.unitypackage

構文エラーばっかりがダーッと出てくる

エラー箇所を見に行ってみると、Unity2019.4.31にはサポートされていない記法が含まれている？みたい。

これだとエラー

using var streamRequest = new UnityWebRequest(
string.IsNullOrEmpty(ChatCompletionUrl) ? “https://api.openai.com/v1/chat/completions” : ChatCompletionUrl,
“POST”
);

以下に書き換えるとエラー解消

UnityWebRequest streamRequest = new UnityWebRequest(
string.IsNullOrEmpty(ChatCompletionUrl) ? “https://api.openai.com/v1/chat/completions” : ChatCompletionUrl,
“POST”
);

だいたい要領は分かったので、地道に直せばいけるかな？と少し頑張ってみましたが、
ボリュームがなかなかありそうだったので断念。
ということで潔く2021.3.34のUnityをインストールし、解決しました。

いっぱい入れたはずのアニメーションを実行してくれない

起動時に手は振ってくれるし、設定したIdleモーションも反映されているのに、
「会話の流れでアニメーションを実行してくれない」問題。

デバッグコンソールには「Animation waving_arm is not registered.」のメッセージ。
アニメーターにはちゃんと登録されてるのに…？

どこでアニメーションが紐づいているんだろう？と遡っていったところ、
RegisterAnimationという関数の中身をちゃんと定義してあげる必要があったみたいです。

\Demo\Scripts\Main.csに

public void RegisterAnimation(string name, Model.Animation animation)
{
animationsToPerform.Add(name, animation);

をみつけたので、この「Main.cs」をVRMChatdollkitにアタッチしてみたら解決しました。

文脈にあわせて踊ったり照れたり怒ったりしてくれます！愉快ですね。

リップシンクが動かない

実行したらおしゃべりもできるし、表情も変わるのに、
「リップシンクだけが頑なに動いてくれない」問題。

リップシンクに関係しそうなところを順番に確認したところ、
「U Lip Sync」の参照が違うオブジェクトになってしまっていたのが原因でした。

序盤に「ChatdollKit/Prefabs/ChatdollKit」をヒエラルキーに入れたらいいのか「ChatdollKit/Prefabs/ChatdollKitVRM」を入れたらいいのかでマゴマゴしてしまった影響で、
コンポーネントの値をコピペしたときに参照がずれてしまっていたみたいです。
あるあるですね。

(VRMモデルを使用している場合は「ChatdollKit/Prefabs/ChatdollKitVRM」を選べば大丈夫そうです)