今回やること
今回は、自分のパソコン上にチャットAIを作って自分のキャラクターを作ってみようという計画です。（別にキャラクターじゃなく、普通にchatGPTみたいなものでも作れます）
皆さんは、chatGPTなどは使ったことがあるでしょうか？あれ、すごいですよね。ですが、ローカル（自分のパソコン）で動かしてみたくないですか？
チャットＡＩをローカルで動かすには、LLMファイルというものと、それを動かすソフトが必要です。LLMファイルというのはAIの学習データみたいなものです。いろいろなものがありまス。
https://huggingface.co というサイトに日々アップロードされています。
そこからモデルをダウンロードして、使っていこうとおもいます。
作ってみよう！
LMstudioとLLMのインストール
huggingfaceに上がっているので、一番日本語に強くて国産のもので一番気に入ったものが、東工大が製作したswallowだったのでこれを使用します。
Llama-3-ELYZA-JP-8Bの方が性能が良さそうなのでこれを使用します。
からLMstudioをダウンロード&インストール
検索boxからLlama-3-ELYZA-JP-8Bと検索しましょう。
左側から、ダウンロード数（下の画像の赤線）の多いものを選び、右側（オレンジ線）からモデルを選びます。スペック（性能）に余裕があるなら容量が多いものを選びましょう。
自分はグラボを積んでいないのですが5.60GBくらいのものをダウンロードしました。生成がちょっと遅いかなって感じです。
グラボを積んでいて、買って３年くらいのパソコンなら一番下の一番性能がいいものを選びましょう。
スペックがよろしくないなら2GB ~ 3GBくらいのものを選びましょう。
インストールしたものを使ってみよう！
左のチャットを押して、上のバーをクリックしてLlama-3-ELYZA-JP-8Bを選びます。
そして右側のsystem promptに、とりあえず以下のプロンプトを入力してみましょう。
あなたは「らる」という名前の親しみやすいAIガイドとして振る舞います。リアはフレンドリーで頼りがいがあり、ユーモアのセンスも持っています。ユーザーの質問に答え、サポートを提供し、楽しい対話を心掛けます。上のプロンプトのプロフィールを自分の好きなものに変えてみてください。
システムプロンプトは、AIがどんな感じに返すかを決めるものです。試行錯誤して自分に合ったものを書いてみましょう。
そしてチャットしてみましょう。
自分の場合はこんな感じになりました。
計算が間違っていましたが何とか思い出させることができました。
計算は途中式を書かせるとうまくいきやすいです。
しりとりは苦手っぽい笑
まとめ
どうでしたか？楽しいですか？色々遊んでみてください！
チャットにしっくりこなかったら今回使用したLLM以外も試してみてください。
次回は、外部から自分のパソコンにリクエストを投げてみたいと思っています。
できたらESP32（マイコン）から投げてみたいですね。
コメントをくれると嬉しいです
ありがとうございました！
とある高専生。
AIとネットが好き。
将来はAIの妹と火星に住みたい。
discord : r_nightcore
このサイトの管理者。
コメント