Nomic GPT4ALLでローカルLLMをMacで使ってみる

読者の皆様こんにちは。

今日はMacを使ってローカルLLMを使う方法を記事にしてみたいと思います。今回もいつも通り、皆様が簡単に試せるように、無料で使える範囲のツールとしてNomicからリリースされているGPT4ALLのご紹介です！！

それでは行ってみましょう

なんでLLM?

私は日々電車で片道2時間程度の移動時間があります。移動時間が長いので移動中にコードを書いたりなんらかの作業をMacBookで行うことがあるのですが、道中に携帯が圏外になるエリアがあるんですよ。わざわざローカルLLMなんてものを引っ張り出すのは、この圏外のせいでChat GPTを常に使えるわけじゃないからです。私はこんな事情でローカルLLMを使用していますが、人によってはセキュリティの問題でインターネットに接続できないケースもあるでしょう。そんな時でも簡単に質問できる相手がいるっていいもんですよ！！

今回使ったコンピュータ達

MacBookPro 16inch 2019 intel Core i9 9880H RAM:32GB, SSD:1TB, macOS Sequoia 15.3

Mac mini M1 RAM: 16GB, SSD:512GB, macOS Sequoia 15.3

今回は2台のコンピュータで動作を確認しました。2台なくても1台だけで設定から利用まで十分可能なのですが、たまたま中の人が個人で使用しているMacがintel macだったので、intel版でも動作するか検証する意味で盛り込んでます。2台ともぼちぼちメモリが盛られてる仕様ですね。動かした体感的には16GBあれば動作するけど8GBだときついかも〜って感じでした。スワッピングしたらいけるのかもしれませんが、手元に8GB機がないので検証できていません。それと、もちろんローカルLLM単体で使ってるわけではないので何とも言えないですが、M1マシンはローカルLLMを回すとアクティビティモニタ上でメモリプレッシャーが黄色になったりならなかったりしてました。

まずはGPT4ALLのインストールから

今回はNomic AIが開発したGPT4ALLを使用していきます。とりあえず公式サイトからインストーラを落としましょう。macOS用のインストーラは1種類のようなのでApple Silliconの人もIntel Macの人も心配無用。

ダウンロードができたらインストールまで進めましょう。途中の設定はデフォルトのままでOK。

次はモデルの準備

GPT4ALLのソフトを起動すると、最初に学習データの取り扱いについて聞かれるウィンドウが出ますが両方Noで大丈夫(すみません、画像を忘れました…)。起動すると下図の画面になります。

手持ちのモデルがあればLocalDocsに進めばいいのですが、普通はモデルの手持ちなんてなかなかないと思うのでFind Modelを選択します。この画面に進むとダウンロードできるモデルがたくさん出てきます。

ここで”Download”とだけ記載されてるモデルについてはダウンロードするだけで使用ができますが中にはAPIキーが必要なものもあります。

例えばChat GPTのモデルであればキーの入力が必要です。この手のものを使い込むには現実的には有料プランを契約したアカウントからキーを取得する必要があるので、今回のお題的にはお手軽じゃないですね。さらにChat GPTについては現状オフラインでは動かないので今回は採用見送りです。

まぁどのモデルでもいいですし用途によって選択は様々なのでしょうが、今回私はLlama3 8B Instructを選択しました。選定基準として、”APIの設定が要らないこと”、”パラメータが多いこと”、”DeepSeekは避けること”を条件にしました。

ダウンロードするモデルが決まればダウンロードをしましょう。どのモデルにせよ4GB以上のファイルサイズなので、安定的なインターネット環境で落とす方がいいでしょう。

実際に使ってみる

ダウンロードが完了したら、左部のメニューより”Chats”を選択。”+New Chat”を選択したのちダウンロードしたモデルを選択するとチャットが開始できます。実は上述のモデルの選定条件の際に、日本語に特化されていることを条件に含めていませんでした。使った体感としてはLlama3 8B Instructはおそらく英語での対応がメインのようです。もちろん”日本語にしてくれ”とプロンプトに入力すれば日本語にしてくれますが、私はある程度なら英語でも問題ないのでその辺は適当に使ってます。

最後に

基本的にGPT4ALLは全ての処理をCPUで行うので、少々古いコンピューターでも動きます(私のMacBookも2019年モデルです)。意外とローカルで動くと便利な面も多いので気軽に試してみてはいかがでしょうか？