レビュー(有名ブランドの現行機種 かつ 購入2000円以上)
MicrosoftのWindowsの開発者には特殊性癖がある。そう。いらない機能を良かれと思ってつけて結果ユーザーから叩かれても治さないというクソみたいな性癖である。メンヘラなのかヤンデレなのか、はたまた叩かれたいドMなのか、いずれにせよ気色の悪い趣味をこちらに押し付けるのがどうもお得意らしい。
最近ではCopilot+PCが代表的だろう。アイドル時にその機能がメモリを食い尽くし、13GB近くを占有するのである。
大して何かできるわけでもないクソAIにそんな大量にメモリ食われてたまるか。

もちろん、これを無効化できる。サービスからWSAIfablicsvcを無効化すれば基本的には重くはならない。
しかし、注意点がある。パソコンの調子が地味に悪くなるのである。
グラフィックドライバーのアプデやクリーンアップの時にブルスクが起きたり、なんとしてでも立ちあがろうとしてエラーが出たりする。うざい。
あ、あと、Wi-Fiもなんでか知らんけど使えなくなるわ
対処法はWSAIfablicSVCを手動とか自動に戻すことである。それじゃあ本末転倒なんだけどね
文句ばっか言ってても仕方ないので
せっかくならNPUとやらをバリバリ使ってやろうじゃないか。と思いました。(後日談みたいですがここからは加筆です)
結論から言うと、期待以上のはたらきをしてくれました。
- うるさくない
- バッテリー持ちがいい
- 意外と早い
- できることが意外と多い
悪かった点は箇条書きにするほどではないです。UIが使いにくいところもカバーできますからね。
ローカルでAIをNPUで動かそうと思った原因
くどくなるが、NPUを自分の方法で使わないのは癪だし、、、
大学の講義室は往々にして、ネット環境が悪いところがあります。そういった講義室で行われる授業は、事前に資料をダウンロードしたり、スマホから共有したりして対処するのが一般的です。
しかし、そこで行われる講義の資料がわかりにくいのでAIに聞きたくなったり、pythonの授業vs codeの拡張機能のcontinueでバリバリAIを使いたくなったりすることは当然あります。それを解決してみようということです
マシンパワー問題(画像はNPUのみでGemma 4 E4Bを動かしてる様子)
そのときのために、AIをオフラインで動かすということが選択肢として上がってくるわけですが、これを動かすためには当然ノートパソコンのマシンパワーが全てを決めます。
なお、オフラインAIはただプライバシーのためにやってるだけだと絶対オンラインのAIに戻ってくるので、そう言った目的の人には本記事は刺さらないでしょう。また、Kimi k3もような高性能なLLMを動かしたいという人も向いてないでしょう。
基本的にはCPUとGPUを使って推論をさせるのですが、これだと
1.消費電力が大きく、すぐに充電がな くなってしまう。
2.発熱し、筐体自体が熱くなり、ファンの音もうるさくなり、周りの学生に迷惑になる
3.より速く推論させるためにはゲーミングノートpcのような、CPUとは別でGPUがついた重いPCを持ち運ばなければならない
という問題があります。
大前提として、最低でも32GBのRAMは必要かと思います

Intel入ってるパソコンで動かす?

結論から言えばあまりお勧めしないです。
理由は単純で、ゲーム同様、intel arkに対応したランタイムはないし、intel のNPUはそもそもほぼ使えないですからね。
ならAMDしかない

AMDならiGPUもかなり強いし、CPUやGPU、そして何よりもNPUでLLMが動かせるように対応したソフトがちゃんとあります。lm studioやlemonade serverをJANを組み合わせて使うことで、僕みたいにGUIでの操作に慣れきってるバカでも使えます。
Arm系?なんすか?それ?
Lemonade serverを使おう
NPUで動かすためには、Fastflowlm を使う必要があり、その中でlemonade serverが一番いいと思いました。
- lemonade serverをいれます。レモネードサーバーと調べれば出てきますのでそれに従ってやるだけです。これについてくるlemonade appはguiですが、正直使いにくいのでJANにopenAI互換で繋いで使う方が楽です。
- JANを入れます。Jan にレモネードサーバーを繋げばチャットアプリとしてつかえます。
- Visual Studio Codeに接続したいときはLemonade for GitHub Copilotという拡張機能を使えばいいです。その拡張機能に使い方が書いてあるのでその通りに操作すれば使えるようになるでしょう。
これらをまずやれば、基本的なセットアップは完了します。

lemonade appのほうがいい
Lemonade server は基本コマンド経由ですが、lemonade appというGUIのアプリもついてます。そこで使いたいモデルを選びましょう。
NPUで動かす場合は、Fastflowlm の中から好きなものを選ぶといいです。個人的にはGemma E4B FLMを気に入って使っています。

ダウンロードして、お好みの設定をしましょう。
以後、余談:スマホでLLMを動かそう(無駄)
実用性
ないです。lm link といってパソコンのモデルをネットを介して使うと言うものを使うなら普通にChatGPT などを使えば良いし
スマホにLLMをぶち込んで動かすのもナンセンスですから。でもlm linkよりは少しくらいは実用性はあるのかもしれなくもないかもしれないかもしれないかもしれないですね。つまり同じくらい実用性はないと言うことです
あとで見返しましたが僕の数個まえの記事にAndroidでやってる人がいましたね。華麗な二番煎じとはこのことです。
とりあえずそれなら使えるんじゃね?知らんけど
まあスマホでやるもんじゃないです。


一回の推論で電池が2〜5パーくらい持っていかれたり、その結果が間違いだらけだったりとクソオブクソです。今回も多分間違えてます。見てもらうとわかる通りそもそもCPU推論はしていません。動いてる途中でもあまり使われてないでしょ?
モデルはbonsai 8B を使いました。多分めっちゃ量子化されてます。メモリが6Gb なんで仕方ないですね。パラメータ数が一番多くてデカさがそこそこだとこれしかないですわ
こらを動かしてるときにバカみたいにカクつくのでGPUを使っているか、それともNeural engineを使って動かしてるんでしょう。iPhone 15にNPUがついてるのにApple intelligence 非対応なのは不思議ですけどね。これ動かしてるとちんちんです。めっちゃ熱い。
ちなみにiphone版タスクマネージャーは3000円くらい課金しました
関連商品


商品情報
- メーカー
- Microsoft
- 製品名
- Windows

コメント (4件)