ソフト／アプリ／サービス／ゲーム
今回から本題に入ります。
今回から、GUIの操作だけで簡単にNPUローカルAI環境を構築する手順を紹介します。
NPUで動かすためには、Fastflowlm を使う必要があり、その中でlemonade serverが一番いいと思いました。
- lemonade serverをいれます。レモネードサーバーと調べれば出てきますのでそれに従ってやるだけです。これについてくるlemonade appはguiですが、正直使いにくいのでJANにopenAI互換で繋いで使う方が楽です。
- JANを入れます。Jan にレモネードサーバーを繋げばチャットアプリとしてつかえます。
- Visual Studio Codeに接続したいときはLemonade for GitHub Copilotという拡張機能を使えばいいです。その拡張機能に使い方が書いてあるのでその通りに操作すれば使えるようになるでしょう。
これらをまずやれば、基本的なセットアップは完了します。次回は、レモネードサーバーでどのモデルを使うかについて書きたいと思っています。
Gadgeteer for iPhone
まとめ
今回は環境セットアップです。
商品情報
- メーカー
- AMD
- 製品名
- Lemonade server
この記事の連載・特集リスト
Microsoftのマスカキで始まったCopilot+PCには、40TOPS以上のNPUが積まれています。
正直いらないですが、あるからには有効活用使用ということで、NPUでLLMを動かしてみようと思いました。
一つ注意して欲しいのは、これは50tops以上のNPUを積んだAMD機でしかまだできないということです。
Intel機だったり、初期のRyzen AIはできないと思われます。
Microsoft のマスカキ機能、Copilot+PCの無効化と注意点
ローカルAIを使い続ける理由と、自分の思う上手い使い方 その1
この記事ローカルAIを動かす環境を整えようNPU 編(今回から本題に入ります)
NPUでLLMを動かそう。その3 lemonade serverにモデルを追加しよう•lemonade Serverの起動を楽にしよう
NPUでLLM を動かそう！連載番外編:スマホでLLMを動かそう(無駄)
いいね （4件）＆足跡 （2件）
コメント （4件）
前後の記事
関連レビュー
【後編】ハードオフイオン伊丹昆陽店でFujitsu LIFEBOOK AH77/Cを1100円で購入した結果
【前編】ハードオフイオン伊丹昆陽店でFujitsu LIFEBOOK AH77/Cを1100円で購入した結果
[Linux]最近よく聞くOmarchyをインストール
LenovoThinkPadX280を使い続けて分かった長所とストレージの注意点
Lenovo IdeaPad D330を実機レビュー！学校のPCを使って分かった性能と注意点
【18万円】ゲーミングノートは情弱なのか？実用的に使ってみてのレビュー！
15年前のNECノートパソコンを実際に使用！軽い作業なら今も使えるか？
CHUWI MiniBookXN100 (中華の闇製品レビュー)
MAXプランや