ソフト／アプリ／サービス／ゲーム
吉田さんへ
運営からのメッセージマジで昨日気づきました
投稿できてなかったのは普通にテスト漬けだったからです。すんません。
今回はレモネードサーバーにモデルを入れることを話します。
以前の記事をかなり変えて、かつ連載でまとめてみました。そちらも読んでみてくださいね
Lemonade appでモデルを選んだ方がわかりやすい
Lemonade server は基本コマンド経由ですが、lemonade appというGUIのアプリもついてます。そこで使いたいモデルを選びましょう。
NPUで動かす場合は、Fastflowlm の中から好きなものを選ぶといいです。個人的にはGemma E4B FLMを気に入って使っています。
ダウンロードして、お好みの設定をしましょう。
バッチファイルを使って、サーバーの起動を楽にしよう
この手のやつはバッチファイルでサクッと起動させた方が楽です。
@echo off
setlocal
echo ==========================================
echo Lemonade Server - Gemma 4 E4B
echo Thinking: ON
echo NPU Power Mode: TURBO
echo Max Tokens: 11264
echo ==========================================
REM Lemonade Serverを起動
start “” lemonade-server –port 13305
REM Server起動待ち
timeout /t 3 /nobreak >nul
REM Gemma 4 E4BをFLMでロード
flm serve gemma4-it:e4b –pmode turbo –ctx-len 11264
endlocal
setlocal
echo ==========================================
echo Lemonade Server - Gemma 4 E4B
echo Thinking: ON
echo NPU Power Mode: TURBO
echo Max Tokens: 11264
echo ==========================================
REM Lemonade Serverを起動
start “” lemonade-server –port 13305
REM Server起動待ち
timeout /t 3 /nobreak >nul
REM Gemma 4 E4BをFLMでロード
flm serve gemma4-it:e4b –pmode turbo –ctx-len 11264
endlocal
停止方法はusb抜くところと同じです。そこでquit lemonadeを押すだけ
次回はJanと接続したり、vs codeと接続するやり方か、それかlemonade serverのコマンドについて書こうと思います。どっちが先がいいかな？
Gadgeteer for iPhone
評価
5
★★★★★
総合評価
性能
4 / 5
デザイン
3 / 5
使いやすさ
4 / 5
関連商品
商品情報
- メーカー
- AMD
- 製品名
- Lemonade server
この記事の連載・特集リスト
Microsoftのマスカキで始まったCopilot+PCには、40TOPS以上のNPUが積まれています。
正直いらないですが、あるからには有効活用使用ということで、NPUでLLMを動かしてみようと思いました。
一つ注意して欲しいのは、これは50tops以上のNPUを積んだAMD機でしかまだできないということです。
Intel機だったり、初期のRyzen AIはできないと思われます。
Microsoft のマスカキ機能、Copilot+PCの無効化と注意点
ローカルAIを使い続ける理由と、自分の思う上手い使い方 その1
ローカルAIを動かす環境を整えようNPU 編(今回から本題に入ります)
この記事NPUでLLMを動かそう。その3 lemonade serverにモデルを追加しよう•lemonade Serverの起動を楽にしよういいね （3件）＆足跡 （6件）
前後の記事
関連レビュー
数ヶ月使用&保証修理後のレビュー!Garellia DL9R-IG-C4A
富士通のタブレットPC Q508/VEを中古で購入。Atomでも使い道はあるのか。
dynabookG83／FSを実機レビュー！3万円中古ノートPCの性能と使い道
Lenovo 500e Chromebookを実際に使った結論！GIGAスクール構想の闇を暴く！
MSI GP76の爆熱を抑えた手順まとめ！CPUとGPUの設定変更で有線LANも安定
ASUS ROG Zephyrus G15は高性能なのに置物化！使わなくなった3つの理由
60万円の2画面変態ノートPCのレビュー その２
また550円PCをドフで見つけたから買ってみた後編
コメント （2件）