ソフト／アプリ／サービス／ゲーム
実用性
ないです。lm link といってパソコンのモデルをネットを介して使うと言うものを使うなら普通にChatGPT などを使えば良いし
スマホにLLMをぶち込んで動かすのもナンセンスですから。でもlm linkよりは少しくらいは実用性はあるのかもしれなくもないかもしれないかもしれないかもしれないですね。つまり同じくらい実用性はないと言うことです
あとで見返しましたが僕の数個まえの記事にAndroidでやってる人がいましたね。華麗な二番煎じとはこのことです。
とりあえずそれなら使えるんじゃね？知らんけど
まあスマホでやるもんじゃないです。
どう？使えた？
まぁ...使えました。いや、動くには動きました
一回の推論で電池が2〜5パーくらい持っていかれたり、その結果が間違いだらけだったりとクソオブクソです。今回も多分間違えてます。見てもらうとわかる通りそもそもCPU推論はしていません。動いてる途中でもあまり使われてないでしょ？
モデルはbonsai 8B を使いました。多分めっちゃ量子化されてます。メモリが6Gb なんで仕方ないですね。パラメータ数が一番多くてデカさがそこそこだとこれしかないですわ
こらを動かしてるときにバカみたいにカクつくのでGPUを使っているか、それともNeural engineを使って動かしてるんでしょう。iPhone 15にNPUがついてるのにApple intelligence 非対応なのは不思議ですけどね。これ動かしてるとちんちんです。めっちゃ熱い。
そんなことよりもピクチャインピクチャーのCPU使用率のグラフの方があなたたち気になるでしょ？
いいですよ。次の日に紹介します。
怪しいものではない
Gadgeteer for iPhone
まとめ
ロマンの塊
中身クソ
✅ 良かった点
- 時間が溶けた
⚠️ 気になった点
- 使えん
- 使えたとしても実用性なし
評価
性能
1 / 5
電池持ち
1 / 5
使いやすさ
4 / 5
実用性
1 / 5
おすすめ度
1 / 5
関連商品
商品情報
- メーカー
- LM studio
- 製品名
- Locally
この記事の連載・特集リスト
Microsoftのマスカキで始まったCopilot+PCには、40TOPS以上のNPUが積まれています。
正直いらないですが、あるからには有効活用使用ということで、NPUでLLMを動かしてみようと思いました。
一つ注意して欲しいのは、これは50tops以上のNPUを積んだAMD機でしかまだできないということです。
Intel機だったり、初期のRyzen AIはできないと思われます。
Microsoft のマスカキ機能、Copilot+PCの無効化と注意点
ローカルAIを使い続ける理由と、自分の思う上手い使い方 その1
ローカルAIを動かす環境を整えようNPU 編(今回から本題に入ります)
NPUでLLMを動かそう。その3 lemonade serverにモデルを追加しよう•lemonade Serverの起動を楽にしよう
この記事NPUでLLM を動かそう！連載番外編:スマホでLLMを動かそう(無駄)いいね （2件）＆足跡 （0件）
コメント （6件）
前後の記事
関連レビュー
Google AI Edge Galleryを実際に使って検証！完全オフラインAIの使い勝手と性能
プログラミング未経験者がAndroid Studioに挑戦！AIのコードでアプリを作る
【N0va desktop】言語学徒が…消えた神アプリ「N0va desktop」に出会った
【謎機能】2台のAQUOSを一つの大画面にするアプリ「Swipe Pair」が無駄にスゲェ！当時のシャープのこだわりを見た
言語学徒が…課金なき理想郷・中華デジタル文化に出会った
【レビュー】Goodnotesは買い切り版がお得？1年使って分かった結論
Androidサブ機で困るApple連携2つ！コピペ共有とメモ帳の解決策
鉄道オタク必見! スマホで遊べる最高の運転シミュレーター【Rail World!】
AI動かしてみます