ASUS ROG STRIX GeForce RTX 3070 8GBでローカルLLMは快適？実際に動かしてCPUと速度比較！

どもーshoooです！

最近やたら登場しているこちら。

ASUS ROG STRIX GeForce RTX 3070 OC 8GB！

今回でRTX 3070記事3本目です笑

1本目では外観レビュー。

2本目ではSuperpositionや黒神話：悟空を使って、2026年現在でもゲームで戦えるのか色々検証しました。

そしてその記事のコメントで、

「ベンチだけじゃなく、ローカルLLMでも実測値を出してほしい」

というリクエストをいただきました！

ローカルLLM…

名前は知ってるけど、正直何をどう測ればいいのかよく分かってませんでした笑

ということで今回は実際にローカルLLMを導入して、RTX 3070でどのくらいの速度が出るのか試してみます！

「はい。以前から触ってみたいなーとずっと思っていたものの触れずにいましたがついに触れることにしました笑」

ローカルLLMを動かしてみる！

今回はできるだけ簡単に試したかったので、LM Studioを使っていきます！

何気にローカルLLMは初めてなのでAIに聞いた結果一番楽に入れられるということでこちらのLM Studioにしました。

「AIを使うためにAIに聞く…なんとシュール…」

LM Studioを導入

インストール自体は普通のWindowsソフトとほぼ同じ。

起動するとこんな感じ。思ってたより普通のAIチャット画面ですね。

「普通にインストールするだけなんで誰でもできそうですね笑」

今回使うモデル

ということで、AIに比較的新しく、そこそこ動くオススメのモデルを聞いた結果、

今回は、Google Gemma 4 E4B Instruct QAT Q4_0を使用します。

モデルサイズは5.15GB。

画面には「Full GPU Offload Possible」と表示されています。

まぁとりあえずRTX 3070でも動かせそうなのでヨシ！ということでダウンロードして進めていきます。

「AIに聞きながらAIを動かしていくぜ…」

RTX 3070で実際に動かしてみる！

設定方法も完全にAI任せです。

このようにAIに指示された通りにPowerShellに打ち込んでいきます笑

見た感じモデルの読み込みは約5秒みたいです。

では実際に質問していきたいと思います！

「RTX 3070について500文字程度で教えてください。」と聞いてみました。

おお…

何気に普通に日本語で返ってきたのすごい笑

しかも体感かなり速い。

RTX 3070の特徴やDLSS、レイトレーシングなどについて、それっぽく説明してくれました。

RTX 3070で3回測定！

実際の速度も知りたいと思い、PowerShellからコマンドを送って実測値を確認することにしました。３回ほど同じ質問を回してみました！

今回はログに表示されるtokensPerSecondという値を見ていきます。

どうやら1秒間にどれくらい文章を生成できるかを見る数字らしいです。

まず1回目。

結果は…

93.25 tok/s！

続いて2回目。

結果は…

94.19 tok/s！

そして3回目。

結果は…

92.12 tok/s！

結果をまとめると、

平均約93.2 tok/s！

…と言っても、初めてなのでこの数字がどれくらい速いのか正直よく分かりません笑

ただ実際に使った感覚では、質問するとすぐ文章が流れてくるので待たされてる感じはほぼありませんでした。

個人的には普通に快適。

「まだよくわからんけどネット繋げずに普通にAI使えるのすごい！」

じゃあCPUだけだとどうなる？(Ryzen 7 5700X)

RTX 3070で快適なのは分かりました。

ただこれだけだと、どれぐらい速いのか、そもそもGPU使う意味あるのかもわからないため比較のためにも今度はRTX 3070を使わずにRyzen 7 5700Xだけで同じモデルを動かしてみます！

とりあえずAIに従い設定からGPUをOFF。

質問も全く同じ、

「RTX 3070について500文字程度で教えてください。」

を3回やろうと思います。

「さて一体どれぐらい差がでるのか…」

CPUのみ・1回目

結果は…

4.70 tok/s

…遅い笑

RTX 3070のときは文章が一気に生成されていましたが、CPUだけだと少しずつ文章が出てくる感じ。

回答が終わるまで1分以上かかりました。

「1回目から圧倒的な差やな…何回やっても同じだろうけど3回検証はちゃんとします笑」

CPUのみ・2回目

結果は…

5.07 tok/s

やはり1回目との結果はたいして変わらず、そしてやはりRTX 3070とは全然違います。

CPUのみ・3回目

結果は…

4.92 tok/s

3回ともほぼ5 tok/s前後でした。

まとめると、

平均約4.90 tok/s！

…遅い。圧倒的に遅いです笑

RTX 3070とRyzen 7 5700Xの最終比較表！

その差は約…

19倍！

いや違いすぎるでしょ笑

RTX 3070では数秒程度で終わった回答が、CPUだけだと1分以上かかりました。

数字を見てもすごいですが、実際に触ったときの体感差の方がかなり大きかったです。

今回のモデルや設定に限った結果なので、どんなローカルLLMでも19倍になるわけではないと思いますが、

「GPU使った方が圧倒的に快適！」

というのは皆さんに伝わったと思います笑

「伝わったよね？…」

実際ローカルLLMって使えそう？

今回初めてちゃんとローカルLLMを触ってみましたが思っていたより普通に使えました。

これが一番の感想です。

正直始める前は、

• 設定がめちゃくちゃ難しい
• 動かすだけで一苦労

みたいなイメージだったんですが、LM Studioを使えばモデルをダウンロードして読み込むだけで普通にAIと会話できました。

もちろん今回少し触っただけなので、ChatGPTなどの有料AIと比べてどこまで使えるのかはまだ全然分かりません。

モデルによって、回答の賢さもかなり違うんだろうなーと思います。

ただ、簡単な質問や文章作成であれば、個人的には普通に使えそう。

実際検証してこの記事を書こうと思ったきっかけになった前回の記事のコメントで、

「今後ローカルLLMが生活必需品になっていくかも」

という話もありましたが、実際触ってみると確かにこういうものがもっと一般的になっていく可能性はありそうですね。

「というかもう日常的にAIに助けられてる身からしたら実際にAI無しで生きてくのは難しいかもーと思ってたりします笑」

最後に

ということで今回はRTX 3070記事3本目！

外観を見て、ゲーム性能を測って、ついにはローカルLLMまで動かしてしまいました笑

ゲーム用GPUというイメージが強いRTX 3070ですが、今回使ったGemma 4 E4Bでは平均93.19 tok/sと、自分が普通に使う分には十分すぎるくらい高速でした。

一方のRyzen 7 5700Xのみでは平均4.90 tok/s。

その差約19倍。

ここまで違うとは思いませんでした。

ローカルLLMについてはまだ全然分からないことだらけなので、今後もう少し大きいモデルだったり、別のモデルだったりも試してみたいですねー。

「これからもっとローカルLLMについて調べていかなきゃなーという気持ちにはなりました笑」

メインPCのRX 7900 XTXでも動かしてみたいなーと思っています。笑

ちなみにメインPCの記事はこちら！

↓↓↓