llama

"この記事では、RAGの仕組みを理解するために、PythonとOllamaを使用してシンプルなRAG（検索拡張生成）システムをゼロから実装する方法を説明します。"

"この記事では、Qwen 3.5モデルをRTX 4070 (VRAM 12GB) + 32GB RAMのセットアップでテストし検証し、ローカルLLMがクラウドベースのソリューションに代わる実行可能な選択肢になりつつあることを示しています。"

"しかし、これがマージされると、Blackwell GPU を持ち、十分なメモリ (RAM を含む！) を持っている人は誰でも、最大 2.3 倍の速度向上と、30～70% のサイズ削減を NVFP4 で享受できるようになります。"

"ポイントは「AI 設定ありなら AI 生成・なければテンプレート生成」というフォールバック設計です。"

"この記事は前回の続編です。「Ollama って何？」「Function Calling って？」という方は、先に前回の記事をご覧ください。"

"そこで実験を始めた結果が「87%」でした。"

"Ollamaを用いてローカル環境でgpt-oss:20bを実行し、Discord Bot経由でbash実行・ファイル読み書き・計画モードまで備えたAIエージェントを自作した全記録。"

"クラウドに送っていた推論リクエストの一部を、ローカルで処理する。それだけで、クラウド費用を削減しながら、以下のメリットも同時に手に入ります。"

"llama.cppのようなエンジンでローカルにQwen 3.5 35B A3Bを実行している場合は、デフォルトのfp16ではなく、KVキャッシュを手動でbf16 (-ctk bf16 -ctv bf16)に設定する必要があります。"

"このブログ記事では、AMDのRyzen™ AI Max+ AI PCプラットフォームを使用して小規模な分散推論クラスターを構築し、llama.cpp RPCを使用して1兆パラメータクラスの大規模言語モデルを実行する方法を説明します。"

"GGUF (GPT-Generated Unified Format) は、llama.cpp プロジェクトのために開発された、ローカル環境でAIを動かすための専用フォーマットです。"

"この構成なら、社内のデータは自社インフラ内で完結し、外部に送信されることはありません。"

"karukanは、fcitx5 -> 任意のモデル + llama.cppによる推論でかな漢字変換を実装。"

"興味深いことに、このサイズにして非常に良い困惑度を示しており、特にVulkanバックエンドでは、他の主要な量子化よりも高速である可能性があります。"

"この記事では、OllamaのAPIレスポンスが異常に遅くなる問題を、モデル設定とシステム環境の両面から徹底的にチューニングし、実用的な速度へと改善する方法をステップバイステップで解説します。"

"ローカルLLMを使うと面白いゲームがたくさん作れそう！"

"最近32GBメモリのM2のMacBook Proを買ったので、ローカルLLMを動かしてみようと思い、数日前にリリースされたQwen3.5を動かしてみました。"

"本記事では、バイブコーディングでRAG（検索拡張生成）チャットBotを作った体験をお伝えします。"

"私は一般的に他者の財産の誤用に賛成しませんが、この発言はAnthropicから出てくるのが皮肉です。"

"本記事では、同様に検討している方に向けて、設定手順を備忘録としてまとめます。"

"Taalasは、Llama 3.1 8Bモデル向けに最適化された最初の製品、Taalas HC1チップを発表し、30チップのクラスターを使用した場合に、毎秒12,000トークンの推論速度を達成し、従来のGPUソリューションと比較して50倍のエネルギー効率向上を実現しました。"

"OpenUIというのもGeminiに教わって、動かすフロントエンドとして使ってみた。"

"ollama run <モデル名> を使うと、モデルを実行してくれます。"

"Baseモデルにとって「こんにちは」は挨拶ではありません。ただの日本語トークン列です。"

"Baseモデルにとって「こんにちは」は挨拶ではありません。ただの日本語トークン列です。「この後に続きそうなテキスト」を確率的に予測した結果、訓練データで大量に見たであろう日本語アニメブログへ着地しました。"

"「ChatGPTのAPI代、塵も積もれば山となるな…そうだ、ローカルLLMを自分のPCで動かしてAPI化すれば、実質無料で叩き放題じゃん！」 そう思い立ちました。"

"Performance data for Llama 3.1 8B, Input sequence length 1k/1k あのCerebrasと比較しても1桁違うのはさすがにすごすぎる。"

"GGUFは単なる「軽いモデルファイル」ではなく、モデルのアーキテクチャ情報、トークナイザー、量子化パラメータを1つのファイルにパッケージ化した、非常に賢いフォーマットです。"

"Taalas社は最近、Llama 3.1 8B (3/6ビットquant) を1秒あたり17,000トークンの推論速度で実行するASICチップをリリースしました。"

"Taalasは、Llama 3.1 8Bモデル向けに、ユーザーあたり1秒間に驚異的な16,960トークンを処理する、驚くほど高速な本番APIサービスを発表しました。"