llm inference

"LLM推論への直接ブート — OSなし、カーネルなし"

"Mercury 2は、世界初の商用グレード「拡散型LLM」の推論モデルです。"

"Anthropicは最大2.5倍のトークン/秒を提供します（Opus 4.6の65から約170）。OpenAIは1秒あたり1000以上のトークンを提供します（GPT-5.3-Codexの65トークン/秒から15倍）。"

"Cerebras Wafer-Scale Engine（WSE-2）の主要なアーキテクチャ上の特徴は、メモリと計算資源を物理的に統合してボトルネックを排除している点と、スパース性（疎性、データの中に「ゼロ（または無意味な値）」が非常に多く含まれている状態のこと）を活用している点にあります。"

"The article discusses different processing methods for CPU/GPU/TPU."

"Raspberry Pis latest AI accessory brings a more powerful Hailo NPU, capable of LLMs and image inference, but the price tag is a key deciding factor."

"the ik_llama.cpp project (a performance-optimized fork of llama.cpp) achieved a breakthrough in local LLM inference for multi-GPU configurations, delivering a massive performance leap — not just a marginal gain, but a 3x to 4x speed improvement."