Qwen3.6-35BがAMD ROCm 7.2.1で高速なマルチモーダル推論を実現

infrastructure#llm📝 Blog|分析: 2026年4月18日 08:00
公開: 2026年4月18日 07:54
1分で読める
Qiita AI

分析

これは、MambaとMoE(専門家混合)を組み合わせたオープンソースのハイブリッドアーキテクチャが、いかに素晴らしい効率性を発揮できるかを示す見事な実証です。34.66Bのパラメータのうち3B相当のみをアクティブにすることで、コンシューマー向けハードウェア上で非常に応答性の高いテキスト生成速度を実現しています。マルチモーダル機能とAMDのROCmの統合が成功したことは、大規模言語モデル (LLM)向けの代替GPUエコシステムの競争力とアクセスビリティの高まりをさらに強調しています。
引用・出典
原文を見る
"tgはMoEのアクティブパラメータが3B相当のため、モデルサイズの割に高速。"
Q
Qiita AI2026年4月18日 07:54
* 著作権法第32条に基づく適法な引用です。