“NVIDIA AI Open-Sourced KVzap: SOTA KVキャッシュプルーニング手法は、2倍から4倍の圧縮をほぼ無損失で実現します。”
“NVIDIA AI オープンソース KVzap：SOTA KVキャッシュプルーニング法で、ほぼロスレスな2倍から4倍の圧縮を実現。”
“コンテキスト長が数万から数十万のトークンに及ぶようになると、トランスフォーマーデコーダーのキーバリューキャッシュが主要なデプロイメントのボトルネックになります。”
“ニューラルネットワークのプルーニング（枝刈り）やってますか？「重みの小さいパラメータは削除しちゃえ！」とか「勾配..."”
“具体的な目標は、GPUと[…]の両方で一貫したトレーニングおよび評価スタックの下で、ブロックレベル、レイヤーレベル、およびウェイトレベルのプルーニングメソッドを簡単に比較できるようにすることです。”
“深層学習モデルの剪定の基本は知っています。しかし、より大きなモデルでそれをどのように行うのかわかりません。あなたの知識とリソースを共有していただければ、助かります。”
“特定の圧縮戦略は、ロバスト性を維持するだけでなく、特に複雑なアーキテクチャを持つネットワークでは、ロバスト性を向上させる可能性もあります。”
“4096 x 4096行列で2:4スパース性と量子化を組み合わせた場合、重みストレージが最大4倍削減され、行列乗算が1.71倍高速化され、密なGPUベースラインと比較してエンドツーエンドのレイテンシが1.29倍削減されます。”
“この論文は、第二次フリーハイパー勾配推定器を備えた、最初のリソース適応型分散型二層最適化フレームワークを提示しています。”
“この論文は、健全な線形緩和における作業を最大化し、緩和が決定不能になった場合にのみ正確な区分線形推論を呼び出す「インクリメンタル証明書学習」を紹介しています。”
“”
“BR$k$NN-Lightアルゴリズムは、幾何学的制約に基づく迅速な検証と剪定戦略を使用し、最適化された範囲検索技術と組み合わせて、各クエリのR$k$NNを特定するプロセスを高速化します。”
“トレーニングデータの85％を剪定した後でも、この手法は収束と生成品質を大幅に改善し、ダウンストリームタスク全体で最先端のパフォーマンスを達成します。”
“著者は、RLの目的を、極端なテールを除外する動的に剪定された「安全な」語彙に制限することを提案しています。”
“論文は、データとクライアント参加の異質性の下で、パラメータの目標密度（rho）が、統計的性能の損失を最小限に抑えながら、FLで達成できることを示しています。”
“FANGは、30％と40％のスパース性において、FLAPとOBCを平均精度で1.5％～8.5％上回っています。”
“私たちの方法は、ベースラインアプローチと比較して平均8％のビットレート削減を達成します。”
“OrchANNは、DiskANN、Starling、SPANN、PipeANNを含む4つのベースラインと比較して、QPSとレイテンシの両方で優れており、SSDアクセスを削減しています。 さらに、OrchANNは、精度を犠牲にすることなく、競合システムよりも最大17.2倍高いQPSと25.0倍低いレイテンシを実現しています。”
“本論文は、1Dシーケンシャル表現を用いて2D空間における近隣構造を明示的に保持する、ヒルベルト曲線による並べ替えに基づく新しい近隣関係を考慮したトークン削減方法を提案しています。”
“このアプローチは、長いコンテキスト設定でパフォーマンスを維持しながら、最大80％のビジュアルトークンを削減できます。”
“指示追従能力は大幅に向上します（Llama-3.2-1Bおよび3Bモデルの場合、IFEvalで+46％から+75％）。”
“Selective TTSは、固定された計算予算の下で洞察の質を向上させ、平均スコアを61.64から65.86に増加させ、分散を減少させました。”
“継続的な参加が均衡において支配戦略となった場合に、スパース性が自然に現れる。”
“NOMAでは、ネットワークは管理されたメモリバッファとして扱われます。容量の拡大は言語のプリミティブです。”
“8〜16個の注意サブレイヤーを枝刈りすると、平均ゼロショット精度を枝刈りされていないベースラインの2％以内に維持しながら、最大1.30倍高い推論スループットが得られます。”
“SHRPは、元のモデルの精度の93％を達成しながら、パラメータを48％削減します。”
“”
“長期間にわたるマルチセッションの対話における時間的推論は、会話エージェントにとって重要な機能です。”
“これらの制限に対処するために、クエリに沿ったオーディオビジュアル知識をMMKGから取得し、MLLMの推論の深さと回答の忠実度を向上させる、マルチホップマルチモーダル知識グラフ強化RAGであるM$^3$KG-RAGを提案します。”
“”
“この論文では、HEART-VIT（ヘッセ行列に基づく効率的な動的アテンションとビジョントランスフォーマーにおけるトークン剪定）を紹介しています。”
“論文では、方法論、実験設定、結果、および既存の方法との比較について詳しく説明している可能性があります。”
“この論文は、トークン選択プロセスにおける重要性のバイアス除去と構造的多様性の促進に焦点を当てています。”
“この記事の核心的な概念は、不要なデータポイントを削除することにより、自動運転データセットを最適化することです。”
“この研究はArXivで公開されています。”
“この論文は、軌道駆動のエキスパートプルーニングに焦点を当てています。”
“”
“この研究は、合成可能で無条件のセキュリティに焦点を当てています。”
“28nm 0.22 μJ/token のメモリ・計算強度対応CNN-Transformerアクセラレータが提示されています。”
“この研究では、オンライン半分散型ST-GNNが利用されています。”
“PruneXは階層型の通信効率システムです。”
“OPTIMAは、LLMの剪定に二次計画法再構成を利用しています。”
“”
“この記事は、ArXivに投稿された論文に基づいています。”
“この研究は、オンライン動画理解の高速化に焦点を当てています。”
“記事のコンテキストはArXivからのものであることを示しており、査読済みの研究論文であることを示唆しています。”
“SparseSwapsは、LLMのプルーニングプロセス内でのマスク洗練に対する新しいアプローチを提供する可能性が高い。”
“”
“この記事の核心的な革新は、剪定にリー群と量子幾何学的双対表現を使用している点にあります。”
“この研究は、エッジデバイス上での連合学習型皮膚病変分類に焦点を当てています。”