softmax

"生成AIは「単体モデル」ではなく「多層システム」である。"

"良質なトレーニングデータの量と質、特に確立されたパターンと豊かな文脈の存在が、LLMが正確で信頼性の高い結果を生成する能力に大きく影響すると示唆しています。"

"生成AIの挙動は、次の2つの数理法則によって完全に支配されています：「Softmax Crowding」と「Semantic Drift」。"

"この記事は、ファインチューニングはロジットの分布をシフトするだけであり、温度（T）が0より大きい限り、誤ったトークンが選択される確率は数学的に決してゼロにならないと説明しています。これは、生成AIの確率的性質が非決定論的なギャンブルにつながることを意味します。"

"I propose a method called Teacher-Free Self-Distillation (TFSD) that relies on a "Geometric Turn": Metric Regime: Replace the dot product with negative squared Euclidean distance ($z = -|x - c|2$)."

"GRADE-STE achieves a test reward of 0.763 +- 0.344 compared to PPO's 0.510 +- 0.313 and REINFORCE's 0.617 +- 0.378, representing a 50% relative improvement over PPO."

"Softmax takes the raw, unbounded scores produced by a neural network and transforms them into a well-defined probability distribution..."

"MNIST（エムニスト）は、0から9までの手書き数字の画像データセットです。"

"The paper focuses on the relationship between softmax and linear attention in the large-prompt regime."