解説：TransformerはBatchNormではなくLayerNormを使うのはなぜか？（数式なしで語るエンジニアリングの必然性）

この記事は、Deep Learningの面接でよく聞かれる質問、つまりTransformerがBatch Normalization（BatchNorm）ではなくLayer Normalization（LN）を使用する理由について論じています。著者は、AI研究者であり、面接でこの質問をすることに抵抗を感じており、それは暗記に偏りがちだと考えています。この記事は、複雑な数式を避け、実践的なエンジニアリングの視点から説明を提供することに焦点を当てています。このアプローチは、より直感的でアクセスしやすい理解を提供し、より幅広い読者層に適しています。

• •この記事は、TransformerにおけるLayerNormの選択をエンジニアリングの視点から説明することを目的としています。
• •複雑な数式を避け、実践的な考察に焦点を当てています。
• •著者は面接でのこの質問を嫌っており、それは暗記に繋がりがちだと示唆しています。