ModelCypher: LLMのジオメトリを分析するためのオープンソースツールキット

この記事では、大規模言語モデル（LLM）の内部ジオメトリを分析するために設計されたオープンソースツールキットであるModelCypherについて説明します。著者は、トークン放出前にLLMの内部動作を測定および理解するためのツールを提供することにより、LLMを解明することを目指しています。このツールキットには、クロスアーキテクチャアダプタ転送、ジェイルブレイク検出、および最近の論文からの機械学習手法の実装などの機能が含まれています。重要な発見は、異なるモデル間で「セマンティックプライム」に幾何学的不変性がないことであり、言語的特異性ではなく普遍的な収束を示唆しています。著者は、ツールキットが生のメトリックを提供し、活発に開発中であることを強調し、貢献とフィードバックを奨励しています。