テキストコーパスのクラスタ分析における外れ値の処理

この記事は、テキスト分析における課題について説明しています。それは、クラスタ分析を実行する際に、多数の頻度の低い単語ペア（外れ値）を扱うことです。著者は、統計的に有意な単語ペアを特定し、文脈的な知識を抽出することを目指しています。このプロセスには、文内の単語（PRECとLAST）をペアにし、それらの距離を計算し、出現回数をカウントすることが含まれます。主な問題は、頻繁に現れない多数の単語ペアの存在であり、これがK-Meansクラスタリングに悪影響を及ぼします。著者は、クラスタリングの前にこれらの外れ値をフィルタリングしても、結果が大幅に改善されないことに言及しています。この質問は、クラスタリングを改善し、意味のある文脈情報を抽出するために、これらの外れ値を効果的に処理する方法に焦点を当てています。