LLM出力におけるゼロ幅文字 (U+200B)

このRedditのr/artificialへの投稿は、Perplexity AIの使用時に遭遇する実際的な問題、つまり生成されたテキストにゼロ幅文字（正方形の記号として表示）が存在することに焦点を当てています。ユーザーはこれらの文字の起源を調査しており、Unicode正規化、不可視マークアップ、またはモデルのタグ付けメカニズムなどの潜在的な原因について推測しています。この質問は、特にWordなどのリッチテキストエディタにエクスポートする場合、LLMで生成されたテキストのユーザビリティに影響を与えるため、重要です。この投稿は、これらの文字の性質と、それらを削除するためにテキストをクリーンまたはサニタイズするためのベストプラクティスに関するコミュニティの洞察を求めています。これは、LLMとテキストエディタを使用する際に多くのユーザーが直面する一般的な問題です。