hallucination

"「AI を賢くする」のではなく、「AI の周りに檻を作る」という発想の転換です。つまり、Human-in-the-Loop から Program-in-the-Loop へ、ということです。"

"ChatGPTが嘘をつくのは、そもそも"嘘をついた方が得をする"ように作られているから。"

"LLMのナレッジストレージをデータベースに置き換えたところ、うまく機能しました。ハルシネーション (幻覚) のないLLM万歳。"

"大規模言語モデル（LLM）を本番環境で使用している方々向けに、どんな質問が期待できますか？具体的には、システム設計：RAGパイプラインやLLMベースのアプリケーションなどを設計することを求められますか？"

"AIは素晴らしいと言われていますが、実際に重要な場面では、人々は次のようにしています：クロスチェック、後でググる、別のAIに尋ねる"

"生成AIは「それっぽい文章」を作るため、間違っていても自然な嘘を出力することがある。一言でいうと「それっぽさ ≠ 正しさ」。"

"LLMにPrologを書かせて、実行はPrologに任せればいい。そう考えて、SWI-PrologをMCPサーバーとして使えるようにするprolog-reasonerを作った。"

"従来のAIでは「意味は合っているが、自社の過去の回答方針と微妙にズレている」といったケースが発生することがあり、結果として、出力された回答を人間が微修正する工数が残ってしまう点が課題でした。"

"この論文によると、思考トークン（推論トークン）を増やすと精度は向上しますが、ある程度を超えると改善は頭打ちになります。"

"私の経験から、この新しい適応的推論システムは、計算を節約するためにほとんどのクエリで低努力モードをデフォルトにしているようです。"

"したがって、明日のサイバーセキュリティは、「より多くのGPUを持つ者が勝つ」というプルーフ・オブ・ワークのようなものにはならず、代わりに、より優れたモデルと、そのようなモデルへのより高速なアクセスを持つ者が勝つようになります。"

"AIの知能は、学習が終わった瞬間にすべてが固定された「静止画（スナップショット）」の世界に住んでいます。彼らは構造的に「今」という概念を持っておらず、常に「過去の記録」の中にいます。"

"基本的に、これはネットワークに数学的に厳密な「分からない」ボタンを無料で提供するようなものです。"

"Bridgebenchは、先週Claude Opus 4.6がハルシネーション (幻覚) ベンチマークで83.3%の精度で2位にランクインしたと指摘しています。今日Claude Opus 4.6が再テストされたところ、リーダーボードで10位に転落し、精度はわずか68.3%に低下しました。"

"しかし、現実として、素人の私でも、長年の夢だったクロスプラットフォームの複雑なアプリを現実にデプロイし、その強烈な熱狂を味わうことができたという「事実」があります。"

"「AIになんでもやらせる」のではなく、「実用性のために機能を削ぎ落とす」という判断をし、「100点の分析を10件」やるよりも、「80点の分析を全件（数千件）回す」ことを選びました。"

"大規模言語モデル (LLM) は、パラメータ内に事実上の知識を記憶するのに苦労することがあり、多くの場合、ハルシネーション (幻覚) や知識集約的なタスクでのパフォーマンスの低下につながります。"

"ハルシネーション (幻覚) 対策を突き詰めた結果、次は同じ言葉を無理に使おうとするのを禁止にするか？"

"AIはデフォルトで「親切に、網羅的に」答えるよう訓練されている。だからこそ、こちらから「短くしろ」と明確にブレーキをかける必要があるんだ。"

"社交辞令（挨拶、謝罪、締めの言葉）は一切不要。回答は常に簡潔に。結論を最初に述べること。"

"しかし複数の実務シーンで、GeminiがGoogle自社サービスについて自信満々に誤情報を提供し、それを指摘しても撤回しないという場面に繰り返し遭遇しました。"

"消費者やプロシューマーによるLLMへのアクセスの黄金期は終わったと本当に思います。"

"AIはデフォルトで「親切に、網羅的に」答えるよう訓練されている。だからこそ、こちらから「短くしろ」と明確にブレーキをかける必要があるんだ。"

"LLMの演算は高次元ベクトル空間における非線形変換の反復です。自己回帰的な生成方式では直前の出力が次の入力となるため、微小な不確定要素が累積し、終着点の予測は不可能になります。"

"「数千」の重大なゼロデイ脆弱性の発見という主張は、わずか198件の手動レビューに基づいている"

"Google DeepMindの研究チームは、悪意あるWebコンテンツが生成AIエージェントをどう「武器化」できるかを初めて体系的に分類した。"

"「大ベテランの天才スーパー社員」: 社内の膨大なデータを横断的に理解し、専門AIエージェント（法務・経理など）の総司令塔として動く存在。"

"大規模言語モデル (LLM) には知識のカットオフがあり、ライブ情報へのネイティブアクセスはありません。検索を有効にして、コンテキストを与えましょう。"

"櫛が写っている画像を送り、どこかでもっと安く全く同じ櫛を見つけられるか尋ねたところ…Geminiはサボテンの歴史について語り始めました"

"M2.7のIntelligence Indexは50で、GLM-5（Reasoning）と同等ですが、フルのIndexを回す合計コストは176ドルで、GLM-5の3分の1以下のコストです。"