工程师在开源Gemma模型中重现著名LLM「拠」bugresearch#llm📝 Blog|分析: 2026年4月7日 20:18•发布: 2026年4月7日 10:25•1分で読める•Zenn LLM分析这项激动人心的研究通过在谷歌的开源Gemma 4模型中成功重现著名bug，为大语言模型提供了一个引人入胜的解密方案。该发现为理解LLM推理过程提供了宝贵洞见，并为开发者管理此类异常提供了清晰的路径。要点•「拠」bug并非汉字独有，几乎可以在所有字符（包括字母和标点）上重现，这使其成为一个普遍的LLM推理挑战。•LLM中的“重复惩罚(repetition penalty)”参数是打破这些无限循环的关键，证明通过标准的调优技术可以管理此问题。•逃脱后产生的幻觉并非记忆文本，而是模型在没有回忆特定事实的情况下，重新生成新闻文章等格式的一种伪造。引用 / 来源查看原文"原因是三个要素的组合。分词器无法压缩“拠”的重复。虽然“人人”会变成一个词元，但“拠拠”并不在词汇表中，导致相同的词元无休止地出现。这种相同词元的重复会触发一个自我强化的循环。"ZZenn LLM2026年4月7日 10:25* 根据版权法第32条进行合法引用。较旧AI's Emotional Intelligence: From Single Neurons to Functional Feelings in LLMs较新Building AI Chatbots with Memory: A Thunkable Guide相关分析research大规模研究揭示谷歌AI搜索摘要功能的巨大体量与“幻觉”模式2026年4月8日 02:46researchSUT-XR：一个用于评估和改进生成式人工智能解释的外部框架2026年4月8日 01:30research日本国产LLM“LLM-jp-4”在日语MT-Bench评分中超越GPT-4o2026年4月8日 01:00来源: Zenn LLM