evaluation

"使用lm-evaluation-harness，可以通过统一命令执行60多个学术基准测试，并且只需一个YAML文件即可添加自定义基准测试。"

"现在感觉训练只是其中一部分，而它周围的一切才是最困难的地方。"

"模型在基准测试中可能看起来很棒，但在实际使用中仍然会失败。"

"所有模型都一致认为评估存在缺陷，并将报告的性能归因于非独立的数据划分，其支持的指标包括重叠的学习曲线、最小的泛化差距和近乎完美的分类结果。"

"MemGround引入了一个三层分层框架，通过专门的交互式任务评估表面状态记忆、时间联想记忆和基于推理的记忆。"

"因此，传统的评估协议可能会高估泛化能力和临床实用性，这凸显了严格进行独立于说话者评估的必要性。"

"该基准测试大语言模型是否能够从几个例子中推断出特定的潜在主题，使用反例拒绝更广泛但错误的模式，然后在接近的干扰项中识别出一个真正的匹配项。"

"分析这些日志有助于了解模型的能力、倾向和行为，或者评估评估是否按预期进行。"

"这次我们使用的是KokushiMD-10，这是一份于2025年6月发布的预印本，它将日本医疗及相关领域的10种国家考试整理为大语言模型 (LLM) 的评估数据集。"

"BridgeBench指出，上周Claude Opus 4.6在幻觉基准测试中以83.3%的准确率排名第二。而今天对Claude Opus 4.6进行重新测试时，它降至排行榜第10位，准确率仅为68.3%。"

"https://www.aisi.gov.uk/blog/our-evaluation-of-claude-mythos-previews-cyber-capabilities"

"自我进化能够发挥作用的条件，一言以蔽之，就是评估器必须独立于生成器。"

"3个指标的一句话总结：Recall@K → 正确答案是否“进入了网中”（穷举性/召回率） MRR → 正确答案“排在第几位”（排序精度） 关键词命中率 → 获取的文本块“内容是否完整”（内容充实度）"

"我花了数月时间为大语言模型构建一种诊断方法。它捕捉到了标准基准测试遗漏的东西——张量内部的分布坍缩，而不仅仅是损失或困惑度。"

"我们还研究了基于反馈的修复后的 Pass@1，即模型可以在出现运行时错误或错误答案后修改代码。在各个框架中，最强的一次性得分在 Qiskit 中达到 59.5%，在 Cirq 中达到 54.8%，在 PennyLane 中达到 42.9%；通过基于反馈的修复，最高得分分别上升至 83.3%、76.2% 和 66.7%。"

"如何在深度学习中的五折交叉验证后使用保留测试集？"

"我们构建了一个自动扫描智能体，系统地审计了八个最著名的AI智能体基准测试 [...] 并发现每一个基准测试都可以被利用，在无需解决任何单一任务的情况下获得接近完美的分数。"

"真正的突破不在模型本身，而在结构，包括清晰的 JSON 功能规格、强制执行的测试机制、逐次提交且可追踪的进展，以及一个确保每次会话都从可运行应用开始的初始化脚本。"

"Yupp的设计将人类的判断转化为一种可再生经济资源。随着新的交互不断涌现，数据会“过期”，从而形成一个良性循环：更多的使用带来更及时的评估；更及时的评估催生出更优秀的模型；更优秀的模型吸引更多用户。"

"使用LLM作为评委评估Netflix节目简介"

"提示工程正在从“如何写出巧妙的指令”演变为支持生产环境中大语言模型 (LLM) 应用程序的工程规范……提示设计的重心已从“单一提示的巧妙构思”转移到了“整个信息环境的设计”。"

"Anthropic为其用于创建智能体技能的“skill-creator”工具添加了评估和基准测试功能，使技能创建者能够通过代码来衡量和验证技能的运行情况。"

"如果你曾经训练过一个在数据集上表现完美但在现实世界中却惨遭失败的模型，这个快速视觉指南将展示为什么会发生这种情况，以及泛化、损失函数和评估指标等概念如何帮助你构建在训练数据之外真正有效的模型。"

"大语言模型 (LLM) 在谜语生成方面的质量往往不稳定。先行研究也报告称，谜语是一项同时需要常识推理、比喻理解和反事实推理的高难度任务。"

"也就是说，这可能不仅仅是大语言模型 (LLM) 纯粹的性能评估，更有可能转化为一种从该模型能在多大程度上贴近人类的角度出发的评估标准。"

"针对信息系统负责人容易抱有的'想要引入生成式人工智能工具，但不知道该如何比较才能通过审批'这一烦恼，本文介绍了按用途分类的工具比较模板、审批中可用的12项评估指标，以及从概念验证到全面部署的路线图..."

"AZARS不分工程师与否，以统一标准评估员工，衡量公司整体的人工智能应用能力。"

"在 4326 条搜索样本中，去年 10 月 Gemini 2 提供准确 AI 总览的比例约为 85%，到了今年 2 月升级到 Gemini 3 后，这一比例提升到 91%。"

"我们发现，与相同框架的问答对相比，正面和负面框架的问答对产生矛盾结论的可能性显著更高。"

"为了解决这个问题，我开发了SUT-XR，一个用于评估AI解释的外部框架。这不是一种改进AI本身的方法，而是一个管理其解释质量的框架。"