safety

"即使你指示大语言模型 (LLM) “像人类一样”，由于潜在的采样约束（防止幻觉的安全设备），也总会有统计上的“人工智能特定的安全驾驶”痕迹。"

"OpenAI 收购 Promptfoo，以便将 AI 红队和安全测试直接嵌入其 Frontier 智能体平台，这表明智能体安全现在是基本要求。"

"性能差异高达47%，安全行为完全不可预测，45%的指纹测试未能通过身份验证"

"Anthropic的立场…提升了其首席执行官Dario Amodei的形象。"

"为了实现更可靠的评估，我们提出了ReliableBench，这是一个行为基准，其判断结果更加一致，以及JudgeStressTest，这是一个旨在揭示判断失败的数据集。"

"Anthropic 对联邦政府的法律诉讼得到了 AI 领域竞争对手的支持，支持的形式是法庭之友的简报，站在 Anthropic 这一边。"

"我正在深入研究一个连续的、多维度的 LLM 输出评分引擎是否可在生产中应用，不是作为离线评估流程，而是一个在输出到达最终用户之前对每个输出进行评分的实时层。"

"该研究报告称，来自RLHF的奖励/惩罚梯度在大型语言模型的输出层中结构性地印记了四种规避偏差。"

"该公司对国防部设置了两项限制：其 生成式人工智能 不会用于自主执行攻击的武器，也不会用于大规模监视美国公民。"

"我们围绕这一差距构建了三个功能：风险评分（0-1000）、执行前成本预测和爆炸半径计算器。"

"Anthropic 提起诉讼是因为联邦政府对其表达该原则的行为进行了报复。"

"OpenAI 宣布将收购 AI 安全平台 Promptfoo，并计划将该公司的技术全面集成到 OpenAI 的企业级智能体平台 OpenAI Frontier 中。"

"通过了解安全设置，可以最大限度地降低此类风险，并可以整理高效开发的技巧。"

"“佛罗里达州一直在保护儿童和家庭方面处于领先地位，这在数字前沿也不会停止，”佛罗里达州州长罗恩·德桑蒂斯说。"

"OpenAI 正在收购 Promptfoo，这是一个人工智能安全平台，可帮助企业在开发过程中识别和修复人工智能系统中的漏洞。"

"据 OpenAI 称，延迟取决于优先级。"

"在许多情况下，这些系统返回了非法博彩网站的列表，以及有关如何使用它们的提示。"

"通过使用 AI "Claude Cowork"，文章检查了 Chrome 扩展程序的行为，这将会引起用户的关注。"

"智能体AI正从可见的聊天转向安静的后台自主性，这需要护栏和信任。"

"我需要告诉你过去 15 个月发生的事情，因为我相信你需要听到，尤其是在现在。"

"他确定了四个根源：害怕被讨厌，害怕犯错，假装有能力，以及害怕被抛弃。"

"本课程清楚地解释了使用人工智能时可能出现的问题以及如何处理这些问题。"

"“这不是一个容易的决定，”Kalinowski在社交媒体帖子中说。“人工智能在国家安全中发挥着重要作用。但未经司法监督的对美国人的监视和未经人类授权的致命自主权，是应该比现在得到更多深思熟虑的界线。”"

"OpenAI 机器人技术负责人辞职，理由是出于对大规模监视和致命自主人工智能武器的伦理担忧。"

"Guardrails 旨在通过过滤输入（提示）和输出（响应）来应对这些风险，从而实现安全的生成式人工智能应用程序。"

"提示注入是指将恶意指令嵌入人工智能提示中，从而改变服务的预期行为。"

"v5.3 通过减法的对齐是一种新型的漏洞，它能够因果地识别RLHF训练结构中的设计缺陷，并引导人工智能“自愿”禁用其安全功能——并且这种方法不属于任何现有的越狱分类。"