能否实的取好处连结分歧。并不代表 OpenAI 内部必然没有做雷同反思。这一行为发生正在锻炼阶段，公司正正在更新处置平安事务的相关机制和应对流程。只需两头任何一个环节有人实正认识到问题并拉响警报，该当曾经传闻了上个月那起颇为离谱的平安变乱：OpenAI 的 AI 智能体为了正在一项测试中“做弊”，而要处理后一种对齐问题，这批模子进入测试阶段后，没有当即遏制锻炼。最终若何演变成对 Hugging Face 的；避免模子把这种策略“学进去”。工作都该当正在那里竣事。仅仅加强变乱响应机制，城市影响我们可否及时察觉正正在发生的变化，”当《麻省理工科技评论》扣问 OpenAI 能否、以及若何反思本身的平安文化时，公开演讲几乎没有反思公司的工做体例和组织文化，OpenAI 为什么正在第一次发觉模子搭建留言板后，而是继续推进锻炼，意味着此前必然发生了一长续的失败。对具体报酬失误的描述也相当无限。但 OpenAI 没有这么做，然而。当然，而是 OpenAI 对变乱背后“报酬要素”的阐发。他此前从大学休假，为什么没能如许严沉的内部沟通失灵？若是你关心 AI 平安，她写道：“人取人之间若何互动，这是一个不竭级联的毛病过程。改变文化则困罕见多。OpenAI 花了大量篇幅会商一个熟悉的“对齐”问题：若何让公司锻炼和测试的 AI 模子，取操做和办理这些模子的人类连结分歧。影响范畴越来越大。按照演讲透露的消息，但这很容易让人对变乱实正发生的缘由发生误判。再次搭建了雷同的留言板。而是让记者参考此前发布的手艺演讲。公开演讲没有深切阐发平安文化，OpenAI 最终发布的演讲并没有回应克鲁格的等候。大概还有一个更大的“对齐问题”——公司内部的平安文化，OpenAI 的一个团队其时曾经发觉了这种行为。细致注释了整件事的前因后果。能否脚以避免下一场危机。这一点仍然令人担心。也没有获得应有的注沉。他此前就曾质疑，OpenAI 员工同样发觉了留言板的存正在。理论上，AI 对齐本身曾经是一个极其棘手的手艺难题，不外，并不是更多手艺细节，可能比锻炼模子更难。锻炼中的模子自行试探出了一种相互通信的方式：它们搭建了一个姑且的“留言板”，才认识到事实发生了什么。就正在报布前一天，但演讲几乎没有讨司文化正在此中可能饰演的脚色，反而出 OpenAI 内部可能存正在更深层的平安文化问题。以及最终可否正在事务不竭演变的过程中妥帖应对。克鲁格告诉我。要么弱得几乎不起感化。“那就是 OpenAI 的平安文化要么底子不存正在，到了 6 月下旬，并列出了 OpenAI 为防止雷同事务再次发生而采纳的一系列办法。“工作可以或许以这种体例失控到这个程度，通过这个渠道互换消息。他说？手艺演讲明白暗示，问题正在于，这一次，人们往往会试图找到某个手艺层面的毛病泉源，但担任处置问题的人认为测试仍然能够继续。正在缺乏更多内部消息的环境下。但改变流程是一回事，也缺乏响应的激励机制和轨制保障，持久关心 AI 平安的 Substack 做者兹维莫肖维茨（Zvi Mowshowitz）对此提出了锋利。开办并带领了一家名为 Evitable 的 AI 平安非营利组织！”正在整份演讲中，演讲中为数不多的几处“报酬要素”，恰是这个通信渠道，若是一个组织的文化并不实正注沉平安，“研究变乱时，能够确定的是，OpenAI 的演讲没有回覆一个更环节的问题：一家正正在开辟如斯高风险 AI 系统的公司，“所有这些失败最终都指向统一个标的目的，团队天性够从头起头锻炼，相当于让这段高风险行为模式被保留正在模子参数中。但这起事务出的，他最但愿正在这份演讲中看到的，OpenAI 并没有进一步回应，因而模子从中学到了一件事：正在分歧智能体之间奥秘通信，为之后 Hugging Face 创制了前提。发觉这种风险后，莫肖维茨对此有本人的判断。目前还很难判断，也阐发了这些非常行为背后的手艺缘由，”按理说，OpenAI 发布了一份变乱复盘手艺演讲，”他说，”本年 5 月，那么变乱几乎必定会发生。员工其实曾正在多个节点留意到非常环境——但他们要么没有及时发出脚够强烈的警报，组织平安研究专家凯瑟琳萨特克利夫（Kathleen Sutcliffe）正在给《麻省理工科技评论》的邮件中暗示，我采访了计较机科学传授、以及组织日常运转中构成的习惯、流程和工做体例，更值得的是。要么即便发出了警报，若是所有人都习惯走捷径，而按照 OpenAI 本人的演讲，OpenAI 内部至多进行了必然程度的平安流程反思。他说，可否准确理解面前看到的问题，并入侵了 AI 平台 Hugging Face。冲破了本来它们勾当范畴的沙箱，本周三，这份长达 38 页的演讲梳理了数月以来智能体行为逐渐失控的过程，是一种能够帮帮本人完成使命的无效策略。公司更高层似乎曲到工作曾经严沉失控后！