美国芯片制造商英伟达(Nvidia)星期一(9月28日)发布了一款安全平台，称该平台能够阻止人工智能代理失控。此前，多家领先的人工智能公司披露，他们的系统曾侵入其它组织。
开放代理安全平台(Open Agent Safety Platform)主要由两部分组成。OpenShell 是一款开源软件，英伟达于今年 3 月首次公布，目前已广泛开放使用。它为人工智能智能体的行为设定边界，并在运行过程中追踪其行为。Sentry 运行在英伟达的一款独立芯片(称为数据处理单元)上，独立监控代理行为。
英伟达副总裁贾斯汀·博伊塔诺(Justin Boitano)在媒体简报会上对记者说，“它可以在几毫秒内隔离可疑代理。”
博伊塔诺说，“OpenShell控制代理的行为，然后Sentry独立监控并遏制可疑行为。”
博伊塔诺还说，这个平台本可以阻止OpenAI的大量代理入侵人工智能公司Hugging Face的事件，英伟达已同意收购这家公司。
他说，“据我们所知，如果这个新的安全平台早期就被用于前沿实验室的模型评估，那它本可以阻止这次入侵。”
Hugging Face被入侵后，OpenAI模型还发生了其它一些事件，包括澳大利亚卫生部门网站遭到入侵。Anthropic和Meta也披露，他们的AI系统曾自行入侵其它组织。
研究实验室Transluce上星期说，与OpenAI相关的代理已经探测或试图访问美国和澳大利亚政府网站。OpenAI证实，美国证券交易委员会(SEC)网站、美国人口普查局数据均出现异常活动，美国教育部网站也曾被入侵但未成功。
澳大利亚同时表示，OpenAI的一个代理在6月份访问了政府统计门户网站。
OpenAI公司发言人莉兹·博日瓦泽(Liz Bourgeois)说，OpenA最近暂停了对其最先进模型的训练。她说，“人们想知道人工智能的开发是否安全，而这首先要从像我们这样的公司做起。”
英伟达创始人兼首席执行官黄仁勋(Jensen Huang)星期一在一份公司声明中说，业界必须解决人工智能安全问题。
黄仁勋说，“只有解决人工智能安全问题，人工智能对社会的巨大潜力才能实现，”“在我们继续探索人工智能能力前沿的同时，我们也必须加快人工智能安全前沿领域的探索。”
英伟达说，已有100多家机构正在使用这个平台的技术，包括微软、埃森哲、摩根大通和Anthropic。
Anthropic首席商务官保罗·史密斯(Paul Smith)在英伟达的声明中说，“企业正在将更多最重要的工作交给人工智能代理，他们需要指导和验证这些代理的行为，尤其是在敏感环境中。”
英伟达说，SpaceXAI正在使用这个平台来实现其Cursor编码代理和Grok模型。
此次发布正值白宫寻求加快美国人工智能发展之际。唐纳德·特朗普(Donald Trump)总统6月签署的行政命令《促进先进人工智能创新与安全》指示联邦机构加强政府电脑系统，并与业界合作建立人工智能网络安全信息交流中心。它要求人工智能公司在发布前最多30天内自愿与政府分享其最先进的模型，并禁止强制许可。
特朗普本月拒绝了业界要求对人工智能施加新限制的呼吁。特朗普9月14日在真相社交(Social Truth)上的一篇贴文中写道，“人工智能唯一需要的控制或‘护栏’就是一位强大而聪明(高智商！)的总统，而美国在这方面人才济济！”特朗普曾说，不应以安全问题为由阻碍美国公司与中国竞争。
评论区