人工智能快速发展带来的安全风险，正在成为国际社会关注的焦点。9月23日，联合国安理会讨论人工智能与国际安全。美国OpenAI、Anthropic等公司的负责人参加会议；此前获邀参加的中国AI公司DeepSeek和Moonshot，最终没有出现在发言名单中。
9月23日，联合国安理会会议再次聚焦人工智能与国际安全。DeepSeek和另一家中国AI公司Moonshot都受邀参与此次会议，但最终没有代表发言。美国方面，OpenAI首席执行官萨姆·奥特曼向安理会表示，人工智能的发展需要国际合作。
萨姆·奥特曼(Sam Altman)说：“但非常重要的一点是，企业不能取代民主程序。如果人工智能要以民主的方式发展，最重要的决定就不能只由旧金山的实验室来做。这些决定必须通过民主程序来形成，并由对人民负责的政府参与制定。在国际层面，这将需要各国合作。历史上，即使一些国家彼此竞争、关系并不总是融洽，在面对一种强大的新技术时，它们仍然会为了共同利益和整体福祉走到一起。我们认为，现在就应该是这样的时刻。”
Anthropic联合创始人达里奥·阿莫迪则通过视频参加会议，并提出建立具体的国际AI安全机制。他说："首先，我们应该从所有成员都能支持的有限共识开始，比如禁止利用人工智能制造生物武器，或禁止允许自己的人工智能技术被用于制造生物武器。第二，我们应该建立能够跟上人工智能发展速度的评估和核查机制，让各国能够了解前沿模型的能力，并核实彼此是否履行了承诺。第三，我们应该建立全球共同标准，用来测试人工智能模型在失控风险和被滥用风险方面的表现，同时建立针对可能对全球安全产生重大影响的人工智能事件的通报机制。”
联合国秘书长古特雷斯此前警告，人工智能快速发展带来的风险不能被忽视。美国财政部长贝森特本星期表示，美中官员同意进一步讨论AI安全风险以及发生AI安全事件时的沟通机制。中国常驻联合国代表傅聪在会上呼吁各国加强人工智能领域的交流合作。(https://un.china-mission.gov.cn/hyyfy/202609/t20260924_12030082.htm)
一些AI行业人士警告，未来更先进的AI系统可能拥有越来越强的自主能力，包括欺骗、规避控制，甚至造成严重安全风险的可能性。如何在推动AI发展的同时控制风险，正在成为国际社会讨论的重点。