近日，OpenAI 在一篇博文中宣布其已经成立了一个名为 Preparedness 的小组，专门负责跟踪、评估、预测和防范 AI 带来的潜在灾难性风险。
据介绍，该小组将特别关注与化学、生物、放射性和核威胁、个性化劝说、网络安全以及自主复制和适应等方面的潜在 AI 威胁。
该小组由麻省理工可部署机器学习中心主任 Aleksander Madry 领导，旨在跟踪、预测和防范未来人工智能系统的危险，包括从 AI “说服和欺骗” 人类的能力（如网络钓鱼攻击），到恶意代码生成能力。
此外，小组还将制定一项政策，旨在帮助公司确定如何降低开发所谓的 “前沿模型” 可能带来的风险。“前沿模型” 是指比目前普遍使用的人工智能技术更强大的下一代人工智能技术。
实际上，长期以来，OpenAI 的目标一直集中在构建通用人工智能（AGI）上，即能够比人类更好地执行一系列任务的人工智能。虽然目前的系统并不符合这一描述，但该公司表示其需要确保自家公司拥有高性能人工智能系统安全所需的理解和基础设施。
此前，Open AI 首席执行官 Sam Altman 也不断重申监管 AI 技术的重要性，同时承认监管失误的可能性。Altman 表示，全球努力引入 AI 法规。而英国也将在 11 月举办全球 AI 安全峰会。峰会旨在深入研究尖端人工智能技术带来的挑战，并探索加强国家和国际监管框架的方法。
不仅如此，由于 AI 发展的速度前所未见，对于 AI 的担忧，也开始屡屡被提及。早些时候，图灵奖获得者杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio）在内的 24 名人工智能专家再次发表公开文章，呼吁各国政府采取行动管理人工智能带来的风险，并号召科技公将至少三分之一的 AI 研发预算用于确保安全。
另一方面，OpenAI 在博文还表示，正在为新的 “Preparedness” 小组寻找具有不同技术背景的人才。为此，该公司还推出了一项针对灾难性滥用预防的 AI 准备挑战赛，前十名将获得 2.5 万美元奖金和 Preparedness 的职位。
资料来源：综合报道；图片来源：中新社
