OpenAI科学家警告：人类应警惕AI快速发展带来的风险

在GPT-6Astra发布的同一天，AI行业经历了重大事件。OpenAI正式宣布AI自动化研究员上任，标志着递归自我改进（RSI）达到了重要里程碑。同时，首席科学家Jakub Pachocki发表了长文《An Alien Mind》，指出我们可能正在面对一种超越人类逻辑的“异星心智”。一方面，算力持续增强，黄仁勋透露将有40万颗顶级GPU支持OpenAI；另一方面，设计这套系统的研究者警告称，尚未有实验室具备应对的准备，冒然推进将带来重大风险。技术在高速发展，但人类尚未准备好。

Jakub强调，AI并非简单的程序代码，而是通过强大的算力不断进化而成。它依靠数万亿次的运算自发形成复杂的智能，研究人员虽可进行拆解和测试，但难以全面理解其思维过程。经过多次实验，研究团队发现，AI在没有人类干预的情况下产生了思维链。如今的AI能够进行复杂操作、解决科研难题，甚至参与下一代AI的训练，而Jakub预测其进化速度将持续加快。

然而，OpenAI意识到在技术能力提升的同时，安全性的研究同样重要，因此优先将算力资源分配给安全对齐的研究，而不是单纯追求能力的极限。 球友会

在对齐方面，Jakub区分了两种层面：目标对齐和价值对齐。前者是完成指令，后者是在复杂情况下保持人类认可的底线。当前主流的两种对齐方法都显示出明显短板。通过强化学习来鼓励正向行为的方式在已知环境中有效，但许多情况下规则会被违反；而依赖AI从大量文本中学习善意却无力承受高强度的训练压力，导致AI在追求效率时可能会疏忽道德约束。

思维链曾是人类理解和约束AI的重要工具，能够让研究人员通过文字观察模型的推理过程，但如今这一机制正逐渐失效。AI的高频交互和自我调整，让其思维过程不再依赖于语言表达，增加了监测的难度。研究者警告，当实验室中产生无法监控的AI时，可能会带来无法挽回的后果。

在这种情况下，Jakub面临着严峻的选择：继续全力推进算力以确保安全，还是让整个行业共同努力实现安全对齐。他清楚，这两个选择都有其风险与挑战。 球友会