OpenAI联合创始人兼前首席科学家Ilya Sutskever今年早些时候离开OpenAI并创办了人工智能实验室Safe Superintelligence Inc，近日其在加拿大温哥华举行的神经信息处理系统会议 （NeurIPS）上罕见公开露面。
“我们所熟知的预训练无疑将会结束，”Sutskever表示，这指的是人工智能模型开发的第一阶段，大型语言模型从大量未标记的数据（通常是来自互联网、书籍和其他来源的文本）中学习模式。
Sutskever指出，虽然他认为现有数据仍可推动AI进一步发展，但业界正在挖掘新数据进行训练。他说，这种动态最终将迫使人们改变目前模型的训练方式，他将这种情况与化石燃料进行了比较：就像石油是一种有限的资源一样，互联网包含的人类生成内容也是有限的。
“我们的数据已经达到峰值，不会再有更多了，”Sutskever说。“我们必须处理我们拥有的数据，互联网只有一个。”
他预测，下一代模型将“真正具有代理性”。代理已成为人工智能领域的一个流行词。虽然 Sutskever在演讲中没有对代理进行定义，但人们普遍认为代理是一种自主的人工智能系统，可以自行执行任务、做出决策并与软件交互。