注意,现在AI的发展方向不是单个AI多聪明了。是许多个AI打配合,解决很困难的问题
最近看OpenAI批量解决了一大批顶级数学难题,有些吃惊,感觉AI智能上限似乎又有突破。内部代号据说叫GPT Bel,是爆料,没有正式承认。但OpenAI确实是说有一个未公布的模型,作出数学大突破的。
一般人理解,就以为是有一个很强大的AI,在那怎么思考,把大数学问题突破了。
我仔细琢磨了,发现还真不是,是OpenAI在“用AI解决问题”的机制上,有突破了。单个AI再怎么预训练,它的基础大模型权重就是那样,都是基于人类搞的那些基础知识,并没有本事去把一堆数学问题突破。
以前AlphaGo就是,基于海量人类围棋棋谱训练,凭直觉下水平是可以,但也就是业余四五段的水平。但战胜人类职业棋手,靠的是MCTS搜索算法,一开始需要很多服务器在那不停模拟搜索计算。
即使加上后训练,也只是一个AI的权重变来变去,“本底智能”就那样。那些权重,哪怕是10万亿个参数,也就所有数学分支都知道,并没有特别厉害,知道一个难题如何去解决。
但是,OpenAI开发了一种类似于MCTS的搜索算法,也就是让上万个强力AI去打配合解决问题。每个AI的本底智能,也就是比人强一些,基于人类样本的不会太强。但是,没有任何人或者任何数学家团队,能把上万顶级数学家组织起来去解决一个数学大问题。组合出来的能力,就比单个人、单个AI要强大得多了。
这里涉及非常复杂的基础设施问题,就是怎么在几十万个GPU和海量内存、存储的超级架构里,让上万个顶级AI一边搜索互相交流沟通信息。这可比围棋的MCTS复杂多了,这涉及极为难搞的卡间通信。感觉不是人编程能实现的,应该是AI自己把这种万个AI打配合的复杂搜索框架编出来了。
中国大模型企业还没有突破这个,还是Agent的概念,就是开一些子任务,让AI“规划”一下。这种Agent任务,表面上也是很多AI一起跑,但多少有些漫无目的,规划本身就结果模糊。还没有上升到顶级AI高效整体有机配合的程度,没法和MCTS那种精密的搜索类比。
就是说,不仅要有算力支持开极多AI一起跑,还要把这些AI互相紧密沟通打配合的算法也弄清楚了。要有一种“精巧算法”的感觉,而不是形式上开多个Agent任务,耗费一堆token弄不了啥。我最近确实感觉到,能力强的AI精妙算法感会更强;弱的AI就有点瞎试碰运气,往往会白花钱。
中国大模型企业,要突破这个算法框架,让一大堆顶级AI紧密合作解决问题,而不是漫无目的乱跑Agent撞运气。
