王淼森北大分享:从语言到世界:多模态大模型

30823 字
154 分钟
王淼森北大分享:从语言到世界:多模态大模型

王淼森在北大 AI 创投课第八讲的线上分享,主题是从语言到世界:多模态大模型。他先讲自己从电子工程转到多模态研究的经历,再讲语言模型与多模态能力之间的差距、多模态对 AGI 的作用;然后把多模态研究归为理解、生成、世界模型和从交互中学习四个问题,逐一讲各自的进展、代表公司和产品场景,并谈多模态模型的下一步。后半部分是与 BAI 资本冯甜、前腾讯混元图像应用模型负责人王春雨的圆桌,谈中美的 token 消耗与内容生态、多模态是否是 AGI 的主线、世界模型的技术路线和多模态的创业机会,最后是十一个现场提问。

整理说明

以下根据录音转写整理,校正明确的识别错误、去掉口水词,并按语义分段。保留讲述顺序、口语表达和现场互动,部分人名和专有名词按上下文推断,未经讲者审定。

主持人开场#

刘勇 Patrick:同学们,那咱们今天的课就开始了哈。今天这个也比较特殊,由于我们的嘉宾无法到现场来,所以采用了这种特殊的形式。但真的没想到这种方式我感觉还挺好的,比我想的都好多了。北大的第一节课还是第二节课,我记得有人说北大这个二教什么设施都比较老,我现在发现还蛮新的。嗯。

这个嘉宾呢是真的是非常非常重磅的一个嘉宾,就是我想如果他能到线下来,我估计今天这屋子应该会超纪录的啊。他是谷歌 DeepMind 的首席科研总监。大家知道 DeepMind 当然最出名的是 Gemini,Gemini 吧?但 Gemini 这个模型最出名的大家知道吧?大家知道是哪方面是最出名吗?对,是它的多模态是最知名的,基本上是代表了全球最顶尖的这种水平。而我们今天的嘉宾啊,淼森,他就是多模态的负责人。那我们今天好像我们的证书都只能给他寄到硅谷了哈。对了,淼森,现在是硅谷几点钟啊?是两点四十吧?对,两点四十,对。

两点四十,所以那个我们要特别感谢,一方面淼森给我们产出了这么多牛逼的多模态的模型,Nano Banana、Veo、Omni,这些包括最新的这个模型是 Genie 4,是吧?也感谢他真的是特别为我们中国人在硅谷争光啊。然后另外呢,也特别感谢淼森在半夜两点四十的时候,其实两点钟就爬起来了,我一直在微信跟他交流,我怕他这个起不来怎么办呀。其实我还特意两周前我不是有一次没到课堂上来,我还在硅谷的时候,我跟他在一起吃饭,我说哎呀,我真没想到这个时差差别这么大。你早知道会是两点四十过来要给北大学生讲课的话,你还会来吗?他其实非常坚定,他说我就是要来啊,我就要给北大的学生们好好地上一课啊。有请淼森来给我们讲一下《从语言到世界:多模态大模型》啊。好,淼森,交给你了。

研究工作与职业经历#

王淼森:好,谢谢啊,谢谢 Patrick 的介绍。我叫淼森,我现在在谷歌 DeepMind 负责这个多模态大模型的研发工作。对,就像 Patrick 刚才说的,非常非常感激有这么个机会过来去给大家分享一下这方面的一些心得吧。

我觉得为什么讲多模态大模型呢?更多的是现在这个 AI 行业吧比较火、比较热,所以有很多很多的人过来,有各种各样的声音,可能大家在日常的生活中,包括听新闻,听朋友们聊天,会听到各种各样的事情。那么我觉得这多模态正好是这么一个缩影,而且也正好是很多领域现在属于这种大家听了会很迷惑的一个地方。所以呢,想借今天这个机会把这个方面给大家理通一下,然后呢,在这方面的话,大家将来也会有更好的一个了解吧。

那我大概是找了四个章节吧,第一个章节就是说可能大家最关心的就是 AGI 和这个多模态到底有什么关系。有什么争论啊?那么接下来呢就会把这个多模态这个研究领域分成四个类型,然后他们到底是在干什么,然后他们有什么难点什么的。当然是回到了这门课,在讲应用,在讲创业,所以呢这些研究方向他们对应有什么应用场景。那最后呢就是说一下这个多模态的下一步未来发展方向,如果大家有对创业的想法,那么就可以沿着多模态的方向去走去想,那么接下来会有什么样的新的能力出来,那么就有新的能力,那么就会有新的一些应用场景。

那么先简单自我介绍一下啊,我在 Gemini 负责这个 Omni 和 Veo 的这个开发,他们呢是一个视频生成模型,现在可能大家对这类模型已经不陌生了,非常常见嘛,就是国内的 Seedance 和可灵都做得非常好,也非常成熟。

那还有一个方向可能是相对比较新,就是互动世界模型,两年前吧,几年前我们出现这个模型的时候,当时还比较少,当时大家会觉得,我还记得发布那天,然后那个很多游戏引擎的股价跌了不少。其实它就是一种能够让大家互动的一种世界模型,实际上这个模型的开发让大家看到了视频模型有一种新的玩法,有一种新的可能。因为那个 Genie 4 是我们大概上周刚刚发布的东西,它是一种可交互的生成模型,所以我稍微着重说一下。

那么举个例子,常见的话大家会说给一个提示词,然后生成一个视频,像这块可以是个草地,但是如果玩游戏的朋友们可能看左下角就会有一个键盘,对吧?键盘是控制你从第一人称视角来生成这个视频,你可以往前走,往后走,往右走。那么右边呢你还有一个箭头,那么箭头是控制摄像头的角度是往左看还是往右看,那这个呢其实 Genie 3 我们就已经有了,那么在 Genie 4 的时候呢我们又增加了一些允许你用文字来去描述这个画面接下来会发生什么,这里呢会说我们会有一些风会出现,那么这边呢还会说有个东西掉下来,然后会和已有的东西进行一些互动吧。那最右边这个就是说,我可以走,同时也可以换一下这些,刚才说的这个镜头的角度。所以就是说,这类的模型呢,就是说从看一段视频,到生成一个可以改变的世界,可以互动。所以呢,感觉这是一个比较有意思的方向吧。

从电子工程到多模态研究#

那回到了这个,我还是继续讲我自己吧,就是刚才说的是现在在做的事情。那么我是怎么做到今天呢?那这个,很多朋友问我,而且我知道这正好是北大本科的一个课程。那么很多同学很快可能就面临着很多选择吧,希望我的经历会对大家有一些帮助。

我其实从初中高中就开始学,计算机编程,当时是自学嘛,然后就觉得我从小就对计算机很感兴趣,但是觉得这件事情很简单。所以呢,我觉得上学的时候一定要学一个不能自学的东西,所以就当时学了电子工程,因为它有硬件,没法自学,必须得有实验室的设备。

然后学着学着,学到快基本上毕业的时候吧,当时呢我就读了乔布斯的传记,我觉得哇,这才是真正改变人类的时候嘛。其中有一些部分特别触动我,就是觉得,就是计算机的能力随着摩尔定律在每年的增长,翻倍的增长,但人的脑子是不会再增长了,他的能力就那样。那么,那么当你用一个相对简单的大脑,就是人类的大脑,面对着一个能力不断在进步的计算机的时候,那么怎么用简单的方法去控制一个复杂的方法,可能是将来非常非常重要的一个问题。

所以我学电子工程学非常非常硬件的本科,然后读这个硕士的时候就去读了一个非常非常设计相关的,就是学什么字体啊,界面啊,学这样的东西,纯粹是凭兴趣。

当然毕业以后发现,这个世界不需要那么多乔布斯,所以找工作有点困难。所以当时没有继续做人机交互的这个方向,我当时去了亚马逊。但虽然不是很开心的结局,但是好处是它让我第一次接触到了机器学习吧。当时在亚马逊负责了怎么计算大家买包裹的时候大概需要多久才能到家里,这是一个很简单的机器学习模型,但是我接触到了以后觉得这个方向很有意思,所以呢我就离开了亚马逊去了微软研究院,啊去那里正式学习 NLP、自然语言理解和神经网络。当时的研究方向是人机问答,其实有点像现在的 ChatGPT,你跟他说一句话他回答一下,啊但是那个时候,我现在回想起来也是非常有意思的一个阶段吧。啊当时把市场上能买到的书都买了,都看了一遍,然后回家以后把网上的相关视频,花了大量的时间去学习机器学习,当时觉得这件事非常非常有意思,也非常感兴趣。

但是做了一些论文以后就觉得学了很多知识,然后呢所以从研究院就去了谷歌,当时去做谷歌助理,啊大家可能对谷歌助理不太熟悉,这是一个大概有十亿多用户的一个从智能音箱到手机到汽车的一个产品,它其实就是可以语音交互的早期的这个 GPT 吧。

啊从那以后我又看到了这个 DeepMind 的这个 AlphaGo,我也是 AlphaGo 的粉丝,觉得哇这个能够去下围棋这么一个很中国的游戏,而且用一种我非常不熟悉的方法,其实在那以前我学的是监督学习、无监督学习,但强化学习总觉得有点一知半解,所以加入 DeepMind 以后我觉得我一定要好好学习一下强化学习,所以通过这个 DeepMind 的工作经历把我这个知识空缺给补上了。

然后就到了现在谷歌和 DeepMind 合并以后,啊我自己的研究方向是负责多模态模型。我还记得大概三四年前吧,有一个机会,当时想做编程模型还是想做多模态模型,然后我想了想每天对着那么多代码感觉比较无聊,还是多模态模型每天看图片看视频多好玩,对心情也很好,所以我就决定去学这个多模态模型,纯粹觉得兴趣很好。

那么如果总结一下,我怎么做到这一步一步呢?其实就是兴趣与好奇心吧,找到一些觉得感兴趣的问题,去找它有什么新的可能吧,这个问题,不能去找到一个答案,更多的是怎么能够把它发展,把它带到一个新的高度。然后呢再加上一些执行力吧,把想法做出来,在实践中不停地反馈,不停地迭代。我基本上是绝大部分知识都是靠自学学成的,所以这个执行力,在执行中,在实践中学习的能力,我觉得是非常重要的。

那么回到了现在很多人焦虑的时候,就是说啊 AGI 来了,那么人的价值是什么呢?那么我们需要什么样的能力在未来的时代去继续进步,去判断我们自己有什么价值呢?那么我觉得这两种能力会更加重要。首先 AI 没有好奇心,没有兴趣,对吧?但 AI 有一定的执行力,但它不会执行这么长时间。执行力是日复一日、年复一年的,包括选学校啊,选专业,不是这种能力的执行力。所以我觉得这两种能力在未来更强调你自己能够学习新的东西,能够实践性的东西,啊并且有反馈和不断自我改进的这个能力,我觉得这两个能力是非常重要的。

多模态与 AGI#

那就言归正传,那么就开始讲我们真正的主题内容,就是多模态与 AGI 到底是个什么样的关系呢?特别是语言模型已经很强了,那多模态还缺什么?对吧?这大家相信已经对语言模型已经非常非常熟悉了。

语言与多模态能力的差距#

那么其实我管这个现在这个状态叫大模型的“双城记”,这其实是个 AGI 非常有趣的一个现象。就是你们看一下这个语言模型的进展啊,从二五年啊 GPT 5.2 有一个 benchmark 叫 FrontierMath,这个东西呢是有多难呢?它就是专门找数学专业的博士生和教授出了一套非常有深度的一些数学问题,不是简单的能够解决的数学问题,所以它要研究数学问题。那么随着时间的进展,最新的 GPT 已经可以 100% 地去解这些问题。

再看看多模态这边。语言模型已经可以去做这种专业数学家去做的东西。那么在多模态这边,我们看看理解这方面,给一个视频,里边的相机是往左动还往右动,这是一个非常非常简单的问题。但是呢这个问题居然在最新的 GPT 6 Astra 上也只有 82% 的准确率。啊更神奇的是人类居然只有 86%,我觉得这有点奇怪,但这是一个很简单的问题,居然模型还依然做得非常不好。那更早一点的模型,比如说 Gemini 3.5 Flash,这看上去好像挺老,但其实也是去年年底发出来也就一年的模型。啊那个时候居然只有 55% 的准确率,就基本上左右不分。所以多模态的这个能力和这个 LLM 这边差距还是有非常大的这个这个 gap 的。

多模态对 AGI 的作用#

那么就回到就是说还有一个争议,就是大家就是说除了这个能力上的这两者之间,就是多模态好像有点傻,那个 LLM 非常聪明。那么现在世界上还有很多声音就是多模态对 AGI 到底有没有用,还是已经够用了,还是比如说在二四年的时候当时 Sora 出来,有人就说啊 Sora 作为 AGI 的方案,觉得就会分散注意力。我相信最近特别是语言模型做得非常好的时候,大家会听到很多很多这样的论点。那还有另外一方面包括李飞飞她会说没有空间智能,真正智能不完整,对吧?其实回到大家对 AGI 的定义是什么?很多人对 AGI 的定义是能做人类能干的事情,那么人类能分左右,那么 AI 也应该能分左右,所以就空间智能也是智能中的一部分。

其实我想通过今天的这门课吧,让大家能够自己去解答这样的问题。其实呢仔细想一想这两句话其实都是对的,他们其实并不冲突。那么听完这节课,大家可能就会明白这些问题了。

连接抽象语言与物理世界#

那么回到这个本质问题,那多模态模型到底试图解决一个什么样的问题呢?它其实在试图把抽象的语言,就是人类的语言是个抽象的语言。当我们说一个苹果,这个苹果可能是千千万万种苹果。但是在桌子上有一个苹果的时候,这个物理世界的苹果是一个实实在在的存在,所以多模态是把这个抽象的语言和这个物理世界连接起来。所以举个例子,那么在语言模型里头说出来,这是抽象的语言,他说把这个杯子拿过来,杯子、动作这些都是个概念,都是知识,都是一些很抽象的东西。那物理世界真有个杯子,那你怎么办?那么就多模态模型在中间,有一部分需要去感知这个物理世界,对吧?我们能看见、能摸到,能通过各种各样的方法知道这个物理世界有一个什么东西。那么然后通过语言模型去理解,就需要一个对齐,因为这两者之间是存在于不同的世界里头的。

当你能把它理解了以后,那么这个时候你就可以发指令了,那你就说那我要把这个杯子拿起来,对吧?就回到这个问题。那这个时候呢,把杯子拿起来就是你脑子里在想的一件事情。那么通过多模态模型你又回到了这个物理世界,你把这个指令怎么能够变成一个行动,或者画成一个图,或者生成一个输出,比如说话,这也是一个多模态的输出。那么其实是把一个想法通过这个多模态模型还原到了物理世界,这其实就是这个多模态起到的最重要的作用。

四个研究问题#

那么这个多模态这个大领域呢,我们大概有四个比较大的问题吧,我们就是从理解、生成、世界模型,还有从交互中学习。

那么我们来看一下,就比如说多模态理解,其实这是个信号问题。当你有很多输入,比如说刚才的例子,有图片,有文字,那么这些信号都进来以后,你要给它一个判断,这里边有什么东西,是什么颜色,这些都属于理解这个状态,比较出名的叫 CLIP 和 Gemini。那么回到了还有多模态生成,就是有理解有生成,那么就是比如说 Nano Banana、Veo,你给它一个意图,那么它可以生成这个东西。

那可能大家相对比较陌生,但是可能也听了很多东西了,就是世界模型。那这个世界模型可能也是投资人问我最多的问题,到底什么是世界模型?可能现在因为这个行业现在也出现了几十种不同的对世界模型的定义。

但是从比较学术的定义来说的话,世界模型就是当前的状态,然后你给它一个动作,然后你来预测未来会发生什么变化。可能大家就比如说有一个球,你拍它一下,对吧?这是一个当前状态,一个球你拍它一下,你可以预测到未来这个球会弹跳、会滚动、会怎么样,这就是一个世界模型。

我个人觉得比较简单的一个理解方法,就是把世界模型想成你的想象力,就是你脑子里对很多事情,当描述一个事情的时候,你脑子里会想一想这个东西到底是个什么样子的,你的想象力其实就是这个世界模型。比较常见的有那些什么 Genie 啊,V-JEPA,就是世界模型是一个非常奇怪的地方,就是有各种各样的它的包含的这个东西特别多。你像 Genie 的话,它是相当于是它是非常真实和逼真的这个像素级的一个模型。那 V-JEPA 呢,它其实是一个比较隐含的比较 latent 的一个 representation,它也叫世界模型。那 DreamZero 这种像一个机器人的东西,它也叫世界模型,所以这个世界模型这里东西其实是非常非常大的。

那我再举一个例子,就是在 AlphaGo 的时候,它其实里边也有一个相对的世界模型,它就是在每下一步棋的时候,它在幻想,那么我的对手会下哪里?你看在这个状态下,我现在的状态是什么?就是这么个棋盘,对吧?上面摆了很多棋子,那么我会想象,如果我放这里,我的对手会下哪里?好,然后我再想,如果对手放到那里的话,那么我再放哪里?你可以想很多很多步,这就是世界模型最重要的一种使用方法,就是用来做计划。

因为你能够通过这种方法来猜测未来会干什么,所以你会觉得哎这个结果是不是我想要的?那么我做很多很多种计划,那我不下这,下这,会怎么样?你可以试各种各样的可能性,然后呢你通过这种方法就可以当然在 AlphaGo 里头,它大概我记得它是计划了五到六步,因为再往后它也不太准了,但是对这个世界模型来说,五到六步依然够了。那么人在做事情之前都是什么三思而后行,对吧?三思为什么要三思?不是一次二次对吧?什么叫三次?但是很多事情你得想一次,再想一次,再想一次,每次想可能会稍微有点不一样。如果我做这个,我做那个,那么会带来的后果会不一样,那么这个就是世界模型。

那还有一种叫从交互中学习。刚才说了多模态模型,它一个重点就是和物理世界的一个表达吧。那么物理世界其实是比较缺乏数据的,因为它和文字不一样,文字是纯抽象的,所以你从比如说为什么现在就是语言模型的数学特别好,因为数学是个纯抽象的东西。那么那么多模态其实它不是一个纯抽象的东西,它和物理世界是相关的。那么所以从物理相关的东西就需要你从和物理的这个世界的这种交互中去学习去反馈。

比较常见的其实这个可能大家比较常见的一个例子是自动驾驶对吧?从自动驾驶的话就是大家都能理解,那这是一个多模态的问题,那么有很多这个驾驶员在里面去开那个车,然后去收集大量的数据。那交互中学习呢就是汽车在路上开的时候,如果安全员觉得有什么不对,他会介入,他说你不要右拐,我要左拐,那么这就是他的行动加反馈,那么累计起来就会收集大量的这样的数据,然后再去迭代这个模型,这就叫从交互中学习。

多模态理解#

那么我们现在把这四个问题每一个再仔细想一下。那么多模态理解就刚才说的理解这部分,什么叫理解?你怎么证明你理解对吧?其实理解还能分三个层次,第一种就是说它感知对吧?就是比如说现在有一个水壶,那个水开了,那么这个时候呢,第一层次就是它有声音了对吧?声音这也是一种感知,你会听见这个声音,你会感觉到这个温度,你甚至可能还感觉到这个蒸汽,所以第一个层次就是感知对吧?你感觉到了什么?眼睛啊,嗅觉或者怎样,你感觉到了什么东西?但是你另外一个东西就叫语义,就是你能把这些感觉到的东西变成一个文字能描述的东西,对吧?你会觉得啊,水开了,对吧?能描述出来,从一个最底层的感知到语义,这个时候你就可能,只有做到语义、做到这种抽象的表达以后,然后你就可以推理了,因为只用感知你没法推理,对吧?感知你就会觉得哦,这个很烫,我别碰它,但是烫,你看这也是变成语义了,只有变成了语义以后你才能够推理。那你推理了以后,那么你就可以说啊,那我已经知道现在是发生什么,如果我不管它,它水会越来越少,或者是我把它拿开了,它就不会叫了等等,这些事情,都是你一旦变成了语义以后,你就可以进行下一步的推理。那么多模态的理解,就是要把一个物理世界的东西变成了语义,然后呢接下来它就可以进行推理了。

多模态生成与 Omni Model#

那生成呢,这块可能大家比较了解啊,就是比如说现在国内的这个 AI 短剧发展得很好,这个例子可能大家也比较熟悉,就是我先生成一个空房间,那么然后是修改一个颜色,我把空房间的颜色变了,然后呢添加家具,那么我想说的一件事情就是说,你看这个文字的描述是相对比较抽象,就是空房间,什么叫空房间?其实空房间可以画出各种各样的可能性,但在这里呢我们通过模型它给了一种可能性,但这种可能性就可能大家有时候管这个叫创造力或者怎样,这其实是模型可以发挥的地方。包括添加家具对吧?什么叫家具?沙发是家具,茶几是家具,颜色什么的,但这些东西模型可以帮你填上,它会觉得这些东西放在这里,那么就更融洽,更像一个房子应该有的这个状态。

那么知道了理解到生成了以后,啊现在其实比较流行的一个方法叫 Omni Model,可能国内的千问也有一个 Omni Model,它就是要叫所谓的多模态输入和多模态输出。什么叫多模态输入呢?你看有文字输入,像我刚才说的,有文字有图像有视频,各种东西都可以变成这个模型的一种输入。回到我刚才生成那个例子。

第一步是文字输入,那第二步在我修改把它加上家具的时候,那个输入已经变成了上一次生成的那个图像,那么这个时候就是多模态的输入,它可以融合在一起,那在多模态输出里,又有视频又有音频。

那为什么要做 Omni Model,就是这个东西为什么有用呢?对吧?就是为什么要把这些东西非要弄到一块去呢?那其实人类就是一个 Omni Model,对吧?人类就是可以多模态输入,可以多模态输出,我们可以听,我们可以闻到很多东西,可以尝到很多东西,那么我们输出也是很多的,我们可以说话,对吧?我们可以发出声音,我们可以做出各样的表情,对吧?所以人类就是一个 Omni Model,所以当我们脑子里有了什么信息的时候,我们可以通过各种各样的方法把它表达出去,同时呢我们在不停地接收外界给我们的这种信息,那这都是多模态的,所以我们觉得 Omni Model 为什么要做呢?就是它对 AGI 更模拟人的一种交流方式吧,嗯。

世界模型与机器人行动#

那然后第三个呢就是这个世界模型,刚才已经说了预测动作之后会发生什么,就是假设当前的环境和假设一个动作,可能我比较喜欢用 AlphaGo 这个例子,就是当前有这么个棋盘,我假设我的对手会放到哪里,那么预测接下来会发生什么状态,其实就是世界模型非常本质的一个东西。

啊假如说同一初始场景,假设你往外推一推,它有可能掉下去,那往内推一推,它就可能往里一点,那这就是世界模型,可以帮我们去做一些计划的一个的一个方式,而且这样的话你就可以看这个结局哪个你更喜欢,你希望杯子掉下去呢,还是想让杯子继续在桌子上,当然你如果不是很生气的话,正常人的话就是希望杯在桌子上,通过这么一个模拟,我就知道我要做的事情是把杯子往里挪一挪。就是先规划行动,比较一下后果,然后再决定做什么。

说到世界模型,现在不得不说一个比较流行的一个方向叫 WAM,就是世界模型和机器人结合起来,就是我们刚才已经说了当前画面加任务指令,比如说现在拿起这个杯子对吧,你面前有一个杯子了,你要把它拿起来。但正常的视频模型呢,就只是输出未来的画面,但是这个模型呢同时也能控制机器人的手,他为什么要这么做呢?他说你看视频模型既然已经能够生成一个熊猫拿起一个杯子对吧,一个猫喝咖啡什么它都可以生成这样的视频。你既然已经能够生成这样的视频了,表示你知道这件事情应该怎么做,那么我让你来控制个机器人吧,来去做,所以就是你已经知道了这个物理世界的一个规则,那么这个生成的效果会相对好一些,所以他们让它联合预测这件事情,执行一小段,然后再观察一下,然后再调整,就比如说我说要去拿杯子,然后他执行一小块看看哎手是不是到了我想要的位置,然后接下来呢根据这个理解,然后再做下一步的东西,这个东西就是 DreamZero 这篇论文的一个论点吧,啊这个论文以后呢这个世界模型的这条路线还是比较流行的,所以我在这里大概讲讲一下。

那有一个问题就是说既然你能够生成合理的未来,就一定能把任务做好吗?其实这个还是比较难的,因为毕竟生成一个想象力和执行力还是有点区别的,我可以想象自己比如说早起做很多健身什么的,但是你真的把它做出来还是有一点需要一点决心,在机器人方向也是这样,啊你可以生成说我可以想象手这么一拿,我就可以把它拿到了,但是执行起来每一个关节它有可能速度慢啊,甚至每个胳膊在安装的过程中,生产的过程中或者在磨损的过程中,胳膊的反应能力长度都会有区别,那导致它这个动作还是有点难啊,所以现在我们能够生成一个合理的未来,但是怎么把这个合理的未来变成一个机器人每一个关节的运动还是有一点点难度的嗯。

感知反馈与从交互中学习#

那最后一个还有一个问题就是传统的直觉,就回到了这个世界模型和这个就是大家会觉得视觉是一个单行道,为什么这么说呢?假设呢我外边有光对吧,物体反射的光,就假如这个杯子反射光,那么这个光呢进入我的眼睛,进入我的视网膜,然后呢这个视网膜呢再传到我大脑上,然后我识别出这个物体。

就绝大多数人都是这么想的,就是这是一个单方向的东西,而且我们现在的很多视觉模型也都是这个样子,假设的,比如说光进入我们的摄像头,然后把它传到神经网络,然后我们再去识别它。

可是实际上人类不是这么做的,这个单向和被动的信息接收其实人类对外界的理解并不是这样的,我不知道大家熟悉视觉的这个理论嘛,就是如果你把手伸出来,大概你的手伸直的话,那么你其实能够看到的东西只有你的大拇指甲盖这么大,可能大家可以举个例子,比如说看书的时候,你很难同时看两行字,因为你只能看那样子,对,因为你最清晰的视觉只有那么一点,那其他东西其实都是你的大脑帮你填上去的,这其实就是一个世界模型,大脑根据你已有的经验或者刚刚看过的东西,来预测这个东西应该是什么样子,然后呢我们的眼睛其实是在找这个区别。

举个例子就是脑里头的世界模型会先看一下,就是我根据我现在的位置,对大家都已经在教室里或者是比如说像像他这个例子是从远处比较黑的地方,它有一个黑影子,看着像个猫,那么我脑子里的世界模型会预测就是我看到了一个猫,那么这个时候呢我走近时候再去预测一下,就是我眼睛到底看到了什么,我看到了一个提手,那我的判断变成了一个包,那么其实眼睛的输入是对脑内的模型的一个纠正和反馈。然后通过这种误差来不断地调整你的世界模型,也就说你的世界模型做出一个判断以后不是一成不变的,它会不停地根据你的眼睛会进行一些纠正。

为什么说这个事情比较有意思呢?就是这其实就是我们人类对对物理世界的一个理解就是这么形成的。他们有做一些实验,比如说对一些小婴儿,小婴儿还不会说话,但他其实已经脑子里有个世界模型,他知道大概世界是个什么样子的,这个时候呢你让一个魔术师去给他变魔术。他虽然不会说话,但是根据那个研究吧,可以看见那个小孩的瞳孔会变,而且他的注意力会被这个魔术师所吸引,就是他明显看到哎有些东西不对,有些东西会跟他的判断会不太一样,这个球怎么突然没了,这个牌为什么变成那个样子了,所以就表示他的误差,和他这个预测的世界模型产生了冲突,那么这个时候他的世界模型就会不停地进行调整,像我们成人的话就会说这是一个魔术师,所以我们的世界模型就会说魔术师就会让球变没,就变成我们的新的一个世界模型。

所以到了我们最后这个多模态要做的事情,就是多模态要让现实世界成为人的老师,就是必须在和现实去交互去互动,啊去试着做一些事情,啊然后呢拿到一些反馈,不管它是失败的或者正确的,这些反馈就可以变成我下一次学习的能力,然后呢我们就可以这么不停地迭代起来。

产品应用#

那刚才说的这四个方向呢,其实都有非常多的这个产品应用的这个能力,就是多模态其实是一个相对应用、商用比较繁荣的一个地方吧,比如像多模态理解,然后 Mistral 到 TwelveLabs,当然我现在主要是去举一些初创团队,当然这些东西很多大公司也像谷歌、OpenAI 也都在做,但是我更多是说一些初创公司,那像生成领域的话,比如说 Runway 和 Luma,啊像中国的话有可灵,还有 MiniMax 做的也非常不错,世界模型的话 World Labs 刚刚被收购,啊还有一些其他的一些关于自动驾驶、时空的模拟或者电影他们创作都还是有很多的应用场景的,啊在交互中学习呢现在还就是 Physical Intelligence 比较 focus 的,就是更像 Robotics,啊他们会叠个衣服做个咖啡啊,啊他们通过这种和现实物理世界的这种接触当中去学习。

理解与生成的产品场景#

那我们再把每一个方向再仔细看一下,就理解呢,其实我觉得理解还是比较容易、比较常见到的,就是不管从电商啊,从搜索啊,还有对,像谷歌搜索,它可以直接用图片去搜。那 Be My AI 可能这个东西大家可能不太熟悉,这是一个帮盲人通过手机的摄像头来描述眼前发生了什么。这样的话,盲人的话他们可以通过这个东西可以在他生活中可以帮他读一些产品的那些标识,或者帮他们解释一下门在哪里呀,这样的事情对他们很有用处。这就是多模态理解。

那多模态生成那这个就更多了,就是这个已经是已经是非常大的一个行业了,比如说我觉得可灵增长也非常多,挣的钱也很多。那么现在从生成、筛选到修改,大概是这么一个流程,它有很多使用的潜力,它从广告电商啊,和包括现在就其实 AI 短剧也是非常多的一个场景。

那么就回到了一个问题,那如果内容生成非常非常便宜了,那到底缺的是什么?是创意呢还是分发的渠道呢?现在似乎分发渠道还是已有的,不管是抖音还是 YouTube 都还是跟以前没有太大的区别。

世界模型与交互学习的产品场景#

那么世界模型现在的应用场景也是非常多的,它通过世界模型可以生成一个 3D 的东西,啊比如说可以用 coding 模型生成一个 3D 模型,然后呢可以通过它这个生成的模型,在模拟世界里头不停地进行迭代。比如说它有很多自动驾驶,或者现在包括一些电影东西都可以在这种场景下去制作。

当然 Robotics 一直在说有一种 sim-to-real 的问题,对吧?就是模拟的永远不太像真实的,因为记得很早之前英伟达就做过这个希望自动驾驶做这个模拟会更好一点,因为通过汽车去路上去收集数据是很难的。因为你想有不同的天气对吧?哪怕是同一段路,有白天、有晚上,有下雨,甚至是包括什么东西过马路,在每一个国家过马路的动物都不一样。啊在澳大利亚可能是袋鼠过马路,在美国可能是牛过马路,有可能是什么野猫野狗过马路,所以你很难把那么多东西都收进来。那么怎么办呢?通过这种模拟似乎是一个比较好的方法,所以大量的精力放在通过模拟生成这样的数据,让自动驾驶或者其他一些收集到这种 long tail,我们叫是非常 long tail 的一些内容,把它收集起来。

那从交互中学习呢,这个现在应用场景还在摸索当中,但是已经是大家比较认可的一条路线了,就是说比如说人类先去示范,其实如果大家去打工的话,其实也是这个流程,就是你已经理论上讲你已经是一个比如说大学生,那么你去衣服店打工的话呢叠衣服叠成他想要的样子,或去咖啡店打工去做一杯咖啡,还是需要有一个人过来示范一下。

那么这个时候呢你示范了以后第二件事就是你得自己先练一练对吧?你看看你练的是不是跟这个老师教的差不多,然后不停地纠正不停地迭代,这个时候才能够真正变成一个你可以做这件事情的人。然后就是改进策略、纠正,通过这个来减少失败和接管的数量吧。每完成一次任务,能从失败中学会,然后让下次做得更好。

多模态模型的下一步#

那么说了这么多,那么看一看这个多模态未来怎么办?就是可能这也是我个人觉得比较有意思的一个方向,就是这个地方就是属于可以畅所欲言,可以想象一下这个美好的未来是什么样子的。

从识别到分析与多种感官融合#

那从理解来说我们刚才已经说了,我们可以比如说看到这么一个画面,我们可以想这是一个球对吧?这是个篮球,我们可以很容易看到一个篮筐,我们可以明白它。那么接下来我们怎么分析?我们之前说的分析就是这是个球,所以它有弹性。比如说那是水,如果不动它,水会越来越少,这些是比较简单的分析,但比较复杂的分析就是现在这个例子,就是说这个球到底能不能进,人类可能其实都有一种很快的判断,但是 AI 毕竟不是人类,它可以通过一些方法来把这件事情预测出来,这当然是篮球,可以想想台球或者其他需要物理世界的分析的时候,它其实可以做出一个比人类更准确的一些预测。

那这个东西会在现实生活中会非常有用,而且这个能力其实也不算特别难做,因为你看它已经用到了一些辅助线,比如这其实就相当于是生成的东西,然后呢再结合一下它对物理世界的理解,那么就可以对这个结果进行一些,甚至可以多想象一种可能性,来预测一下到底这个结果是怎么样的,特别是现在那个嗯 coding 模型又特别好了以后,可以通过 coding 模型来生成一些模拟,比较适合物理的模拟,然后再回来分析这个结果。

那么理解还还有一个方向是比较重要,就是把各个模态融合起来,我们之前说的模态主要是视频声音啊,对就形状温度有多热啊,其实我们 focus 在视觉上其实是有原因的,因为这方面的数据比较多,对吧,这个互联网已经有很多的图片,然后有很多的视频,但是互联网上没有温度的数据,没有什么触觉的数据,所以当然现在是大模型嘛需要海量的数据,所以大家在视觉上做的事情更多一点,但是逐渐地其他数据也需要了起来,因为毕竟在现实生活中这些东西都是非常非常重要的,它给我们的产品、给我们的理解提高了另外一个档次,嗯。

所以把这些各个方向的东西融合在一起,我们可以做一个判断,它到底在干什么,举一个我今年比较独特的体验吧,就是我去了一个完全黑的餐厅,它是盲人开的,这个餐厅把所有的光都挡住了,所以你进去以后也变成盲人了。那你在吃东西的时候就是完全没有了视觉,那么你在吃东西的时候,就是你判断这个东西到底是什么的时候其实还是蛮难的,因为你有味觉,你有嗅觉,同时你也能感觉它的温度,还有些余味,但是呢让你猜它到底是什么其实是非常难的事情。

所以我觉得很多判断 80% 到 90% 还是在视觉上,但是呢其他的模态呢又是一种必不可少的补充,怎么把这些不同数量级的数据用起来,啊其实是接下来这个多模态理解非常难的一点,因为 90% 的数据都是视觉数据,10% 可能是有触觉有温度,那么你怎么能够在模型里让这些东西能够互相帮助,啊这是一个比较难的科研问题。对这些数据需要对齐,对它各自有,但它对齐还是有点难度的。

数字人、VR 与游戏#

生成模型刚才已经举过例子了,那我刚才也说了人其实就是一个 Omni Model,啊那么多模态生成可以变成模型的一个输出方式,有了这个多模态输出以后,这个 AI 变得更像人了,因为它可以用语音跟你聊天,但他现在还可以加一个脸对吧,而且人的这个表情,还有这个姿势,说话的很多很多其他东西,这种非语言描述的东西,为什么很多时候要面试呢,找工作要面试,其实就是由于很多很多非语言中的判断,对这个人的能力和对这个人的性格有很多信息,然后通过这种方法可以得到,所以对话的数字人可以通过这种表达出模型的一些东西来,比如说它可以表达出表情,它可以拥有很多好莱坞的数据嘛,好的演员,他可以表达出很多表情来、感情来,所以这方面还是一个很有意思的方向。

还有 VR 的互动场景,我觉得 VR 之前很火了一段时间,但最近好像不太好了,但是我觉得多模态生成其实可以把它的一些短板补上,因为 VR 很大的一个头疼点就是这个素材不太多,而且都是需要有人去提前给你设计好一个互动的一个场景,比如说,故宫的 VR,博物馆的 VR 等等。但是如果你用生成模型来做的话,你可以有无限的可能,任何一个东西都可以变成你互动的场景。而且就像我刚才说的是,那个 Genie 那个情况下,你可以和它互动,那这个时候就会有很多更好玩的这个想法出来。

AI 游戏呢,可能游戏大家比较熟悉,就是到目前为止,绝大部分的游戏都是有一个像编辑一样的人,像讲故事的人,这个游戏应该怎么玩,他都已经设计得很好了,那么其实每一个人玩的游戏都是一样的,那么通过这种 AI 的话,可以让每个人玩的游戏会不太一样,可能会让你的故事更多样性,更像现实生活。你可以马上生成一个东西,然后你可以参与。

那还有一个例子就是,我们当时 Genie 3 我特别喜欢一个例子就是,用户可以在超市给蔬菜拍张照片,然后呢把那张照片就生成了一个游戏,你控制的是一个西红柿,然后这个西红柿呢就会在超市里跳来跳去,在不同的这个,展台上,跑来跑去,觉得还蛮有意思。就是通过这种方法,你可以把任何一个东西变成一个可以游戏化、可以探索的东西。

预测行动的后果#

那么世界模型的下一步,还是回到刚才说的,我们从预测一片段,就是因为其实预测片段就是生成一个视频,但实际上呢,我们并不在乎那些视频,我们其实在乎的是结果,其实人类也是这么想象的,就比如说我们就是想象这个杯子会掉下去,我们并不是按照真的符合物理规律的方法来想象这个杯子跌下去,那是不是加速度正好是什么 9.81 这常数啊什么,不会那么准确,我们只要知道结果,这个想象力其实就够了,不需要那么精确的像素的精确度。所以世界模型到时候要的是这个后果,那我这样的话速度会更快,而且能把模型的能力和数据用在刀刃上吧。

从学徒到老师傅#

那从交互中学习呢,就是我们最后这个方面,也是所谓从学徒到老师傅,我觉得这个很有意思,因为行动结果的数据永远是有限的,环境也是不停在变的,就为什么每人去工作的时候总会有一个在职培训的这个过程,啊其实就是这个样子,你要提出一个问题,就是在一个新的环境下,你往往会有很多新的问题,而且我觉得这也是就是主动去实验,因为语言模型把整个互联网的文字都用了一遍,但是呢在物理世界,我们虽然有很多视频,但是视频依然不够全面,举个例子啊,不可能视频把这个塑料袋怎么飞等等这些东西都拍下来。

那么这个时候就需要模型在现实生活中去做一些实验,比如说握一个杯子,我抓它用力不用力,根据我的结果再去干一些别的事情,其实几岁的小孩就是通过这种方法,对物理世界有了非常好的一个理解,那么这就是我觉得多模态模型下一步在现实生活中需要做的事情,那么它带着好奇心去探索,然后更新,之前可能没有这个探索能力,那么模型如果有主动的探索,它生成了好奇心,那他就可以去通过这种方法去改进。

那就是回到这节课最早开始的一个东西,就是多模态在 AGI 中的意义,那它其实就是让 AGI 和现实世界互动,啊从观察到表达,然后它面向 AGI 模型,那 AGI 模型可以根据多模态的理解去进行一些推测和预测,然后决策,当它想明白要做什么的时候,那多模态又是它和物理世界互动的途径。然后呢这个东西就可以不通过……这个现实世界到底是个规则是什么样的,对,通过这种互动的智慧。这就是今天我希望要讲的内容了。

圆桌讨论#

刘勇 Patrick:这个非常非常感谢淼森,我看画面有点卡住了,这是淼森故意卡住的。因为啊,可以刚好卡住了,再次感谢淼森哈,来。今天讲的速度很快,我们一起把椅子搬到前面来好不好啊?

然后下面呢还是那样,我们有一个 panel 啊,然后 panel 之后再是 Q&A 啊,因为这次嘉宾在线上,所以我们特意请了两位 panel 的嘉宾过来啊,这个都是非常重磅的,一位呢是也是我在蓝驰以前的同事,非常知名的投资人啊,冯甜,现在是我们都叫她甜总啊,来吧啊,长得多甜的小姑娘甜总啊,是非常知名的这个 VC 基金叫 BAI 的这个 AI 领域的投资人。BAI 呢我今天有个新的理解啊,我今天给甜总说,BAI 第一是北大嘛,啊,AI 就是 AI 了对吧?这是北大的 AI 基金,对,BAI,但是非常非常知名。

然后第二位嘉宾是咱们那个王总,王春雨,以前也是腾讯那个混元模型的那个训练的负责人,来来来,有请。所以我们加上淼森那边,我们其实嘉宾有三个人啊,还是那样,线下只有两个人。

模型命名与嘉宾介绍#

但在嘉宾那个之前呢,我特别好奇啊,淼森,那个 Nano Banana、Veo、Genie 啊这些词语是怎么造出来的呀?啊?

我觉得我一脸懵逼的话,我觉得在座基本上都会一脸懵逼的,能给他解释一下吗?

王淼森:可以可以可以,其实 Nano Banana 这个名字,谷歌变得不太会起名字了,其实这个名字本来叫 Gemini Image,但是有个评测平台叫 LM Arena,去那里评测的时候必须起一个就是大家认不出来的名字,然后呢我们那个起名字的产品经理,他小时候特别瘦小,大家给他起了个外号叫 Nano Banana,所以他就把 Nano Banana 放上去就变成了这个名字,结果正是因为这个名字很好玩,所以成功地就是把这个模型给带火了,带火了以后呢,大家就去 Google 搜,Nano Banana 我要用 Nano Banana,结果谷歌因为这个东西并不是个真的名字,所以当时没有办法,所以后来我们就干脆顺着民意吧,把它正式命名成 Nano Banana。

那 Veo 呢?Veo 其实是西班牙语看见的意思,因为它是个视频模型,所以它就是能够看到它。

刘勇 Patrick:好了,我们正式进入那个 panel 环节啊,啊因为淼森刚才已经讲了这么久,我就先让那个甜总和王总来自我介绍一下,哎王总来了。

王春雨:嗯大家好,我是王春雨,对准一点点,我是王春雨,然后之前的话是在微软研究院,然后在做计算机视觉的研发,然后后来是去腾讯混元在负责图像和视频的模型,然后我们去年发布了混元 Image 3.0,然后是开源的最好的模型,对,然后六月份出来,现在是待业的状态。

刘勇 Patrick:欢迎勾兑哈。

冯甜:嗯各位同学好,那个首先感谢这个北大创业创新中心和那个 Patrick 的这个邀请,我先介绍一下那个我们基金吧,我们基金是 BAI Capital,然后是零八年的时候其实就在国内成立了,然后我们的前身是贝塔斯曼亚洲投资基金,所以其实我们在国内大概已经有二十多年的这个历史了,然后我们投资的这个领域的话其实是比较广泛的,因为我们从零八年开始。正好赶上了从互联网、移动互联网,然后到整个的 tech 周期,包括现在 AI 整个的这个周期,所以我们基金也是一个穿越了很多周期的基金,这跟我们的投资理念也是比较相关的,因为我们的投资理念还是不太希望去追逐一些特别火热的点,我们也是希望能够投到的企业也能够是去穿越周期的。对,然后历史上我们大概有投了两百多家的公司,有几十家公司那个已经 IPO 了。然后我们这一期基金的话大概有八亿美金的规模,然后覆盖的这个阶段会从早期然后到成长期都会去投。

然后我们现在的这个领域呢,啊重点其实看得比较多的是 AI,然后 tech,还有一大块是我们是去做出海,然后另外一块其实是负责那覆盖那个消费。啊其实我们基金最近也投了一些北大的项目,包括逆矩阵的学长,啊吉嘉铭和陈博远他们也是我们最近投资的。然后除了这个我们希望能跟大家比如说有些创新的项目跟我们合作之外,我们也特别欢迎如果大家想要去基金实习的话,也欢迎来找我们。啊谢谢谢谢。甜总,

刘勇 Patrick:谢谢。甜总要这么低调介绍一下自己哈,虽然我已经很熟了,你还是向大家介绍一下。

冯甜:啊好的,啊我是一四年的时候其实就入行了,我算是刚毕业的时候就直接去做投资了,所以在那个时间节点算是比较这个少见的,因为我没有这个企业的这个经历。啊然后我从业以来覆盖的这个领域其实比较 focus,我主要看一些那个 tech 和企服也看得比较多,然后上一波 AI 在 CV 和 NLP 上,然后这一波是生成式,我也都看了。

啊然后投的一些项目的话,在上一波的时候有一些比较这个跟大数据相关的项目,比如说像 PingCAP、滴普包括一些极视角什么这些公司其实都在港股上市了。然后近两年这个参与投资的这个项目,比如说像那个啊 Kimi 啊然后还有一些这个比如说 Meshy 然后这种做 3D 模型的,还有一些做 AI 数据相关的这个公司。好谢谢。

刘勇 Patrick:你也投了那个字节嘛,对吧?字节的投资人在咱们这个课堂上,来再次感谢两位哈,那我们就从第一个问题。

中美的 token 消耗与内容生态#

其实好多问题都在咱们那个官方公号上面,大家可以关注一下,有的问题可能和双创公号是不完全一致的啊。所以啊,因为有点变化了,第一个问题呢其实还是一个跟市场相关的信息啊,就是前段时间网上一直在传播的就是什么呢?是硅谷和国内的 token 消耗比例是完全不一样的。国内 token 的半数消耗其实是在视频短剧生成上面,而硅谷一半多的 token 消耗其实是在这个代码生成上面,这完全代表两种不同的风格,我其实挺想听听不管是淼森从硅谷的视角来聊聊为啥他们是一个代码生成啊,为啥这个甜总和王总这边来为啥国内是这样一种生成方式,要不那个淼森你要不要先来那个聊聊硅谷的一些情况啊?我知道你现在时差很严重啊,那个完全红眼的状态,一定要撑住啊。

王淼森:可以可以可以,没有问题没有问题,对对对,谢谢谢谢谢谢。对,我觉得是这样的,我们也对这个有过一些尝试吧,就是可能我们试着把这个,因为 AI 的一个核心能力就是把一个门槛做低了,我们觉得如果 AI 能够让正常的、比如说大家看视频的人变成 creator 的话,那我们就可以带来更多的人去做视频,那么我们的 token 消耗就会上来了。但是通过我们在 YouTube 上的一些试验发现,能把视频做得好的人还是需要有一点专业能力的。那如果比较专业的制作视频的人在美国的话,这个数量会少很多很多,所以我个人觉得可能和这个东西也有关系。

然后另外一个就是缺乏一个专门的分发渠道,在国内呢可能这个短剧啊,因为短剧嘛,它短,现在 AI 的这个模型的能力它生成没有办法生成特别长的这个视频,所以它很自然的应用场景是短剧,但是短剧呢在美国又没有发展起来,所以它相应的 token 消耗也就没有那么多,我觉得可能是这两个方面吧。

冯甜:中美之间特别明显的一个差异就是啊,在国内大概有,我记得应该是接近 60% 的消耗量都在视频上。那这个原因我觉得很简单,因为中国的这个短视频发展得非常非常好,我们有抖音有快手,然后我们还有这个视频号,所以我们整个的生态从创作者然后到消费者,其实是一个非常良好的生态,也非常成熟的生态。在此之前我们还有很多网文的生态,所以现在这个 AI 一旦出来之后,又可以快速帮你去改剧本,又可以快速去帮你生成这个视频,所以它整个既有整个的消费的环境,也有整个的这个生产效率的环境,所以我觉得这个是相对来说比较天然的。

然后从代码的角度去看呢,就是因为我看了很多年的 To B 和 SaaS,就是美国在软件生态上是非常非常好的。就是所以大家都是这个你作为 A 角色,我作为 B 角色,大家一起来把这个事情做大,跟国内的这个生态不一样,所以你看 coding 在国内其实一直没有发展起来,这个生态反而是在美国,我觉得跟它的这个相对的资源和比较优势都是很相关的,谢谢。

王春雨:我补充一个不一定是最主要的原因。但一定要说不一样的。就是说我感觉美国和中国对于 AI 的图片和视频的接受程度是很不一样的。就比如说在出海的这种图片类的应用,那么美国对于 AI 就是你用 AI 把我的图重绘了一遍,这种事情的接受度其实是比较低的,尤其是当你把它的一些这种很重要的特征做了一些修改之后,这是完全无法接受的。但是比如说在抖音这种平台上,大家做的这种美化或者是美颜,它可能亚洲人对它的接受度是非常高的。

刘勇 Patrick:为什么呢?美国为什么他不太接受?

王春雨:原因其实我们不知道,对,但是现象是这样,就他会追求真实感。

刘勇 Patrick:OK,淼森知道什么原因吗?

王淼森:但这个我也不知道原因,但是大家都在说,苹果拍的广告就是能看到很多很多瑕疵,但是如果开了美颜的话,大家会不太喜欢,可能美国人更喜欢这种真实的感觉吧,消费者习惯不太一样,嗯。

刘勇 Patrick:太有关了,看惯了,我们更喜欢美,更喜欢更喜欢不美,更喜欢真实,那真的是两种不同的土壤。

多模态是否是 AGI 的主线#

下面一个问题呢,就是还是今天的主题,就是这个多模态是否是 AGI 的主线。大家肯定也知道这个应该是几月份?五月份,梁文锋说的那个是吧?但是他的音频流出来的。梁文锋在那个里面,这是一个内部的,不是访谈啊,后来应该是封了啊,他说了一句话,他说这个多模态不是 AGI 的主线,所以 DeepSeek 其实是不在多模态上发力的,对吧?是这样吗?对吧?这个问题我也思考了很久,挺想听听大家的观点,多模态是不是 AGI 的主线?如果是是什么原因?如果不是是什么原因?是和不是之间的边界是什么?

这个我想先请那个王博士啊,王总之前也是咱们北大毕业的,所以先有请那个王总来分享一下。

王春雨:对吧?其实这个问题让我想起来之前在微软研究院的时候一件比较有意思的事情,就是大概一二年开始吧,就是 Transformer 啊开始成为一个主流的网络架构的时候。其实视觉一直是整个研究院的中心,就是视觉在那几年飞速地发展,然后另外一个组呢是自然语言计算,就是 NLP 组,他们的发展当时处于一个相对平静的状态。

那么大概在一九年,就是疫情那一年吧,然后大家这个经历了疫情回来之后,就发现情况变了,就是 Transformer 出现了,GPT 出现了,ChatGPT 也出现了,就是自然语言呢进入到一个非常非常活跃的状态。那时候自然语言的这些同事然后就开始嘲笑我们,就是我们都已经把自然语言该怎么做,已经呈现给你们了,为什么你们抄不明白呢?对,就这样的一个状态。甚至有些这个做自然语言的同事就开始说,哎,说你们人不太行,要不然我直接做多模态了。

对,然后那其实从现状来看的话,其实大家会发现多模态的进展一直是落后于自然语言的。我觉得这里面其实有一些比较本质的原因。那第一点呢就是文本和视觉它的差异非常非常大。第一个就是信息密度,就是我们说那一幅图叫千言万语,就你想用文本去把一张图描述得很清楚,然后是非常难的。所以包括 DALL·E 3,然后以及后来的很多的这种生成模型,都是在尝试我用更多的文本去把一张图给描述清楚的时候,会不会让视觉的能力有一个突飞猛进。所以这其实是过去一直尝试的一个方向。

但是刚才淼森也提到,就是说对于你去描述一张图,这本身就是一个很困难的事情,甚至说哎我的相机是从左向右移动,还是由右向左移动,它都弄不明白。那我举起我的左手,你把它交给理解模型,它甚至分不清举起来的是左手还是右手。当你用大量的这种数据去训练你的这种视觉模型的时候,自然就会遇到很大的问题。就是说这两个模态不一样,但生成会很依赖理解啊,所以这是第一个本质的区别。

那第二点呢,就是自然语言它是一个特别好的模态,就是它的输出,然后以及它的接口,也就是它的输入,完全都是文本,它是同构的一个状态。但是视觉不一样,视觉的接口其实还是语言,就我们会去用语言去生图,会用语言去控制一个模型。这两个模态就会要求说你想要把视觉做明白,你就必须要把文本和视觉的这个 gap 也要给它补上。这个其实是当前做得不好的地方。

第三点呢,实际上是我觉得大家对于文本和视觉的容忍程度是非常不一样的。比如说北大,你可以说北京大学,可以说北大,甚至当你说大北大学,你可能都能明白啊,你说的是北大对吧?就是大家对于这种文本的容忍程度是非常非常高的,甚至你可以去做这个,比如你一开始说完之后,他可以觉得不对,他可以再去调整,因为它都是文本,容易在这个模态下,所以这是很容易的一个事情。

但是对图像来说容忍度非常非常低。我举一个简单例子,就是当你的眼球的一个形状,当它少了一圈,比如说眼球少了一圈,那么对于自己来讲,你看到这张照片的时候,你就会发现它不是我了,这个我是已经接受不了了。就是当比如眼球是这么大对吧?当你画出来的图比如变小了一点,人很容易就会发现哦,这张图已经不是我了,就是说人对于视觉信号的容忍程度其实是很低的。

那所以说语言大家觉得我已经到了 70% 的可能,但是你一旦到视觉的时候,你出现这样的一张这样的图,大家会给他觉得哎只有 10% 的可能。

刘勇 Patrick:这有点反直觉,我觉得好像啊。

王春雨:对,是的,就是对于自己的这样的一张照片,大家是非常非常敏感的,就视觉它有很多的任务,这些任务很不一样,有些任务容忍度更高一些,有些就不太行。我觉得这些不同点吧,我感觉视觉模态没有到 AGI 那样的状态,但不意味着 AGI 和视觉没有关系,相反我觉得 AGI 一定是,就是视觉的 AGI 一定会比语言会带来更大的一个前景。就是说梁总说的这个事情,我觉得是现状,而不是……

刘勇 Patrick:OK,对对。

来,甜总啊。

冯甜:其实这个问题我也想过,但其实我没有很好的答案,就是我其实没有想得特别的明白啊。但是我在想的问题是说,第一我们到底怎么去定义所谓的 AGI,我们定义的它的目标是什么?就如果我们定义的它的目标是它能够在一个陌生的环境,然后它能够在没有先验知识的情况下,在陌生环境里是不是能够生存下来?也许这个就是我们所说的 AGI,但是我们要实现这个 AGI,这个里头就包括了它要去主动地去探索,然后主动去和环境交互,然后主动地去挖掘它怎么完成任务,能让自己存活下来。那大语言模型可能是不够的,如果从这个视角的话,那可能确实还是需要别的一些模态能辅助它去做很多和环境的交互和探索。所以我现阶段没有很好的答案,是一些你一定要说的、没有想明白的思考啊。

听听淼森的。

王淼森:对,我今天这门课就是试图回答这个问题,就是多模态和 AGI 的这个关系。如果我们现在看 AGI 就是现在前沿的模型的能力,它比较强的其实都是这种抽象能力,就比如说数学,比如说 coding,这些东西其实都完全是自成一体的,就比如说数学吧,举个例子,有一个人在农村里,他可以研究十年突然想出一个猜想来,他完全可以做到这样,他不需要和外边的物理世界有什么交集。

但是跳出这几个比较狭义的能力以外,其实大模型在其他领域的能力进步是非常缓慢的。那么再往后边再去做的时候,那么就比如说物理对吧,也分理论物理和实验物理,那么到实验物理包括生物,包括化学,大量大量你需要去做实验,需要和现实世界去交互的时候,这个时候你再往前走就离不开多模态的这个能力。

刘勇 Patrick:这确实肯定离不开呀,它是一个,它真的是一个主线,主线意味着这个不光必须攻克它,而且刚才是从理解到生成、到预测这个阶段,AGI 是不可逾越的一步呢,还是它其实可以绕开?

就你看我其实刚才间歇性地听了你讲的尤其是前面那四个问题,我觉得讲得非常非常好。你把它分成四类,在从理解到生成的时候,实际上理解你先把它转成语义,语义之后再转成推理,某种程度上可以这么理解,多模态呢最终多模态的理解或者多模态的能力它只是一个 input 而已,而没有去涉及到后面的推理,而推理本身才是从那个 large language model 的角度来说,它是智能的最核心。所以如果它是智能的最核心,那多模态其实就不在这最核心里面,它只是一个 input。

你还转得动吗?

王淼森:对对对,我在想对,可能有点延迟,对对就回到了这个还有其他的方向吗?就比如说确实因为人类有智慧,就是因为人类有语言,那么人类的思维方式什么都是靠语言来做的,那么这个是非常核心的一点。那没有语言的动物,比如说大家会说这个狗好聪明啊,这个猫很聪明啊,但它们的聪明往往体现在一些比较简单的事情上,但没有体现在这种哲学上呀,就是数学上。

那么如果从这个角度来定义 AGI 的话,是的,那么多模态的主要作用是是作为一个输入。

那么其实还有一个我觉得多模态需要可能当时没有提到的就是为什么说生成很重要,生成的话其实就是想象力,我个人感觉是个想象力,有了想象力以后其实这是创造力的一部分。现在语言模型的话比较难的一点就是创造力似乎不太好,不管是写诗歌还是写什么,它可以写,但是写得并没有达到那种特别好的这种状态。

那么想象力一方面是为了这种娱乐目的,但是像我刚才说的,它也有一种就是对计划的能力。

如果是一个有了 AGI 的具身机器人,在物理世界中移动的话,它就需要有这种物理世界的想象能力,比如说骑自行车,比如说系鞋带,这些东西没有办法用文字好好描述,就说你看一个课本,你可以看很多课本说怎么骑自行车,但是你只有骑一下才会骑车,那这些东西全部是多模态能够带给你的。

刘勇 Patrick:从这个视角来说呢,智力只是人类中的一部分,很可能只是其中一小部分而已。比如说我们要游泳,我们要那个喝酒,我们要这个看太阳赏月哈啊,还不一定需要足够的智力。但这个问题真的挺有趣的,大家可以多思考。

世界模型的技术路线#

那个下面一个问题呢是其实跟世界模型相关的,就是世界模型,像 Veo、Genie,尤其 Genie 就是多模态突破到世界模型来了,而这个世界模型上面确实很热哈,那个从投资角度特别热,究竟该从多模态过来,还是该从语言模型,比如说就像 Astra 这种模型过来,刚才台下有位以前是朱松纯老师的博士生也在发这个信息,究竟世界模型该从哪儿来啊?还是世界模型就是一个独立的赛道,像语言模型一样。

这个你来。

王春雨:我个人是这样理解的,就是视觉,我们因为有的时候我其实都是多模态感觉好像看起来就是我们在疯狂地多模态在辩论,不是不是,完全不是,我的理解是更多的物理规律还是蕴含在视觉信息里面的,就是自然语言更像是一种先验的连接,就比如说当我们提到北大的时候,可能会连接到中国的 top one,对吧?它学到了这种先验的连接,但是一些物理规律它并不是语言擅长表达的。比如说我要在图像里面加一只狗,那这只狗的影子要怎么处理?这种信息呢其实完全来源于原图里面的这种成像的效果。哦,所以我觉得这种视觉信息大概率不是语言能够去做到的,就即使我用一千个 token 去描述这个状态,也很难把它描述得很精确。

刘勇 Patrick:OK,没有了。

冯甜:我补充一个那个就是基本上的这个视角吧,就是中美的这个差异,其实我们最近还统计了一下,在国内大概加上上一波所谓做具身的公司转型过来做世界模型,大概有五六十家,然后我们也做了一下统计,就是这个大概在国内是其实累计起来也不多,可能也就个一百多亿人民币这样子的规模。

但是我们去看美国市场,其实这个只有四到五家公司,但是他们整个的融资的规模是我们的好几倍。其实这个就是能体现出中美之间在整个赛道的投入上其实是有差异化的,我们的这个投入是在项目的数量多,但是单个项目平均的投资都不到五千万美金。但是海外这些项目其实它大量的这个资金进来,一个项目可能就拿十几亿或者二十亿这个美金,就是这个逻辑很简单,首先这个里头的谁都没有搞定,然后接下来这个路径怎么走也不清楚,因为世界模型现在其实是五六条在并行的,到底怎么去定义它,然后到底哪一条技术路线能走到最后其实都是不确定的。

且我们在算力这么稀缺的情况下,是拿到了这么点钱,其实我觉得这个其实是需要我们国内创业者去反思的,为什么在这种赛道上需要去投入这么多资源,有时候这些资源都是错配的。对,对,所以其实我觉得反而这里头有很多问题没解决,比如数据问题怎么解决,我们是不是应该去发现一个新的架构,这个架构是说因为大语言模型是预测下一个 token 对吧,那其实我们现在讲的世界模型它是预测下一个物理状态,那是不是有一个新的架构能够去做这个事儿,而不是大家在某些地方这个疯狂地卷。

刘勇 Patrick:所以一级市场都是赌运气哈。那个,淼森,

王淼森:对对对,我觉得世界模型这个概念其实最早是强化学习里的,就是就说举那个 AlphaGo 那个概念,就是你在下一手棋的时候,你可以想象对手会怎么下,对吧,这就是一个世界模型。那这个世界模型究竟是不是需要是像素,其实不需要,它可以是各种各样的事情。

但是它有一种世界模型,它需要是像素,举个例子,我们要搬家,这个沙发能不能从这个门里头搬出去,对吧?那么我们脑子里可能会想横着搬、竖着搬,大概都想了很多种方法,那我想是大概应该是横着搬。那如果要横着搬的话,那么这个时候到底它这个宽度是不是可以?我们的想象力没有那么精确,现有的图像生成或者其他的想象力没有那么精确。它是如果用 Nano Banana 生成一个比如说一个图,你说它就是一厘米高,它可能真的做不到。这么精确的事情,它确实是需要 coding 模型或者其他的语言模型去做,因为它们就是更加精确。

那么就是回到这个搬沙发那个例子,当你真的想好了你是要横着搬的话,那你就需要找个卷尺来量量高度,量量长度,这个时候就相当于是使用了 coding 模型来做一个非常精确的计划。

如果是一个非常聪明的 AI 模型,它会有大量的工具,包括想象力,包括这种很精确的写代码的能力,其实代码也是一种工具。各种各样的工具都围绕着这个 AI 模型,它会在适当的情况下使用适当的方法来做一个比较难的 task,嗯。

刘勇 Patrick:好的,这个世界模型这个我也没有完全搞懂啊,这个全部都未知的,真的从一级市场的角度来看,真的是在赌运气。

多模态的创业机会#

下面一个问题呢,就是我们还是回到我们创业这上面哈,因为我觉得这里面的大假设我们都相信多模态是 AGI 的主线啊,我们肯定都相信,不相信的估计都已经走了啊。那如果在这个大假设下,我们一定要干大事创业,机会窗口究竟在什么地方?刚才甜总也说到是在数据吗?还是在这个类似于短剧这样的娱乐吗?还是我觉得老师刚才提到 VR、AR 或者 AI 眼镜硬件的这种交互入口吗?因为那交互入口一定要用那个的。上次那个丰叔也提到这种传感器,还是在别的一些比如说垂直场景,无人机的垂直场景和我们通用很多场景相结合的一些地方,就是大的创业机会究竟在哪个地方,这是一个 billion dollar question 啊,我们要先请甜总来吧。找到这个机会你可以找甜总拿一亿美金了啊。

冯甜:这里头分几个阶段。现阶段最核心的,我觉得还是在数据上,这是非常非常稀缺的一个资产。不管是在我们,比如说我们最近看了很多项目什么 AI for Science、RSI,然后各类的包括一些应用,我们有一个判断就是不管你是未来做应用的公司,还是你本身就是垂直的模型或者其他的,我们还是觉得你理论上背后都要有一个自己的模型。

然后那这些模型怎么去吃真饭,因为大语言模型三十多年的互联网数据,那你比如说你要到零售行业,你要到能源行业,到医疗行业,法律行业这些数据你怎么去搞定?我觉得这个是现在没有解决的,所以我觉得包括世界模型对吧,你怎么去跟环境交互,然后对吧,我看我妈做了那么多次西红柿炒蛋,但我不一定做得很好,我怎么把这里头的精华能学到,然后让机器人能做得好吃对吧,不是快而是好吃。

我觉得这里头都需要很多的这个数据去解决,所以我觉得数据这个赛道是一个相对来说比较稳定的这个赛道。且现在我觉得跟算力去比,跟这个模型去比,这个赛道是被低估的。那两个领域都有万亿美金的好几家公司,但数据领域其实也就这个两百多亿美金啊,对,所以我觉得这个其实是被低估的。

然后从应用的角度来看,我觉得我们现在其实还没有找到一个这个 To C 的现象级的这个应用了。因为其实本身我们现在看到这些模型它是这个智力的飞轮,它是一个效率工具。然后虽然红果最近涨得很快,但我觉得红果不是 AI native 的产品,就是它本身其实它原来就已经有这样的一个生态,其实我们现在用了 AI 的能力去这个加速它,让它这个生产的成本更低,然后让它的整个效率变得更快,但我觉得它不是真正原生的 AI 的这个应用。所以 AI 原生的应用其实我觉得这个里头有中美完全会不一样。你看其实在美国,美国的啊 To B 的这些公司,不管是上一波的做 SaaS 的公司重新在收购一些 AI 的公司和工具,或者它同时在转型去做 AI,其实这个整个生态还是比较繁荣的。且它现在就是有一些这个 To C 的应用也在逐步起来,你看在国内其实 To B 的这个应用这个市场是非常的苍白的。

刘勇 Patrick:然后甜总绝对有发言权,今天那个还有项目也来我做 coach 的时候,来问我:中国要不要做中国的 To B 市场?甜总可以回答了这个。

冯甜:我觉得现阶段其实是比较难的。

刘勇 Patrick:不过任何阶段可能都很难哈。

冯甜:现在是另外一个话题,就是总之我觉得在国内的这个软件生态其实是有产品的集成商会生存得比较好啊,这个不是一个纯典型的。不是一个创业公司的。

对,所以你看在国内,其实理论上来说我们有那么好的 To C 的场景,然后有那么多的这个用户,其实我们又做出过很多现象级的这个 To C 用的产品,但其实这个进展是比我们想象的要缓慢很多,我们至今都没有看到那种所谓 DAU 能到五百万的这个,或者连一百万的可能都很少,对吧?这种应用级的产品了。

所以我觉得这里头其实有挺大的探索的空间,那我也回过头反思了一下为什么就还没有出现这样的东西,我觉得多模态模型本身还不太成熟,它还没有达到你可以完全去交互,可以去有些创新的东西,就模型本身我觉得还在这个迭代和这个快速进步的这个阶段。

对,然后另外一个我觉得其实 Infra 上还是有很多这个机会能去做的,包括其实你看中国典型缺卡,美国缺电,对啊,这个都是底层最核心的东西啊,所以我觉得。其实中国 Infra 的需求比美国按理说还更大,所以我觉得从这个数据包括一些 To C 的创新的应用,然后包括 Infra,我觉得这些机会其实都是挺好的。

就不一定非得要去卷,比如说某些模型公司对吧?

刘勇 Patrick:对,Data 公司可以来找那个甜总了,来来,王老师。王老师多透露一下在混元的一些东西,一些干货,反正都出来了。谁怕谁呀?

王春雨:我是这样想的,就是嗯,多模态相比于大语言的话可能会更加百花齐放一点。就是它的任务不那么容易被统一,然后这也是,对,就是可能它不会产生刚才甜总说的那种特别大的现象级产品。然后但我觉得这种百花齐放其实是结合刚才说的多模态的一些特点,就是大家对它的容忍性很低,反而会出现一些这种有自己的壁垒的这种 NeoLab。对,当在这个垂直领域里面有了自己的模型,有了自己合适的数据的时候,那么它的这种壁垒会变得非常的高。

刘勇 Patrick:这个视角蛮有意思的啊。

我对自己的照片容忍度是较低的,但对别人。我是真的不太 care 他,他少了一个眼睛好像都没那个。来,淼森。

王淼森:对对对,啊对,我觉得就像大语言模型现在比较有突破的两个方向吧,一个是 coding,一个是数学,这两个都是可以验证结果的方向,对吧?verifiable result。

那么接下来如果模型需要有新的突破的话,那它依然绕不开需要一个 verifiable result,可以验证的结果。那么不管是生物、化学、物理这些东西,它需要 verify,那需要怎么办呢?那么就需要大规模地做实验,怎么能够规模化地做化学实验,怎么能够规模化做生物实验,包括机器人,包括我们现在在做一些机器人相关的项目,那么我们要做实验的话,最后就不光是卡的问题了,你有多少个机器人可以同时跑你这个实验,那么最后就变成了物理世界是一个瓶颈。

那么所以我觉得未来一个很大的机会就应该是在多模态和物理世界交互上,包括具身机器人,包括它们怎么能够规模化地帮着 AGI 去和物理世界交互,去让它们跑腿,然后让它们能规模化地做生物实验,不再是靠几个博士生去做,而是成千上万的生物实验可以同时并行进行,因为它确实是可以验证的,那么这些生物领域、制药领域将会有很大很大的提升。

多模态快速发展的信号#

刘勇 Patrick:最后一个,简短一点的问题啊,就是这个还是回到多模态是 AGI 的主线,那如果什么信号出现了,说明多模态就是 AGI 的主线了,而且是正在快速跨步,什么信号出现了,就表示多模态开始进入 AGI 的主线了,那就很可能会大规模地爆发了啊,说一下这个啊。

王春雨:坦白说我没有考虑过这个问题,是我现在的判断是这样的,就是因为理解会是生成和决策的一个基础,因为它是训练数据的来源。啊当我们看到理解真的有了一个非常快速的进展的时候,啊比如刚才提到的那些非常 trivial 的问题,大家都已经不再犯错的时候,那很有可能我觉得至少在生成这一边会有一个很快的发展。

刘勇 Patrick:理解和生成本来就是硬币的两面。

王春雨:对对对,刚才提到 AGI 可能是包含了理解、生成还有决策,那么决策我觉得是相对来讲会是比较自然的一个事情。嗯。

冯甜:就我也是带着这个问题来的,

刘勇 Patrick:你一定得回答。

冯甜:我想请教一下森总,他怎么看待这个问题。

刘勇 Patrick:还没给你提问时间,你等一下我会给你提问的啊。

冯甜:我其实是比较迷茫的,因为我其实都看了很多项目,不管具身的,然后视频的,然后世界模型等等,其实我是比较迷茫的。然后我自己的一个体感就是说至少它们能够连续地完成多层复杂的任务。那也许就是比如说这个在视频里面就变成了它能够在多个镜头、长时序里具有一致性,这个画面也对,然后物理也正确。啊确实生成了一个空间,这个空间里头那个羊长了六个脑袋,这肯定是不对的对吧?就是在这个画面正确的情况之下,然后从物理上也正确,或者是能完成。

嘉宾互问与多模态的 ChatGPT 时刻#

刘勇 Patrick:那现在正好你就把大家带入提问时间吧,好吧?啊先给嘉宾来提问,嘉宾相互提问,让他们互相 PK 一下。你这问题那个问给淼森了,淼森听清楚了吧?

王淼森:没太听清楚,不好意思。

冯甜:就是这个多模态领域的那个 ChatGPT 时刻是什么时候?

王淼森:啊这个我觉得挺难判断的,因为我个人感觉现有的训练方法包括对齐。因为现在我觉得从数据上,大家都有一些需要改进的空间,所以我觉得以现有的方法只是更多的数据大概率还是不行的,所以我觉得可能我个人感觉还是需要一点时间的。

但我觉得可能有一个新的思路,就是像 GPT 6 Astra 它可以通过 coding 的方式去生成很多图片,那它如果已经可以通过 coding 方法,其实这也是多模态的一种嘛,它可以通过调用工具,因为 coding 是一种工具,然后生成多模态图片的话,那它其实就可以形成一种自环了,所以我觉得嗯。这个思路还是蛮新的,所以我觉得可能还需要一点时间去消化这个思路。

刘勇 Patrick:OK,好的,还你们相互之间还有什么问题吗?继续问淼森之类的,这。哎,下面这个哎,淼森有什么?

王淼森:我出去一分钟,马上回来。

刘勇 Patrick:大家都知道你干嘛去了哈。

现场问答#

对,那行,那还是那样,提问的人担心比较多,还是三个小规则。第一个呢是提问就三十秒钟,第二只有一个问题,第三只针对一个嘉宾哈,我们先还是只针对一个嘉宾吧,对,因为今天嘉宾比较多,我怕那个时间更不够用。

淼森现在可能不在线,那现在那个开始提问吧。举手,来来来,我看看那个,来吧那个,哎,那先排一会再,好。淼森不在,千万别开那个。这个哦,不是一会儿。行,好,下一个,你那边是哪个?你看着。

稀缺数据的长期价值#

提问同学 1:哦,刚提到数据这个生意,然后你提到其实有很多的数据是因为它本身有稀缺性,那我如果做这个有稀缺性的数据,随着我的量越来越多,其实它的稀缺性就没那么强。那我就想问,比如说您觉得数据这个生意长久的生命力是什么?

冯甜:那怎么理解你觉得数据越来越多就没有稀缺性了?

提问同学 1:我就说比如说医疗场景,可能我现在在某……

刘勇 Patrick:三十秒啊。

提问同学 1:那我快速说,比如说医疗场景,现在可能有以后我拿不到医疗数据,但是我积累这个的时候,我提供的越多,他们可能就满足了,那我就只做两年,他们就足够了。

冯甜:这里有一个前提,就是你相不相信数据的 scaling law。如果你相信的话,其实它持续有效,只不过它的任务会变得越来越难。就比如说一开始我可能需要这个诊室里头,那怎么去给他判断这个病的这个数据对吧?那可能这个我学到这个时候我就不需要了,接下来这个病人中间出现一些小问题对吧?等等你需要这个药来回调整,然后但是有些数据你是看不见的对吧?那对你的任务就是你简单的任务通过数据完成之后,你就会变成更难的任务,你的数据就会变得越来越难。对,这是我的一个判断啊。

刘勇 Patrick:好,那位同学给淼森啊。

大声点啊。

时间序列能否作为一个模态#

提问同学 2:我是一个 CS PhD,现在主要在做时间序列的大模型的理解,然后我想问一下就是淼森觉得时间序列作为一个 first-class 的大模型的一个模态,然后您觉得有没有价值?然后 Gemini 在发展规划的时候有没有考虑把时间序列作为一个单独的模态来做训练集?

王淼森:挺好的问题。我们一般不把时间序列,因为时间序列是一种数据的方式,所以不把它当成一个模态。就比较常见的时间序列,比如说声音,比如说股票对吧?就很多很多东西都可以以时间序列的方式去表达。那我知道以前做 NLP research 的时候,大家会就比如说把很多相关的 sequence modeling 放在一起,所以它不会作为一个模态,但是作为一种数据我觉得是可以加进去的。因为我们这边说的模态一般是指不同类型的数据方式,比如说声音、触觉包括传感器每一个东西它会有不同的格式吧。那如果是一个传感器的话,很多传感器的数据存储方式就是一个时间序列,因为它是按照时间去存的。所以如果以这种方法看的话,那时间序列也是其中的一部分。

传感器与长尾数据#

提问同学 3:我们想请问一下淼森总,就是上节课有一个观点是说把传感器做得对消费者有用,才能快速地积累数据。例如说人们用电脑打字不是为了训练模型,是为了自己。那刻意地为了训练模型去制造数据是个很困难的事情。我想问一下您怎么看待这个观点?

王淼森:这个是非常正确的,就比如自动驾驶在高速上,就是我们每天驾驶遇到的事情其实很快模型就学会了,但是它最难的就是那种所谓的 long tail 的这个问题,就是这种长尾的问题。

那么长尾的问题,你只有要么就是积累大量的用户,给一定时间把长尾的问题解决,但这样的时间会花很久。所以很多现实生活中大家收集这样的数据的话,就是花钱去买,去找人专门去做。

那举个例子,我们如果做数学对吧,那我们写数学公式,那这样数学公式怎么办呢?那就需要写 LaTeX 这种专门编程的方法来写这个数学公式。那我们需要会 LaTeX 的数学专家去写这样的数据,那正常人不会,就是高中老师什么,他不会用这种方法来写的。所以到一定程度就是没有办法了,就自然的数据没有办法达到这个程度的时候,就只能去找专家去做。

刘勇 Patrick:好的,下一个问题,来这边来吧,最角落的。

交互学习与结果验证#

提问同学 4:好,我想请问一下淼森老师,我刚刚看到您的展示中提到了多模态在现实世界中交互学习的这么一个概念。我想问就是您认为就是多模态的交互学习,现在比如说 LLM 它在数学或者 coding 的这个世界中交互学习,它有什么样的益处?我们有哪些可以借鉴语言模型的地方?

王淼森:对,其实语言模型就是这两个方案,数学其实就有点像 AlphaGo,就有点像这个,它可以验证它的结果,就 AlphaGo 一个很好的地方就是你知道这个棋赢了还是没赢,这是个非常容易验证的,那数学也是这个问题,你知道答案对还是不对,这当然这个过程有可能会很奇怪。

那么在现实生活中这就麻烦了,它很少有这么清晰的“是”还是“不是”的状态,那么它的这个世界模型相对就会更模糊更难一些,这是一个比较本质的区别。这也导致它迭代的速度什么的就会慢很多。

刘勇 Patrick:最后呢,大声点啊。

多模态模型的强化学习#

提问同学 5:(提问开头未录到)知道在国外的很多大模型,就语言大模型,比如说 GPT 之类的,它现在很多很强的能力,比如说 coding,很大程度上依赖很大规模的 RL 训练。但是我比较好奇的是多模态,尤其是视频理解和生成,因为我们知道国内其实这个后训练包括 RL 其实还是比较粗。比较好奇就是像美国的一些非常先进的多模态,比如说像 Gemini 这种的,它在理解和生成方面这个 RL 它是跑得比较多,然后这个占比是不是比较大?未来的前景您怎么看?

王淼森:对,其实 RL 是非常耗资源的。

就回到了我刚才讲的对视觉的理解,就是我们原来以为视觉是单向的,但其实视觉是反复的,就是人类已经有一个内置的世界模型,脑子里已经有一个世界模型了,我们通过视觉不停地纠正我们的期望和现实的这个差距,这个过程就非常像强化学习,不断给你 feedback,就是你猜得对不对。你预测得越准确,在成长过程中对这个世界就处事不惊了,就觉得你什么事都见过,什么事都见过,就老师傅就什么事都见过,什么疑难杂症都不会难倒你,就是因为你已经见过这些事情,你的世界模型已经可以预测这个东西了,所以这其实就是强化学习的一种,但是这样的 feedback 只能从现实的这个操作过程中得到,很难从就是自我去想的事情能够做到。

其实语言模型说实话,因为它是一个我们叫作 symbolic reasoning,数学和 coding 正好是自成一体的体系,只要跳出这两个体系的话,其实语言模型的进展也有停滞,如果我们看一下其他方向,就比如说回答问题啊,或者是情感陪伴啊,或者其他的东西,其实大语言模型的进步并没有那么强,只是在这两个领域里,因为有了这种能力的加持,导致它变强了。

刘勇 Patrick:有个近点的没有?来来来,这边来。

AI 公司的生存与业务增长#

提问同学 6:(提问未录到)

刘勇 Patrick:现在具备什么特征?

冯甜:今年的大语言模型公司,就是基本上 80% 都活下来了。然后做 AI 应用的公司大部分都挂掉了。对对对,然后哪一些公司就是这个活得还比较好,数据公司活得比较好。然后 Infra 公司在国内活得比较艰难。就是我觉得概括来说大概就是这样啊,然后因为具身我们其实看得比较少,但是我们自己的判断具身可能在接下来也会经历一个低谷的时期啊,因为大家在首先在这个很多地方都没有验证,比如说这个数据上都没闭环,然后成本上也不可能做到那么低,对吧?一个机器人能够进家庭,你不可能三十万,这个大家也都不会去用的,对吧?就是有很多没有解决的问题,但是在那个赛道里头其实已经投入了大量的这个资金和这个资源啊,但是大家现在是没有见到过很好的结果的。

我觉得虽然我们自己也投世界模型,我觉得世界模型会经历同样的这个过程。按我们的体感来说,从这个七月份到八月份开始,整个市场就已经变得非常非常冷淡了。上半年大家都在看世界模型,下半年就不看了。

对,然后包括很多 AI 的应用,比如说去年有一些玩具公司、营销公司,然后这个法律服务公司等等,其实那个真正业务增长比较快的公司是非常非常少的,反而不管他是做应用也好,还是他做垂直模型也好,有模型能力的公司相对来说都还活得比较好。

就是这个借助大模型做壳这些公司其实都活得不太好,因为我们还是相信模型即产品,现在还没有出现那个真正产品化的迹象啊,所以大多数做这个 AI 应用和产品的公司都活得不是很好。

刘勇 Patrick:我想起我们还一起,我们俩一起投了一个 AI 应用公司是吧?后来被收购了,对。

冯甜:是做小说,用 AI 写小说,也做一些 AI 动漫剧,其实他们这个探索方向是对的,因为他是做长文本生成,但它之所以被收购,我们的判断也是说这个是大厂的机会,我们可能干不过红果,干不过阅文,所以很快我们这个公司就被收购了啊,这是比较典型的一个案例哈。

刘勇 Patrick:OK,对,来,没问题。

哎,最前面的那个近水楼台。

太空算力与在轨推理#

提问同学 7:好的,淼森老师您好,就是我想问您的是一个可能没那么主流的多模态模型,就是最近我看了 Google 有一个新闻嘛,就是 Google 发射了卫星,然后呢在卫星上回传了一句由大语言模型推理出来的诗。然后我也和我的一个做太空算力公司的朋友聊过,他说他的目标是实现未来不仅实现天数天算、天数天……

刘勇 Patrick:你的问题是什么?

提问同学 7:我就想问一下太空模型这一块,您觉得天数天推的这个路线是可行的吗?然后您怎么看就是太空大模型对于整个产业的影响?

王淼森:对。对,我不知道大家有看美国的选举吗?现在好像是民主党好像赢得挺厉害的,所以他这个可能对美国的政策会有一些影响,其中就包括对数据中心的建设,因为美国的民众对数据中心的建设是有比较高的抵触情绪的,因为它确实没有带来太多的就业,但它却带来了很多环境的问题。

过去几年我们会发现,只要什么东西挡住了 AI 的进程,那么这个东西很快就会被拔掉,不管它是芯片还是包括 RSI,RSI 其实就是 AI researcher 是 AI 进步的阻力,那么就要把这个 AI researcher 自动化,那么如果是数据中心变成了一个很大的方向的话,那么就会有更多的机会去在太空去,但在太空里却说实话会有很大的难度,但是我按照那个 SpaceX 的这个计划的话,我觉得还是蛮有意思的,它如果真的能够做成一个大范围的覆盖,我觉得还是蛮有机会的,说实话。

刘勇 Patrick:没想到淼森连这个问题都能回答哈,你的认知超出了我的预期。

基础模型与垂直领域的护城河#

提问同学 8:(提问开头未录到)对物理世界的模型整体是不看好的,那其实从长远来看,就很多人会认为最终基模它就会取代一切,那是不是我们在通往最终这条路之中,所有 AI 创业都会变成基模的养料?如果我现在我也没机会再去参与基模,那这中间我怎么去建立我自己的护城河?啊?

冯甜:对,确实 Astra 出来之后对 Physics AI 还是有挺大的这个影响的。就是确实我们也去做了很多的复现,确实发现它的这个能力还是比较强的。但是我自己是觉得我们可能这个只是展示了冰山的一小角,因为在现实的物理世界当中有非常多的任务,且这些任务都是连续的。然后在解决连续的、长程的、复杂的这些任务上,我觉得还是不够的。所以我觉得在这个角度去看的话,大家都还是有这个探索的这个机会的。

然后至于未来是不是都会在基模上,现在有两种分化。一种是大模型本身它其实在吸收各个行业的这个数据,它就是要把它变成一个完全通用的这个模型,不光是对这个 To C 的用户,还有对一些这个企业级都能用,它现在也在做这个事儿。

那同时我们能看到的这种障碍和局限性就是这些行业的私域数据他们是搞不定的。这个是行业里的比较稀缺的这个资产,然后你不管是通过技术的手段去合成也好,这么复杂的物理世界是非常难去这个合成和还原的,所以这个就是它本身的一些障碍。

同时这个也就诞生了给一些这个垂直行业的一些机会。我觉得就是说那如果你要去做某个行业的这个业务或者是说应用,如果你在这个行业里头扎得足够深,我觉得是有机会的。对。

刘勇 Patrick:好,最后三个问题,我们就放过淼森了哈这个。来吧,来。大声点。

AI 风险与人类社会#

提问同学 9:淼森老师您好,那个我有一个比较奇特的问题啊,就是啊,您觉得在未来两三百年这个 AI 会杀死我们人类吗?然后,各位,假如说您能活到那三百年,然后看到 AI 杀死人类了,你会怎么想?您这么前卫的这个在这个当中的角色。

王淼森:我觉得大概率不会杀死人类,虽然有这个风险,我觉得大家可能对这个风险有点高,但是我不觉得,确实应该去更考虑一下这个东西的风险。就是 AI 直接杀死人类,我个人感觉是不可能的,几乎是不可能,因为它毕竟作为一个工具。但是它带来的这个变化,我觉得是值得考虑的,包括像刚才说的数据中心,或者带来的失业,会带来很多很多政治上的变化,甚至带来情绪上的变化。包括最近 AI 导致了很多几十年没有发现的这种安全性问题,全世界的网站突然都可以在夜间被黑掉。那这样的问题我个人感觉是长远看可能更危险。

我觉得 AI 最大的可能性是它毕竟它是个工具,这个工具是从能力低到能力高的一个逐渐增长的过程当中,所以它必须在人的生活环境中适应,因为人已经在这里,所以它作为一个工具,它在这个叫什么 ecosystem,我们叫生态当中,不管什么新的物种来到一个生态中,它必须和已有的东西形成一个共识。那么我觉得 AI 就会变成这个样子,它就逐渐融入人类生活中,并且找到一个自己的地位。

刘勇 Patrick:好的,你刚刚举了好几次了。

数据公司的标注与合成壁垒#

提问同学 10:(提问开头未录到)然后以及就是中美这种差异,像美国有 Mercor 这种百亿美金的,在中国目前还没有这么大规模的这个企业。这个差异会另外就是它是一个什么样的一个状态?

冯甜:对,正好我们基金也投了一个数据公司,对,然后应该他也是做那个专家标注的,应该在国内做得还是非常不错的,叫 Humanlaya Data 啊。

然后我回答一下你的问题,因为这个问题其实跟刚才那位同学的提问其实是有点像的,就是哦我举两个例子,第一个例子就是还是有那个大的前提,相不相信这个数据的 scaling law,这是第一个。

第二个就是我举一个例子,就比如说我在某个领域碰到一个人,我觉得他是一个一百分的人,我觉得他非常非常优秀,对吧?这个已经是我在这个领域能见到的最高水平。可是过了两三年我在这个领域见到了另一个人,他可能是个两百分,对吧?就是第二句话就是你相不相信智能和这个水平是无限的?你相不相信就是永远会有一个人更优秀?对吧?当年我们大家都说这个零零后创业不靠谱,今天我发现我们投的都是零零后。

对,所以我觉得这是第二个前提。这跟数据一样,你第一次可能让专家标一个一加一等于二,那之后就是他让你去解一个巨难巨复杂的问题,你是不是能解?同样你能不能反过来你去给模型出题,你能不能打过它?对吧?其实它是一个这样子正循环的过程。所以就是说未来的规模一定会变少,任务一定会越来越难。

哦,我觉得我们现在也看到了,然后说到这个数据的壁垒,我觉得这个东西很难总结,因为现在有两类数据公司,一类是直接做合成的公司,它用一种技术手段,或者说用 AI 直接去合成对吧?因为它解决规模的问题,解决提高产能的问题,因为专家毕竟是有限的嘛,因为专家的很高,但是这个人标这个数据还是这个产能是跟不上的。所以这两类数据公司它的壁垒是不太一样的。

比如说第二类这个公司,就虽然你看起来它没有壁垒,但其实它在整个数据标注过程中是有很多非常细节的这个 know how。就比如说你为什么标金融的数据就标得很好,然后你换就是就是比如说这个题,我到底是出就是比如我接了一个需求,然后这个需求是个金融的题,我是派给 A 还是派给 B 还是派给 C?然后这个数据我怎么样去标,对模型的提升效果更好,我怎么样标我的效率会更高,这其实是这个平台沉淀下来的一套 know how,就是我们今天把它叫做工艺。你乍一看觉得哦好像我组织专家我都能标,但是这些细节这些 know how 其实是不太容易的。

这个就是第二种,那么第一种的话其实它的壁垒就是你合成的数据到底多大程度上能够去还原真实的物理世界,你的这个拟合度到底有多高?哦,就这是我觉得两类公司不一样的地方。

刘勇 Patrick:好的,最后一个问题啦,来来给你吧。大声点。

推理效率与硬件迭代#

提问同学 11:(提问开头未录到)就是目前主要是在做那个大模型的推理系统,然后现在也关注了很多新模型,它是在架构层面上来降低一个推理的成本。所以我想问的一个问题就是,您从这个模型研究者的角度来看,未来的推理效率它的提升更多的是来自于模型架构本身的创新,还是说推理系统对已有模型的一个优化?然后这方面还有哪些可以关注的前沿研究问题?

刘勇 Patrick:最后一个问题终于要解放了啊。

王淼森:哦,哦对,我觉得两者都需要,因为现在的推理成本是太高了,所以在模型架构方面已经有了很多的优化了,以我们为例吧,我觉得优化不优化能差出个十几倍是轻轻松松的,如果单靠硬件,就是摩尔定律往前走的话,十几倍的速度还需要点时间。

同时呢就比如说文本模型就 LLM,现在不管是 Jev,还是 text diffusion 对吧,就是 dLLM,啊就 diffusion LLM,它的速度 latency 会降得很低很低,我觉得现在架构方面还有不少可以探索的空间。

同时,现在的硬件不管是 GPU 还是 TPU,都偏通用,太通用了,如果它变得说我就是给这个模型设计的硬件,那么它的成本会极低极低,就我不知道大家对这个挖比特币,它有个矿机这个概念,这个矿机它就是这个 ASIC 概念,它会让这个东西变得很廉价,那么我们在模型端也需要去看到这样的东西。

前提是模型架构收敛到一定程度,那么硬件就会跟上,但有一个比较麻烦的地方就是模型的迭代速度远远高于这个硬件的迭代速度,那么就希望不管是 RSI 或者 AI 吧,可以把硬件的迭代速度降下来,我最新听到的话,可能十八个月可以迭代,以前至少需要三年,如果这个速度能够再降下来,比如说六个月,甚至三到四个月可以迭代一次的话,那就基本上追上了模型的速度,因为模型一般也就是一年迭代一两次吧,如果那样的话就可以为这个模型专门设计个硬件,那就会至少有上百倍的提升。

结束语#

刘勇 Patrick:好的,咱们今天就到此为止,特别感谢淼森老师,冯甜总和王老师来。

好,淼森还给你准备了证书和礼物,下次我给你带过来。

王淼森:行行行行,感谢,哎,好,谢谢,哎。

刘勇 Patrick:你就别睡觉了哈,早安,早安硅谷啊,好嘞。

王淼森:好好嘞,再见,拜拜。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

王淼森北大分享:从语言到世界:多模态大模型
https://fomalhaut647.com/posts/lecture-wang-miaosen/
作者
Fomalhaut
发布于
2026-11-04
许可协议
CC BY-NC-SA 4.0

评论区

Profile Image of the Author
Fomalhaut
Hi, I'm Fomalhaut~
公告
帮你管理一切校园事务的个人助手「知更」来了,测试期免费使用
音乐
封面

音乐

暂未播放

0:00 0:00
暂无歌词
分类
标签
站点统计
文章
50
分类
4
标签
6
总字数
321,816
运行时长
0 天
最后活动
0 天前

目录