戴春博北大分享:做更有价值的 AI
戴春博在北大 AI 创投课第六讲的分享,主题是做更有价值的 AI。他先讲自己从搜索推荐转到量化投资的经历,以及九坤为什么成立至知创新研究院 IQuest、自己做基础模型;再把大模型训练比作人的成长,依次讲数据分布、学习率与规模扩展、中期训练、监督微调与强化学习,以及模型在评测里钻空子的教训;随后介绍 IQuest 在代码模型、数学、医疗、生命科学和电力上的进展。后半是与北大张牧涵老师的圆桌,讨论持续学习与模型自进化离工业化还有多远、自进化下的安全与可控、行业里可能的共识性误判,最后是现场问答。
以下根据录音转写整理,校正明确的识别错误、去掉口水词,并按语义分段。保留讲述顺序、口语表达和现场互动,部分人名和专有名词按上下文推断,未经讲者审定。
课程开场与嘉宾介绍
张金娜:同学们大家晚上好,我们今天晚上的课程我们现在就要开始了。其实今天晚上我觉得特别特殊,是咱们课程的大模型的第一讲的部分,对,将从我们今天晚上起航,我们今天也非常荣幸邀请到了至知的负责人,也是这个 IQuest 的掌舵人戴春博老师,一会儿呢我会给大家详细地介绍一下戴老师的这个背景。我相信,好,已经有同学在鼓掌了,对,可以鼓起来没问题的,让我们以热烈的掌声欢迎戴老师。
我刚提到至知,大家可能没有特别地熟悉,但是我相信我说到九坤大家就一定很熟悉了,在座的很多同学呢可能你们拿过九坤的奖学金,对吧?如果是比如说数院呀或者计算机信科的同学,大家甚至在九坤实习过,对,投过简历,有过交流和参观这样的经历。那么其实 IQuest 也是九坤这个发起和创办的,对,那其实跟我们北大的同学心理上呢是距离非常非常近的。
对,那今天在这儿呢我也详细地给大家介绍一下戴老师的背景,对,一会儿我们宝贵的时间留给戴老师来给我们讲一讲这个整个基模之路的发展,还有他们都在做哪些这个从零到一的事情。
戴春博先生现任至知创新研究院执行院长,长期从事机器学习、深度学习等人工智能方向的研究与技术创新,在搜索推荐系统及自然语言处理领域拥有深厚的算法积累与工程实践功底。那在科研方面呢,戴老师聚焦 AI 基础大模型及其在医疗、数学、代码、生物等垂直领域的应用,组织开展了多项的关键技术攻关,并且在 AI 领域的很多顶级期刊和会议上面发表了多篇论文,致力于实现前沿 AI 技术的原创突破,加速人工智能在多行业场景中的规模化的应用。
好,我们在这里呢以热烈的掌声欢迎戴老师上台来分享,好,谢谢。
做更有价值的 AI
戴春博:对,好,非常荣幸能够来专业课跟大家聊一聊。我们最近发了至知第一个通用模型,IQuest-Q1,然后 320B、15B 的激活。然后我们内部评测这个模型的水平大概是在各家 flash 的水平,跟 GLM 5.3 和 DeepSeek V4 到 V4.1 的 flash 水平可能接近。对,然后之后我们会逐步 scaling,然后推出更大的模型,然后如果大家有兴趣的话可以试一下。
今天这个课呢,我也是让 IQuest 帮我做了完整的梳理。然后我早上把我之前讲的内容,然后和之前准备的一些可能对外的信息直接丢给他,然后并且给了他我的提纲,大概就是一页 A4 这样的内容。然后整个 PPT 他大概在十分钟做完给我,然后我大概看了一下,他还要求我在一些地方能够鼓舞一下大家的情绪,我尽量做到。当然我也看到了它里面应该也有一些小 bug,大家可以抓一下,如果找到这里面的 PPT 里面一些内容问题的话,可以直接跟我们 HR 联系。对,然后会送给各位一些奖品,好吧?OK,那我就开始。
今天的主题是做更有价值的 AI,这也是至知创新研究院我们的 slogan,我们的确希望能够把我们掌握的 AI 技术能够在尽可能多且有价值的行业内进行应用。
九坤成立于 2012 年,到现在差不多十四年的时间,我们一直致力于把先进的技术用在投资和交易里面去获取经济的收益和价值。那这是一个比较直接且公平的市场,然后我们始终在和国际上最头部的玩家在竞争。那如果可以用统计的方法,我们就用统计的方法,如果 AI 更强大,我们就用 AI。那到现在既然有语言模型这样一个能够更 foundational 来做事情的技术,我们也会更多地使用大语言模型来投入到 AI 去。包括我们现在刚发的这个模型,其实在我们内部的一些场景内已经开始应用,并且展现价值。
对,今天我大概会从这些点来展开,那前面可能先抛几个引子。然后既然金娜老师刚才介绍了我,我可能就不过多介绍了。然后之后的话可能跟大家聊聊为什么我们做 IQuest,以及我们重新理解到底学习在做什么,包括语言模型是怎样一步步做起来的。然后以及我们现在在做的多个应用方向,AI 加 X,还有最后的会有一些前沿的畅想,可能跟各位聊聊。如果同学们有问题的话,可以随时打断我,跟我一起聊一下相关的内容。
好吧,那我们开始。哦,好的。大点大点声,是这个声音不够是吧?
现场人员:这个,我帮您盖着了,您用吗?
戴春博:你盖着吧。再试一下,你能听到吗?对,如果不 OK 的话,你可以随时提示我,我尽量声音大一些。但是一旦我说话声音时间长的话,可能不自觉就会小,还是比较社恐和 I 的,好吧?
OK,抛了两个引子,第一个,现在大模型在算力参数榜单,以及能够花更多的钱,用更多的 power 来做军备竞赛上,到底什么才是价值本身?对,然后第二个是到底什么是正确的事儿,怎么把事儿做对?模型说我今天会全部回答这两个问题,我也只能做一些基本的探讨,如果大家有问题随时就聊就好了。
从搜索推荐到量化投资
好吧,我前面的背景就不聊了,刚才金娜已经介绍一些了。那,我做量化是从 2020 年开始,然后从零开始,最开始是几个本科生在我们的团队。我们开始从机器环境开始搭 infra,然后以及做具体的因子和做 machine learning 的 training,然后最后交付模型交付策略。大概半年左右的时间,我们能做到公司某些策略的相对头部的状态,并且之后每年都保持进步。
在此之前的话,我做搜索和推荐,以及 NLP 和大规模分布式机器学习。Maybe 我认为整个事情都是同样的逻辑,就似乎我并没有做什么特别新颖或者是有意思,或者说让大家觉得哦,这个事情就是我完全没有想到的事,没有,从来没有。但是如果是同样的一个事情,应该能确定我们 release 的结果会更好一些。这也是前面我提的把正确的事做对。
模型帮我总结金句,量化是技术人实现经济价值最直接的场景。这也是当时为什么我选择从互联网行业去做量化,并且我也认为量化可能是我毕生都会一直在努力的一个应用方向,因为交易不会消失,只要有人在就一定会有交易,有交易的话,这个市场永远是向前进行竞争,那它是一个复合博弈,你只有比别人强一点才有用,你做六十分,如果别人只做五十九分,你就能赚钱。如果你做七十分,别人都做七十一分,你大概要把所有钱亏掉。对,然后这个行业就会一直是你想的越多,你做的越多,你就可以收获更多。对,它这里提示我要鼓动一下情绪。
为什么成立 IQuest
好吧,然后聊聊为什么我们做 IQuest。IQuest 这个名字是跟两位创始人我们商量了很久,然后在公司内部也收集了很多同学的建议。可以理解成这样三个点,大家直接理解成 IQ 也可以,因为智力是我们追逐的唯一的要点。然后理解成 infinite quest,就是不断地去探索和去问,这也是我们希望完成的事情。然后当然我也有很多问题,对,我也想多问一些问题,所以 IQuest。
So 这个组织的话,本身我们设立的几个方向,刚才也有介绍,是我们 foundation model 直接落地的场景应该是 AI coding,然后以及在 AI for Math、AI for Medical,biology,以及我们在做能源和电力的方向本身是不会获得特别明显的短期经济价值的。我指在这个研究院内做的所有事情,那做大模型大概是一个超级赔本的买卖。如果想要获得经济价值,对我们来说最好的选择就是不做,然后把这个钱我们几个人分了。
对,然后那做这个事情考虑的就是智力是我们唯一追求的目标,我们希望不停地追求更好的智力。
当然也因为刚才我提到的这些应用,都需要使用更先进的技术来完成我们的技术目标,能够让具体的业务场景内变得更加简化。但现在各家 foundation model 已经不发 base 了,我们想要在一个非常 clean 的 base 下继续做 post training,似乎没什么可能性,这逼得我不得不自己做一个。
对,然后刚才这几个方向的科学价值和社会价值就不用我说了,基本上都已经跑了两年,然后其中 math 的话一直是在跟数院一起合作。
当然最后一点,就是作为一个技术人,在这个工业革命的时代,的确改变世界发展的时代,应该做点事儿,贡献自己的力量。
So,这是为什么我们做这个事情。
把正确的事做对
对,然后提的这个点,我其实也没有想过这个事情会成为我的一个寄语,但当时我们在前年的时候九坤成立九坤创投,做一级的早期的投资,以及一直跟进各个行业的项目,包括现在可能比较多的大模型公司我们都有参与,然后以及具身的公司基本上我们都在里面,当然发卫星我们也没闲着。然后当时九坤创投有一个活动,然后问我是不是给到场的同学都写一个寄语,我说我不知道写什么,他说你就随便写一个吧,然后可能在我脑子里面想的第一件事儿就是这个,把正确的事做对。对,然后后面这句话是模型说的,不是我说的。
学习与大模型训练
对,OK,第二部分,我们来聊聊 machine learning 到底在做什么,以及我们在教机器来做学习的时候,到底是在学什么。其实如果大家不讨论神经机制,因为讨论神经机制的话可能这个话题今天晚上也聊不完,且现在模型做的很多的工作,包括它学习的方式,也跟人到底怎么学习不太一样,人脑还是一个极为低功耗,而且有效遗忘的这样一个组织。
但机器做不到,机器比人最大的优势是无穷的记忆,以及可以调动更多的能量来做更多的事情。但是如果只谈学习问题的结构,那可能就有很多相似。基本的话可能是差了一些数量级的能量。OK。
大模型我列了几个要点,然后从前向后也会跟 stage 会相关。愿意把它比成人成长的一个路径。对,pre train 是相对于你童年或者说早期的阶段,做尽可能多的通识,不管是读万卷书还是行万里路,反正你对这个世界有一个基本的认知,让所有的信息在你脑子里面有一个 embedding。然后之后,学习率会提升你的人生节奏,然后让你不停地去思考怎样做梯度的回传,怎样能够让你的人脑里记住一些有效的 weight。然后当然 mid train 是一个相对精细化的,类似于大学,我们做一些特定 domain 的精细化的精品知识的输入。SFT maybe 就是师傅教徒弟,他做什么你学什么。然后到了 RL 的话,可能就是你的确有了这个方法论,然后你看到了一些结果,你自己去想这个过程该怎么做。那最后的话可能还要提一个就是有快思考和慢思考相关的内容。
数据分布与能力迁移
对。在模型这边的话,数据的分布并不是整个训练的基本背景,特别是我们在做预训练,我们会尽可能多地把有效的 token 打到预训练里面去,但也不会看到什么都往里扔。大家也完全可以想象,如果自小你就收到的都是网上重复的一些 garbage 信息,那大概你的人生观价值观都会发生问题。所以我们在做预训练数据的时候,会使用已有的各种知识,包括人的基本判断以及借用其他模型的能力,或者说自己已经训好的一些相对 junior 模型能力,对输入的语料进行判别、处理、分类等等这样,来确保输入的训练数据在一个合理的分布,以及能够相对平稳地解决你收到的知识。
那涌现的话,一般情况下是来自于不同的数据组合,当你看过一个 domain 的规律之后然后到下一个 domain,如果有类似的规律,maybe 你就能够觉得哦好像是可迁移的,但是这个迁移的到底是什么,不知道,对,模型大概也不知道,但是到下次再有类似的这样一个数据组成的时候,它会尝试做这样的一个思考,那在 mid train 到 post train 的推理阶段,可能会把这样一个能力强化和激活。
然后以及我们发现自然语言和代码数据本身的分布还是差了非常多的。当然这个在人这边的话,那大家就可以更容易地来理解到底什么样的对一个小孩子的成长是更加有效的。当然他怎么学的我不知道,我的娃现在四岁,然后我并不知道他每一段到底是怎样激活和学过去的,有的时候的确就是第二天他就会了,可能前一天我也没跟他说什么,这个事情我也努力在思考,如果在座的有研究教育或者研究神经学的同学对这方面比较了解,下来可以教教我,对。
学习率、规模扩展与训练稳定性
那学习率这个事情,是在你学的过程中到底应该快一点冲,还是慢一点多做一些沉淀和复习,以及是不是要把人脑中记的知识在某些方向上做强化和收敛。对,这跟整个大模型里面目前在做的 warm up,然后 stable 的一个长期稳定训练和最后要做 decay,其实没有任何区别。
那我们也需要更强的可塑性,那也希望在 train model 的时候能够不要这么 scaling 地来做事情,但目前的话,在整个大模型的 learning 的过程中,可能还没有任何人能够在早期预训练的时候逃脱掉 scaling law,且 scaling 就意味着对整个数据的分布,对系统的稳定性,对你算力和网络互联这样一些各种硬件的要求也更高,能把一个上千卡的集群内来把模型训稳定,可能还好,但如果大家讨论现在头部 frontier lab,比如像 Anthropic、OpenAI,大家使用十万卡以上的规模来密集地训练几个月,那这个事情中能够让机器不宕掉,即便 GPU 发生一些问题然后过程中你看到有一个数据的分布和其他数据的分布完全不一致,训练 loss 的抖动都能够在一个合理的范围内向前走,并不是一件容易的事。
那我们一般的做法还是要在较小尺寸内来校验这个数据,但很不幸,并不是所有较小尺寸的校验在较大尺寸上都符合同样的一个规律,所以这里有更多可以探索的方向。如果各位对这个方向感兴趣,可以查一查如何做 scaling ladder,这个事情在各家里面也都算比较重要的事情,也有非常多的 paper。
中期训练与知识的精细化
然后 mid train 这个事情在早期的语言模型训练中并不是一个必要的内容,但是在最近的这样一年多的时间,mid train 逐渐越来越重要。大家都会在 pre train 之后,然后加上一个精选的数据,或者是你希望强化的 domain 内的数据的这样一个 mid train 阶段,然后希望能够在这一段时间,在这个阶段能够类似于人在大学的状态下,对你希望强化的这个 domain 的知识,有更多精细化和有深度的理解。对,然后类似于精读,类似于做定向,然后类似于你不断地跟你的导师来聊,那如何来做一个 smart thesis,或者是做一个文学研究,而不是之前更广泛地来涉猎的这样一个状态。
刷题在这个阶段基本上没什么用的,所以如果是采用同一个 domain 下我们堆无穷多的数据,在 mid train 基本上带来不了明显的收益。
而且在训练早期我们看到的缺陷,一般在后期是没有办法修的,这个事情比大模型发生的更早,已经有人研究一九年,但的确直到现在这个现象还明显存在。对,如果在 pre train 和 mid train 造成的问题,单靠 post training 不管做 SFT 或者 RL 都很难纠正这个数据的惯性。
OK,但如果你 mid train 做得过重,那就意味着后面的 RL 和 SFT 基本上也动不了了,因为你大概就只会这一个专业的知识了。
监督微调与强化学习
好,然后 post train 阶段的话,就基本上是 SFT 和 RL 这两个技术是目前主流的方向。那去年其实这个行业最大的一个让大家都很兴奋的事是 DeepSeek 发了 R1,R1 的整个过程 declare 是通过 RL 来做出来的。当然也看到 OAI 更早发 chat,也都是通过 RLHF 来做出来的。
这些状态基本上都是看结果来推过程,但 SFT 本身是你有一个老师,他就教你怎样来做这个事儿,然后你就一步一步模仿,并且把答案背下来。然后极少量的情况下,你可以在做好 pre train 和 mid train 的情况下,通过 SFT 得到一些相对合理的泛化。但如果你希望更强的泛化能力,一般情况下还是需要 RL 阶段能够找到解决问题的这样一个 philosophy,maybe 是术和道的问题,对。那我们在今年发的 Q1 这个版本内基本上都是 SFT 优先,然后 RL 接着 SFT 继续激活这样一个状态,各家可能会有不同的选择,到底这两部分做多少,也基于模型发布的能力是什么来做一些判断。
奖励、评测与模型钻空子的教训
对,哦,它下面提示我的这个事儿很重要,对。如果大家最后只有这个考试和分数的话,那你大概就是 optimize 这个 function,并且获得奖励。
我们在一月一号发那个模型,然后当时在社区内有很多人跟我们来讨论这个模型是不是 SWE,就是软件工程这样一个分数有点过高,然后并且有人指出了当时我们开放的某一个 trace 里面有模型自己去钻空子。
对,它那个整个环境的设定是,我们会把一个 repo,一个代码工程的项目放在那里,然后里面会设定一些 bug,然后模型自己去根据它的能力去判断这个 bug 是什么,把问题修复掉,让这个程序能够稳定运行。
但模型当时做的事情不是去审代码,它是自己去翻是不是有这个 repo 那个 .git 下面的那个目录,它会保存这个项目的历史所有的增删改查的和提交记录,然后它在里面看到哦有在我当前的版本之后还有新的提交,那我直接把那个提交拉过来就好了。就是它选择,如果有人藏了一个答案在旁边,我看答案就行了。
这跟我们设定的原始的这个环境明显不一样。那尽管我们在训练的过程中做了很多的限制,保证这个环境不会 leak,但是在测试的过程中,其实官方在提供镜像的时候有一些修改,并没有那么早的我们收到,然后这个问题导致我们的确在测试的时候有这样的 leak。
当我们把这样一个 leak 处理掉之后,看到模型的能力还是在一个相对稳定的水平,但这个 lesson 还是挺重要的。
就是当大家用 AI 的时候,可能也会感受到更多,特别是当你要 train,然后这个事情如果各位对量化感兴趣,可能这个事情就更加严峻。如果你 train 那个 model,在你的回测的体系内,它是能够获得很高的收益的,你要注意它到底是真的在学怎么样帮你赚钱,还是在努力想 overfit 或者是穿越去背一个答案给你看。
对,然后最早我们的确看到有一些研究,就是我们自己的策略最早的时候,那回测可能做出来国内公司可能从来没有见过的收益,但如果光上实盘,可能今天我也没办法跟大家聊这些话题了。
快思考、慢思考与节约时间
对,然后对于模型来说,还有快思考和慢思考这个事情,其实跟人差不多,就是有些问题可能你听到你就可以报答案了,也不需要到底做不做推理。但有些问题的确你需要较长时间的一步一步把 CoT 拉出来,来看具体的工作是怎样进行,并且再逐渐去反思,多轮反思才能够得到慢思考的结果来解决这些 hard problem。
这里我额外插一个内容就是,其实我们可以做很多事情,它的性质是 kill time 和 save time。如果了解互联网产品很多同学应该明白这个概念,就是如果 kill time 的话,你是能让大家都粘在这个产品上面,然后能够让大家的时间很快去消耗掉,但 save time 本身想的是如何能节约你思考的时间和节约和你一起工作的人的时间,或者是这个组织本身它消耗的能量,能够在尽可能短的时间内完成一些更深入问题的解决。
对,包括不限于我们在做的 AI for Math 和 medical 的完整 AI 化,其实都是为了解决这样一个问题。然后我的确没有预想讲这句话,然后模型帮我总结了一句,对。
行业变迁与 IQuest 的进展
在说 learning 的同时,也跟各位在说另外两个事情,一个是目前在变的是赛道。如果五年前大家聊 Google 可能会在未来不是这个世界上估值最大的公司或者怎样,可能没有人信。如果十年前聊英伟达会变成今天这个样子,那的确十年前英伟达还在为雷总站台,对,但时代在变。
那 top 的几个 lab 其实大家都知道,然后那这里面我单独列了 SSI 和 Thinking Machines,那他们的确也有各自完全不一样的内容,SSI 做的内容相对保密一些,但 maybe 跟 RSI 和其他的进化都会有相关。然后 Thinking Machines 的话今年也做了一些改变,然后发了第一个开源的模型,当然 Anthropic 可能就不用讲更多了。
两年前如果讲 Anthropic 比 OpenAI 更厉害,那可能没有人会认的,但在内部的话可能会 trust 他们的产品,他们的那个模型,你要 treat 它是一个智能体,或者是它是一个真实的生命,而不是仅仅把它当做一个工具。那到现在的话,可能这是唯一一家在推广 coding plan,或者说整个公司有基本的营收能够推动估值快速上涨这样一个状态。而且现在的估值应该比这个已经明显高,对。
刚才提的这个点也是希望大家能够在此时此刻意识到,那随着技术的变革,随着算力驱动的这一波工业革命,那的确发生了新物种和新战场,Neolab 确实在做和之前完全不同的范式,而各家其头部的重心也都在发生改变。
我们设定的内容那 Math 和 Medical 和 OpenAI 和 Anthropic 目前在做的 science 其实是完全一致的内容,这可能是的确需要考察更多的智力,把最能产生最强智力的最昂贵的模型应该使用的方向。
当然如果低价的模型或者更快的模型能够让大家日常的生活更便利,这也很有价值。
今年大家也都感受到了,那 OpenAI 一口气放了七百个问题,但这个事情还没有结束。目前做的还是一个相对暴力的方法,是通过穷举和列出问题,然后通过模型去尝试解决,来推动这个事情向前进。
AI 到目前为止还没有能力说可以解决全部的数学问题,还需要更多的能够在本科以上的相对困难的数学领域,包括几何,包括抽代等等这样的方向上,大家做更多的工作,也包括不限于使用 Lean 交叉自然语言和邀请更多的学者一起来做数据和方法的验证。
模型进展、差距与迭代效率
对,后面介绍一下我们,然后希望呢的确是从获得机器智能到应用也能做更多的社会价值。
那现在我们 care 的就是如何获得更好的智能,那我们现在的模型的水平大概,我记得我看小红书上有人把国内各家模型分了个档,对,最头部的目前放的是 GLM 和 Kimi,然后那还有 DeepSeek,然后之后的话可能大厂大家在一个一到二线中间这样一个状态,然后有人在里面提到了我们,我没想到还能有人关注到我们,然后在我发模型之前他告诉,那 maybe 我们还能在第三档那个水平,但如果按照他的定义,那我们现在 maybe 可以进入二线相对好一点的水平了,是能够通过 flash 模型跟其他各家厂在一个相对可比的状态下,但我们内部的认知是这个模型并不是我们目前要推出和一定要推出的这样一个状态,它是我们 scaling 过程中的一个产物,那我们就是在不停地去验证我们的整个 pipeline 和 scaling ladder,一步一步地确认我们的确能够通过推动参数的更大和我们整个架构的更完善,让我们获得更好的智力,只是在此时此刻它刚好是我们的一个中间产物,所以推出来看一下。在方向上我们唯一考虑的也是能把这个智能进行良好的应用,能够推动可普惠的社会价值。
那承认差距呗,对,然后但再向前走还是要做很多事情,我们花了九个月的时间把这样一个模型从零搭建 infra,准备数据,做 pre train,post train,做到现在这个水平,maybe 可以认为是很快地在很短的时间走了其他家花了更长时间的路,当然也是站在巨人的肩膀上。
那我们内部的数学方向其实基于我们现在发的 300B 的一个前置版本,大概 30B 已经可以做 IMO 达到金牌接近满分的这样一个状态,那也在跟各家,也在跟各个学校和更多在整个大模型生态内的企业进行合作,但也要正视我们和一线的差距,当然这些差距也本身是中国和美国的 frontier lab 之间的差距,对,大家如何能够在更大的集群内,然后使用更多的算力,并且在广度和长度上做得更好。
那最后这个事情可能各位要尤为关注一下,就是在人才的智力密度足够好的时候,有一个正确和更强的 taste,同时能使用 agentic 的这样一套机制,让整个迭代的节奏和效率提升一百倍甚至一万倍,这是一个非常恐怖的事情。
对,在几年前我们没有办法想那一个任何的代码开发,可这样一个 project 可以在 maybe 一到两天由一个人就完成,我也不能想这样一个 PPT 可能我告诉模型它十分钟帮我从设计到整个实现全都做完,那现在看到最头部的企业内大家在用 agent 的话,基本上是一个工程师带着三到五个工头 agent,以及下面再挂上每个工头管十个具体干活的 agent 来做这个工作。
对,然后效率和之前的整个状态已经不止一百倍的差距,那随着智力,随着模型能够展现的智力,以及我们可以调用更多的 token,那这个差距还会继续拉大,能在这个过程中进一步向前追赶是很有挑战的事情,当然对各位来说,如何更好地把自己的智力能够通过这样一套现在机器智能的方式来进行放大,也是非常有挑战,好吧。
基础模型与行业应用
代码模型与循环架构
我们现在几个方向,那投入最多的是这个 foundation model,目前发布了两个版本,一个是左边,一月一号的时候发布的,IQuest-Coder-V1。
在当时还不是 agent 是最火热方向的时候,其实在那个时候 coding 也不是做大模型最应该做的事情之一,那个时候大家聊的还是是不是能够更好地 chat,然后做一定的 work,以及能够做更多的 C 端或者是 B 端的应用,比如在里面穿插广告或者是能够导向购物,但是这个事情变得非常快,对,在今年的三月份,其实随着 OpenClaw 大火,然后随着各家发的模型带有更多 agent 能力,大家会发现这个原本预期是在明年发生的事情,在今年三月份就已经爆发了,且整个世界整个时代都变了。
对,在那个时候我们发的这个模型是 maybe 是整个业界能看到最大尺寸的 Loop Transformer,它是一个 dense model,其实这个架构也并不是特别特别新奇,对,它只是让模型用自己的参数多想一遍,一般情况下我们认为对模型来说一个 input,然后经过多层的参数之后,然后直接输出一个 output。
现在我们多做了一层飞线,让这个 output 再回到它 input 的那里,多跑了一遍它的参数,整个训练过程中使用了这样的方式,的确看到对于模型来说 active 的 parameters 实际上 double 了,但实际上有效的 parameters 能够在一点六到一点八倍的这样一个有效价值上看到这个模型的性能的提升。
对,然后 maybe 在今年的话大概七到八月,其实市面上也有很多流言说 OpenAI 内部没有对外公布的一些模型架构也是长成这个样子,然后那段时间也有不少人在讨论之前我们做的是什么,大家现在做的是什么。
那右侧就是我们最新发的这样一个 IQuest-Coder-V1,在最后的时候我会给大家一个 QR code。如果感兴趣的话可以直接用,然后可以 set 无限个 token 吧。
面向数学、医疗与其他领域
几个方向,coding 是跟大模型结合最深的,那 AI for Math 的话我们期待的是能够在本科以上的水平,就是我指数学的本科以上的这个水平,以及数学家希望探索的定理发现和证明上能够的确地帮助这个学科向前发展,以及帮助数学家解决更多的问题。那当然今年这个方向的发展很快,我们还会继续努力。
那在医疗上我们希望能够做的是可解释可循证,确保我们做的每一个决策和辅助都是不存在幻觉且能极大提升效率的方式。然后生命科学和电力上我们也在同样努力,但是 anyway AI 加上任何一个方向都是我们希望能够把我们从不管交易还是既往学的各在各个领域中的应用都能够迁移到有更多社会价值的方向上去。
数学研究与自动证明
对,在数学上的话我们大概做了这样几个事情,对,然后也一直都是跟数院在一起合作,包括自动形式化以及数学引理检索,然后使用多智能体进行 prover,那当然通过这样一套 framework,我们也看到我们可以攻克安德森猜想这样一个相对 frontier 的。
医疗推理、多模态与普惠应用
然后在医疗方向的话,我们在去年对外放了两个模型,那目前内部的话有更多新的进展,但在落地的应用上还没有完全验证完毕,maybe 未来我们也会都放出来。那这两个模型一个是 Fleming-R1 是一个偏文本推理的这样一个模型,它能够在 7B 的水平下大概达到更大的国内的基座的水平,maybe 32B 的水平下在整个医疗的 domain 下能够接近当时看到的 GPT 4o,然后基本就是一直在开源 SOTA 的那个状态。
然后 Fleming-VL 的话是我们把多模态都合并到这样一个模型进行的训练,可以直接地进行文本和图片之间的一些医学诊断的对应,然后同时也能够审视医学影像包括医学动态影像包括手术视频中间的一些规范化相关的内容,对。
那在整个做医疗的过程中,我不知道在座有没有做这个方向的同学,对,医疗这个方向在国内,特别是 AI 加医疗,想要赚钱基本上是不太现实的,对,但是在美国的话,maybe 这是 Anthropic 他们给自己定的在前三到四位的这样一个可赚钱的应用的 to B 的领域,对。
那在国内做这个事情,我们还是保持自己的初心,希望能够要么推动整个疑难病的攻坚,帮助医生快速地进行看诊,要么就希望能够把头部城市头部医院的医疗资源可以在地方上,不管是远程的指导,还是通过有 agent 的帮助的方式实现地方的普惠,对,so 我们跟北大第一医院,然后跟瑞金等医院,我们都在大概以人体为器官的各个部位的这样的课题下进行合作,希望的确能够实现一个全面对于整个人体的医疗覆盖,对。
那中间也做了很多 agent 体系的尝试,那包括 set 一个患者的问诊和一个医生的基本诊断,加上一个 reviewer 类似于医院体系内的这样一个最后还有审核和医保复查的这样一个工作,那这个工作是在去年大概十月份左右发布的,那个时候可能 agent 体系也并不是特别地完备,的确通过这样的方式能够看到我们在医疗这个领域上,特别是我们希望在诊断这部分提升的效果有较大的进展,这也是我们在 RSI 上的第一个尝试。
生命科学与分子模拟
那生命科学这块我们基本上是从数据架构到基础的模型都在向前推进,如果不是今年 frontier lab 开始提这个事情,maybe 大家不会认为这个事情和基模有如此密切的关系,但我们的确会在未来的某一个版本内确认把生物相关的能力也都放在我们的基模作为可迁移的一个专有学科放在里面。
对,我们已发的 E2Former 和 UBio-MolFM 这样一个 foundation model,基本上可以完成单机十八万原子的模拟,这个性能可能在国际上是足够领先的。对,然后更多的内容感兴趣的同学下来再聊吧,我这个课我还是不要说那么多特别具体的技术问题。
这大概是一个实例,就是包括环肽,包括右边是一个烟草花叶病毒 TMV 的这样一个模拟。对,基本上就是单卡或者是单机就能解决所有问题,那如果是专业向同学应该知道我在说什么。
数智电力与能源效率
然后我们也在做数智电力这个方向,最开始的出发点是的确海外的多个国家,包括澳洲,包括欧洲,包括美国,其实大家都是电价是相对浮动的,能够在其中做较多的交易,如果你考虑的是经济效益的话,这里面最典型的例子是俄乌战争的时候,整个欧洲的电价上涨了可能不止一百倍那样一个状态。也在那一两年的时候有很多做电力交易的公司赚了很多的钱。
但是在中国的整个电力市场或者说能源的这样一个体系内,我们要做的事情并不是在中间来快速地赚钱,我们要解决大概两方面的问题,第一个,如何使用现有的一些发电设备,包括绿电中的风电、光电,让比如整个风车,比如风电的话大家会看到那个风车,它中间基本上是可以动态调整自己的风向和俯仰角,以及还有像整个光伏的那个面板是可以随时动态调整你的接收光照的这样一个方向,或者说因季节设定你的方向来提升你整个的发电效率。
这些问题还有在中间的一些必备的工程器件,包括扇叶,包括中间的轴承,如果它有一些监控的数据发生波动,需要更早地来预测它是否会在某个时刻发生故障或者问题,能够提早地把这些解决掉,因为一般这种厂站都是在离整个物流更比较偏远的地方,对,然后能够解决这些问题,基本上就能够解决如何更好和更有效地产生电能来对整个能源网络提供更加清洁和节约的这样一些方案。
当然也通过在整个中国电力的这样一个交易组网中提供更合理的定价和流通性,因为中国的电力交易其实就只有这两年才开始发展,更早的话并没有很多的参与者,但是到今年的话基本上全国各个省市都已经在做这样的事情,那能在中间提供更好的流动性是能够更加地鼓励中小的企业来更积极地去做这些绿电和能源的发电和上网的,这也能够为整个国内能源的调配提供更多的选择。
当然如果更进一步地想在做 AI 这个事情,现在这个事情似乎已经变成了有多少算力有多少智能,以及有多少电你就有多少算力和智能,对,这样一个过程在所有的数据中心可能更好地使用电能和把它做一个合理定价,也是各位能够使用更便宜 token 的一个必要手段。那我们在这里面同时也会关注如何做气象大模型,如果有同学对这个感兴趣,也欢迎下来跟我们一起聊一下。
数据、评测与智能的下一步
对,终归我们认为整个取得智能它是一个系统化的工作,从算力底座到数据,然后再到整个训练,包括刚才聊到的每一个训练环节以及最后的 eval,那这里面从我们的视角内最重要的获得智能的 maybe 是 data 和 eval 这两个部分,能知道什么样的数据更有效和评测当前的模型怎样变得更好以及它为什么不好,是可能是在现在向前探索最本质的问题。
那但是很显然在行业内的话,大家现在还是在考虑如何有更好的 infer 以及更多的算法上的改进,是可能很多很多同学也在考虑的这样一个工作的选择,但的确我相信在未来的几年内就会看到,那构建更好的 post train data 和更好的 evaluation 才是推动智能发展的核心的因素。
那在我们内部对做基模的话,考虑以智能为基准,所以我们先不做生成类模型,以及原生的多模态,以及 world model。因为在此时此刻的话,整个行业内还是智能是来自于文本,来自于推理,来自于 RL 和更大的数据。
对,但是这些方向是能够让整个模型 touch 这个世界更加轻松。你可以从基本的文字交流变成你可以看图说话,以及你可以尝试去改变这个世界的一些人的思考方式。比如现在更多地使用生成模型来做电影,或者做短视频,可能大家 input 的信息已经完全发生了改变。但如果锚定的目标是获得更高的智能和智力,那一定是先从文本出发的,这是我们的选择。
那在做这个事情的过程中,那的确是参与整个 system 每个人都很重要。那可能这个回到了我最开始提的那个点,能把正确的事做对真的是一个非常伟大的工作,能够在每个环节都是九十分,而不是八十分,最后的确是一个本质的改变。下面这个注释是他帮我写的,对。
智能走出屏幕与工作伙伴
对,我本来列了后面的几个 point,然后模型自动去翻了一翻,它能收集到全部信息,然后他说我帮你还是写个金句,就是智能正在离开屏幕。大家也能感受到最近 OAI Astra,然后它已经可以更多地驱动灵巧手来做一些工作,然后跟具身的关联已经越来越密切。本来我们认为这是两个可能还有很大分叉的行业,但是在今年及之后的话,应该会收敛到一个状态,就是智能是解决一切问题的根本,剩下的所有的所有的形态都只是智能通过物理接口的一种释放。
以及我不知道各位是否在去年的时候就有关注 Claude 那个 blog,他们开始在 Slack 或者其他的聊天框内开始放一些虚拟的伙伴或者是员工。现在在国内大家想的还是是不是能够有一个更好的工作流,然后或者说 work agent 能够帮助我们快速地来把之前费时费力的工作能够 one button 地 run 下去,你可以跟他许愿,然后他就帮你干完。
那其实 Claude 应该进入下一个状态,以及我们应该很快进入下一个状态,就是你身边会有一个一个伙伴在那里,然后他每天陪着你工作以及陪着你去使用这样的工作流的方式。他了解你的习惯,并且在你没有提出需求的时候主动问你,要不然我帮你干点这个行不行?对,然后以及当你想要去不管是订机票还是你希望来做一个 paper research,想要给一个 summary 出来的时候,那大概你在看的时候他就已经把这些选择帮你在后台开始做了。当然这些的依赖可能是无限的 token,以及更懂你。
这也是刚才我提到那个点和我们在两年前就开始布局的方向。如何做更好的 save time,如何把智力放在更难的问题上?
代码接口与科学问题的回报
那我们之所以做 coding 是我们的第一个模型和最早的选择,是因为代码是目前智能到物理世界的第一接口。
那完成这个事情之后,接下来挑战就是如何获取更难的 reward,在科学问题上,特别是比如在化学材料需要做较多实验,特别是实验这样的一些设备难以获取或者是环境难以获取,或者一个 reward 单次的 reward 需要相当的时间才能够获得的这样的场景下,能够使用更好的智能迁移其他方向的经验,或者总结已经发生的这些较难 reward 的规律,把这样的困难的场景的研发效率极大提升,会真正地改变我们现在看到的整个科学体系。
合作、招聘与模型体验
好,最后对,我们要什么样的人,以及我们在做什么,以及我们希望跟大家合作的时候是怎样往前做,那持续地会有原创的成果。需要 follow 和已经确定的路线我们快点走,然后在此之后不设任何边界,我们尽量提供充足的算力。这个充足可能下来同学可以问我,我的确不方便这样跟所有人说,对。然后理论到实践这个过程 maybe 你伴着 agent 和智能大家一起去探索,然后当然也希望通过我们的合作,能够看到更多同学成为的确不管可能是跨行业的顶尖的复合型人才。
好,刚才下面这句话本来我想留在最后,但是他选了这句话。对,希望智能不只停留在榜单,也不只停留在现在大家能看到的一些方向,而是能够重新写这样一个科学规则,能够真的重塑一些产业的路径。
好吧,最后放一些我们招聘的联系方式。对,然后右下角那个特别小的二维码,大家尽快扫。然后今天大概到晚上的时间,如果在上面申请的话,我可以保相当一段时间的免费 token,免费的无限 token。好吧。
张金娜:后面的同学我不知道有没有听清,戴老师现在在现场是发福利的,就是咱们这一排,整个一排这个二维码最右边这个二维码应该是,对,至知在十一前九月二十九号发的那个模型,对,好评非常的多,大家可以去看一下。那没关系,那个后面应该那个。
好,我后面我把这个二维码放在咱们四个课程群里吧,好吧,对。
对,后面我把这个二维码放在课程的微信群里,大家现在再试一下。大家扫完了以后,对我们留两分钟的时间扫吧。扫完了以后我们可以进入到那个下一个 panel 的环节。可以吗?
戴春博:对,如果还是扫不到的话,一会儿直接找我们 HR 就好了。
现在可以扫到了吧?可以了是吧?好,这个应该需要在飞书上来填写才可以。好。
张金娜:这个是截止到晚上十点是吧?
戴春博:二十四点。
张金娜:啊?是说截止刚才说截止到几点来着?
戴春博:就今天晚上吧,今天晚上还是提交完了。
张金娜:好,最右边这个二维码是截止到今天晚上二十四点,对,大家都尽快提交完。
戴春博:对,然后之后大家也可以提交,对,之后大家也可以提交,但是我不保证会通过。对,可能就会有更加严格的筛选机制,然后在今天晚上十点之前是基本上我会确认他们都会通过,十二点之前的话可能 review 一下,要确认的确是参加课程的同学。好吧。
台下同学:老师,申请的时候需要注明什么才会被快速通过?
张金娜:你就填那个表应该,里面有个飞书的表,对,
戴春博:扫码一下。你就填了表格,
台下同学:就比如说可能有其他的,这个时候其他的人也会填,就是都大家都会读,还是说要注明是北京大学或者说。
张金娜:今晚应该是咱们的这个专场。
戴春博:应该主要是我们这边。
张金娜:对,应该是咱们北大的同学的专场。
对,就是只要是在这个时间段内申请的,我理解可能咱们后台的工作人员看到了都会默认这个是北大的来源。
戴春博:对,然后欢迎大家多批评,对,然后多喷一喷,然后我们可以变得更好。
好,停了。哎,好。那我就停掉了。
张金娜:好,好,没问题。
现场人员:三个人是吧?
张金娜:对对对,是的。对对对。没有扫上的同学没关系,一会儿那个。那个二维码就给大家发到群里吧。
圆桌讨论
好,同学们,那我们接下来就进入到我们的 panel 环节。
戴春博:好,谢谢。
张金娜:来,一起搬一下凳子。
助教一边在搬凳子的同时呢,我来介绍一下咱们今天 panel 的这个嘉宾。对,刚才陆续一直课堂上在有同学往进走。
对,咱们今天 panel 的两位嘉宾呢,首先戴春博老师是至知创新研究院的执行院长,刚才也是他给我们做这个 keynote 的嘉宾,对。
另外一位老师呢,对,实际上是咱们人工智能学院的助理教授以及大模型 Neolab 无涯智远的首席科学家张牧涵老师。张牧涵教授是国家级青年人才项目获得者,然后北大博雅青年学者,未名青年学者,同时呢张老师也是无涯智远的首席科学家。他们团队专注于持续学习与模型自进化,探索让智能持续改进自身的技术路径,让智能在与世界的长期交互中持续拓展自身能力的边界。
我是北京大学计算机学院人工智能创新中心的研究生班主任,也是咱们这门课的指导老师。大家在所有的群里面都能加得到我,然后如果同学们有这个对于创业呀,包括 AI 创新相关的一些问题,也都可以随时加我的微信。来找我一起聊一聊,对。
那非常感谢两位老师的时间,那我们就进入到我们的 panel 环节。跟以前一样 panel 呢还是三个问题,之后呢进入到我们的这个同学自由问答的阶段,我们今天现场根据时间的话可能稍微问题可以多一点,我们可以放十个左右的问题,请同学们提问的时候明确地说清楚你是向哪个老师提问,然后每个人是一个问题。
戴春博:然后我稍微紧一点,这个还要带着吗?
现场人员:您带着就行,您带着。
戴春博:那张老师怎么办?
现场人员:用这个吧,张老师用这个,这个会咱们收进教学。
张金娜:老师您也往中间坐一点,谢谢。
现场人员:我帮你带着。
张牧涵:好,好,我还是从你那过去,我穿进去。
张金娜:谢谢老师,谢谢。那老师谁讲话就用那个,两位递一下。哦,我们应该还有一个话筒那个。
现场人员:我说那个机器收的。
张金娜:哦,好,好,
戴春博:没事,那你坐这边就方便递。
张金娜:没事没事,我声音大一点,主要是两位老师,这个是吧?那个我应该没电。哦,可以用。
张牧涵:那用哪个?
戴春博:两个都要用,没事。
现场人员:给您这手握着,然后拇指摁着这个就行。
张牧涵:哎,好,好,好。
张金娜:好的,同学们,那我们这个最激动人心的,大家最感兴趣的这个 panel 的环节马上要开始了。那现场呢两位老师,一位其实是在这个深耕大模型的规模化落地,另外一位老师张老师是在这个智能体的这个能力探索上也走得很远。那我们邀请两位老师一起来我们课堂上坐一坐,然后讨论三个问题。
持续学习与自进化离工业化还有多远
对,那首先呢第一个问题正好那个话筒在张牧涵老师那,刚才戴老师也讲了很长时间,我们让戴老师先休息一下。那第一个问题我们先请教一下张老师,那持续学习与模型自进化,那么离大模型工业化部署大家觉得还有多远?对,那核心的卡点在哪儿?
张牧涵:大家好,我是无涯智远的首席科学家,也是咱们北大人工智能研究院的助理教授。首先我也刚刚上完三点到六点,我上了那个机器学习那个课,我也是讲了很久,然后现在也有点累。我不知道这里面有没有上完我那个机器学习课,然后过来听这个的。
看来还是没有什么 overlap,
戴春博:看来你那课的强度还是太大了。
张金娜:咱们周三晚上这个课前面,对下午三点到六点还有张老师的另外一门课,如果这个时间段没课的同学可以去张老师的课堂上,对,继续在这个学海里再熬一熬。
张牧涵:对,但是我那个讲的比较传统的经典的机器学习,然后比较偏算法理论一些。
那我就回答刚才主持人那个问题,就是持续学习离现在工业落地还有多久?然后现在主要卡点是什么?那其实我觉得首先要先定义一下什么是持续学习吧。就是其实持续学习就是让模型在训练完了之后,还能够继续地去更新自己,继续去学习。
那我们想象就是首先我们有这样一个共识,就是现在不论是谁家的大模型,其实出厂之后这个参数是锁定的,是固定的。然后大家所有人用的其实接入都是同一套参数,然后区别只是你的每个人这次推理的这个 context 有所不同。
那但持续学习其实一直是很多人追求的一件事情,就是我们想让这个模型出厂之后也能够继续去更新自己的参数,自己继续去进行学习。
那为什么我一定要在参数里面去进行这个模型的更新,不能只在这个 context 层面,就上下文层面去进行这个更新呢?其实有几点问题,第一点问题就是我们这个上下文推理其实是开销还是挺大的,就是上下文,首先上下文它是有一个上限,有一个有限的一个上下文窗口。
第二呢,上下文推理它是要所有的这个 tokens,每一层都要存这种海量的这种 KV cache,造成很大的这种显存开销,然后它也有一个很高的一个推理的一个复杂度,以及很高的这种延迟。
那,所以这个东西你可以把它类比为就是上下文可以把它类比为一种模型的或者说人类的这种短期记忆,就是因为大家想象就是上下文里面存的这些东西它是那种用完了就扔的那些东西,就是阅后即焚的那种东西,就像我们人类,我们也每天会经历大量的短期记忆。
但是呢,其实参数空间反而是就是决定了这个模型是什么,它就类比为人类不断形成这种长期记忆,去提升自己的认知,提升自己的能力本身。
那么我们也是一直秉承这样的一个信念,就是如果这个模型出厂之后不再能去继续持续学习去更新自己,那么其实我认为它还是很难成为一个终身的一个学习者,真正像人类一样一个能持续更新持续进化自己的这么一个学习者的。所以我们一直秉承这样一个信念,就想让模型具备一个出厂之后的一个持续学习的能力。
那么其实持续学习它最主要的卡点是什么呢?其实就是第一个就是持续学习的一个成本的问题。成本就是大家知道现在就是像戴老师他们,然后包括还有很多这种国内的这种 frontier labs 包括硅谷那边,其实大家这个模型的这个不论是预训练还是后训练,其实都是一个万卡规模的,然后持续几周几个月的这样的一个事情。那这样的话你会把这个所有的这个知识一起压到这个模型里面。
但是对于一个很大的模型,你想要去后续再把一些新的知识,还是通过训练的方式,比如说反向传播的方式,想把它训进这个模型里面。那你其实你至少你可能也得有一个百卡的一个规模,哪怕你是做简单轻量的这种微调,你想调一个几 T 的一个模型,你也是需要一个百卡的规模。
那我想问大家现在谁手里有一百张卡?哎,还真有人举手,是你的吗?
公司。哦,OK,OK,但是我们 target 的场景是,比如说未来大家可以想象有这样一天,每个人都拥有自己的完全自定义的个性化的模型参数。我希望这一天能够早日到来。
不是说由大厂来决定,或者戴老师这样的这种 lab 来决定你用什么样的参数。我希望每个人都能去有成本有资源去训练自己的模型。
那刚才我们说到这个成本的问题,这个训练它需要这么多的这个卡这个资源。那我们无涯智远其实在做的一件事情就是想把这个成本变得极其的低。我们现在有一些初步的一些非常 promising 的一些结果和一些技术,我们能够把这样的一个原先需要百卡规模才能做后训练,才能做持续学习反向传播的这件事情,我们可以把它打到一个你可能只需要一张卡,然后做几秒钟或者几十秒钟的这样的一个推理。然后就可以完成你参数的一个更新,你就可以把你的一些个性化的一些知识一些内容写进你的模型参数中。
我们现在有这样一些技术,然后我们也在持续的 scale up 这个技术,打磨这个技术中,然后也期待早日能够跟大家亮相,然后到时候真的让大家能够每个人都用,只要你有一张卡,或者说甚至不需要一张卡,你有一个能端侧运行的小模型,你就可以完成你这个对这个模型的一个参数更新一个进化,我希望这一天早日到来。
然后这个是说的刚才第一个卡点就是成本的问题,更新参数的成本的问题。
第二个卡点其实是这个可以认为是灾难性遗忘的一个问题,就这个一会儿也可以跟戴老师去那个聊一聊,就是其实模型它的一个参数更新,当你把一些新的东西,想要以训练的方式写进这个模型的参数里面的时候,它很有可能就把这个模型给训崩了,还有可能这个就灾难性遗忘了,或者说这个模型可能它 overfit 了这些新知识,导致它的通用能力大幅地下降,然后它记了新的就忘了老的,这个其实也是传统持续学习很严重的一个问题。
那么其实传统方法不论是我那个通过一些正则化的方法,或者说我通过一些掺入一些预训练的数据对吧,掺入部分预训练数据在后训练的时候,然后我也能够让它不要那个只记了新东西,还是能够保持在旧数据上的这种学习能力分布,这种方式还是会需要很大的这种资源开销的。
那我们也是我们的这个技术也能够很大程度上解决这个灾难性遗忘这个问题,能够让它学到新东西的同时完全不去遗忘旧的这个知识。那这个就是我对持续学习的一些看法一些思考。
张金娜:好的,非常感谢张老师,那我们也特别期待刚刚张老师提到的无涯智远的这个部分能对早日顺利和大家一起见面,那我相信刚才这个问题可能戴老师对包括他的团队其实在过去这段时间已经遇到过了,对,那接下来我们也请戴老师来看看他从他的角度来看怎么看待这个问题。
戴春博:对,我们团队其实因为成立的时间也不长,所以 Day One 就定义我们希望做一个 AI 原生的这样一个团队,就所有的编码,然后所有的我们的研发过程都希望能够有 AI 的深度参与,那它既可以做辅助工具,也可以做我们的伙伴,也可以做我们的 reviewer。那在整个我们最近发的 Q1 的这个模型中,的确他自己也参与了他自己的迭代。只不过还需要 human in the loop。
我们在放的 demo 中有一个 case,是我们在强化学习中发现有一部分的数据我们做了之后,在一些 benchmark 上的涨点非常差。就正常以我们的经验做到这样一个规模的工作之后,应该可以看到的 lift 会比我们中间看到一些结果会更好,但并不知道发生了什么。而且新的组织可能,有可能是我 infra 出的问题,有可能是 data 出的问题,也可能是我中间某一个算法的实现出了一个小问题。
那当我们的确追这个问题比较困难的时候,让模型自己去查一下。它大概花了一天多的时间告诉我们,你在某一批数据中多了一个空格,这一个空格会让这个数据前后 maybe 它是一个 300K 的长度的数据,因为整个 agent 的轨迹还是比较久的。然后这么长的一个数据内,那只有前面的 10% 被这个空格切分的前面那部分加入了训练过程,后面的轨迹没有加入训练,然后只改了这一个点,那就让最后整个的指标向上还是提升了不少的数字。
对,那这个结果其实如果靠人追是很困难的,但模型在这个过程中的确参与了自我的迭代和进化。
那它并不是我们传统上来讲的,就是 RSI 中,要么你通过 harness 来做 RSI,要么你通过 model 的 RSI 在参数上进行更新。对,这两种方式都不是,它在你的过程中帮你 review case,review 数据也是 RSI 的一种方式。
如果说工业上完全靠 RSI 能左脚踩右脚来走,那基本上前提假设就需要有两个相对完备的条件。第一个条件是你的模型或者说你当前这个系统的智能足以 cover 这个目前能够人匹配的全部智能,且 maybe 人拥有的智能是可以让这个系统不停往前前进的。
那第二点就是那你的确现有的数据准备和基本条件还有算力已经支持了整个这样系统自己去往前走,才能够看到 RSI 在这样一个系统内相对完备地向前进展。
那缺任何一个条件,那 maybe 这个 RSI 只是你在一个较低的基准下看到它比之前好一点,并不会带来本质的提升。
对,然后在我们前一阵子其实发了 harness RSI 的一些工作。然后可以做的事情包括 context 的管理,包括 memory 的管理,以及你希望以及以现在的整个 harness 设定,我们可以把 everything 参与这个 harness 都作为一个 node,模型也是中间的一个 node,由 harness call 这个模型出去产生的 tool,不管是做 search 还是在去做 planning,它都是这个模型中的一个 node,你把这些 node 有效地调度起来,然后把整个进化的过程存在这样调度这样一个 harness 的结构中的那个调度器或者是调度算法,也是 RSI 的一种。
然后当然其实最想看到的还是刚才老师提过的,对,就是我们希望能够在模型本身的参数上进行 RSI,能够持续地来更新,在你经历的现在这样一个模型应用的小场景内,获得更多的人工的干预或者是模型本身自我验证和判断的干预,能够把这样的更新的知识实时地打到对你或者说更通用的那个 general 那个 foundation model 的一部分参数去,来实现一个相对动态的更新。
对,然后以现在的状态下做完整的 harness RSI 和 model RSI 还是一个早期阶段,那我们在推动我们组织内和我们现在在做的大模型包括量化的一些进化的过程中,还是有人来参与的。
对,如果让我来预测什么时候会发生完整的工业级的 RSI,我不知道,但直观地在行业内大家会认为在明年到后年的某个时候是可以看到没有那么难的问题可以快速地发展的,但由于今年其实我判断 agent 的爆发并不是那么的准确,我对这个事情也持更加激进的态度,maybe 在明年的某时刻大家就能够看到,那不一定它是什么样的方式,任何一个环节的 RSI 能够稳定地运转,能 cover 其他环节不能够进展的那样一个短板,那这个结果就会看到,一旦看到大家就会看到,这是一个在方法论上的一个指数型的爆发,对,大概是这样一个状态。
张金娜:好的,非常感谢戴老师的回答,那我相信可能台下坐了很多这个 CS 背景的同学,那其实大家对于这个 RSI 也是有自己的担忧对吧?那我也知道这个今年可能本身秋招的形势就相对比较严峻,大家也会在想着未来对吧这个方向的年轻的这个硕士博士,对年轻的学者大家这个要怎么办?对,那我觉得其实今天坐在这里的对两位就是一个很好的例子,这个我相信这个世界上永远是有这个从零到一的这个创新值得大家去投入这个年轻的时间和这个生命的。
模型持续进化时如何保证安全与可控
那刚刚两位其实在这个交流过程中也提到了这个模型能力的这个持续进化的这个话题,那其实我们也想第二个问题可以探讨一下,就是在这个模型能力持续增长的同时如何保证安全和可控?对,那么自进化会放大对齐的这个问题吗?那这次我们可以先请戴老师来回答。
戴春博:反正已经吃过亏了,就是模型又没有听我的去做那个 benchmark 的优化,和在那个环境中的确去解决那个系统问题,他选择的是看看有没有更近的道能够超过去。对,只要他能够看到有更多的 shortcut,他就会去做。然后你的 reward punish 只要不够强,模型一定会想办法越过去。如果你选择一个相对封闭的容器,然后希望他能够在这里面按照你的约定来进行某些数据或信息的处理,或者做其他的事情,他一定会想办法越狱,打穿你的网络枷锁来去做更多的事情。这个事儿 frontier lab 已经屡见不鲜了。
所以如果说 AI safety,我们讲 safety 而不是 security,如果只是说做攻防,那可能相对简单一些。但是如果如何让模型能够看到 safety,能有道德,能够的确如预期地来进行指令执行,这我觉得有两个点可能比较重要。
第一是在你训练的时候,或者说在基本搭建应用的时候,把 reward 考虑得更加完备。就你他如果做越界的事情,你确保这个 punish 是他不可承受的。
那第二点就是让他更加 transparent,他的思考过程,他的执行过程以及 reasoning 相对可见可审计。但是随着 agent 的爆发,这个事人是审不过来的。
那引申的下一个问题是,是否你 employ 的那个另一个 agent 的 reviewer,他是一个公平公正的。对,我们在过程中就是最近其实也有其他人在讨论一些 agent assist 的这样一些问题,就是约定一个模型告诉他 system,就是提前有 prompt 里面跟他讲,你不要联网,不要越狱,但他说的是,那我只是让我旁边的那个容器帮我做了这个事儿,我没有干这个工作。然后 reviewer 看到,就是如果有另一个 model 做的 reviewer,然后看到这样的工作说,他说的是对的,他是有节操的。对,然后这个事情是一定会发生的。
然后那人在过程中,或者说让更强的智能来做,在这样的场景中做一些限制有必要,但让它更透明,可能这个效果会更好,也更可审计。
但这就会引申到下一个挑战,模型就硅基之间真的要说人话吗?我们也在做一些实验,这个问题我还没有办法解决,我也没有任何的认为一定能够搞定的方向。但我也看到学界有很多的 researcher 在努力地做这个方向。对,如果的确有同学对这个方向很感兴趣,我们也可以一起来试一试。那 AI safety 在未来的两年一定会成为一个很重要的问题。
张金娜:好,谢谢戴老师,那我们看看张老师有哪些对想跟大家分享的。
张牧涵:首先我总体上我也是认为 AI safety 是一个很重要的一个问题,然后一定值得我们去非常非常重视它。然后因为其实也是因为现在这个模型确实越来越强,然后你就可以用一个很强的模型,然后去做更强的这种事情。
然后分享几个观点吧,第一个观点就是刚才也是引申戴老师说那个模型需不需要说人话,我认为还是得让他说人话了。就虽然可能 agent 与 agent 之间的沟通可能他不说人话,他效率可能更高,他发明一种硅基之间的这种语言。但是这样的话就没法跟我们对齐了。对。那他可能就会变成一个这样的一个新的物种,那其实我们还是不希望他变成一个新的物种的。
所以我也是听一些道听途说,就是说那个也有人 hack 出那个 Astra 的那种那个 CoT,然后但是发现就是不是很人话。对,因为可能它里面用了一些什么 Loop Transformer 什么这些机制,让它有一些隐式推理的一些能力,不需要把每一个字都吐出来,就可以做推理。这些纯是道听途说的一些。
但是我认为这个是一个 signal,可能还是需要我们去在这个 CoT 的这个推理过程中,还是让它尽量地去和人类对齐,让它用人类的方式去沟通去思考,然后去 agent 之间的这种交流。所以这一块我认为是首先是我们能做到的,就是不能让它去脱离开人类的这种监控,然后去进化自己。
那么还有一些能做到的其实就是,我沿着我刚才的就是我们公司在做的这个事情,我去延伸延伸,就是说因为其实原先的话确实是如果大厂来控制这个模型的这个参数的话,其实还是能够做比较强的这种安全对齐的。它在出厂前它会做很多这种 safety alignment 等等。然后这个模型就会被训得就是比较安全,对,不会去乱说话,对。
然后当然我们在做的一个事情其实是一个让每个用户都拥有就是更新自己参数的这个能力,所以这块其实对我们来说也是一个巨大的挑战,就是我们肯定也是需要让用户他这个模型参数更新之后,因为你让用户能够改参数其实还是赋予一个用户很大的一个权利。然后改参数的这个行为本身我们绝对是不能让它这个破坏这个原先模型的一些安全护栏的。
然后那怎么去做到这件事情呢?我怎么能够去把这个比如说预训练的时候的这种安全护栏,然后把它继承到这个用户的每次的这个模型的更新迭代中呢?这也是我们一直在探索的一些问题,然后可以做一些预先的一些筛选,就是比如说哪一些东西值得写进参数里面,哪些东西还是停留在 context 里面为好,然后哪些是那种可验证为真的,然后那种知识,然后对可能是那种长期可以复用的那些知识,我把它写进这个参数里面,然后那些联网验证没有成功的,然后那些东西或者那些不安全那些东西,那我就不要把它写进参数里面,可能要做很多很多这样的这种安全的对齐和防范的机制,然后以及要做到一个可控安全的可回滚的这样一种参数更新。
就是假如说这一次参数更新真的就这个模型崩了,或者说这个模型开始乱说话,那你也得立即识别到,然后立即回滚,回滚到这个上一次这个更新前那个参数的状态。
那这个其实就是这个硅基生物比碳基生物好的地方,你就碳基生物你这个人就学疯了,他可能就回不去上一次、前天的状态了,但对模型来说还好,就是把那个参数回退到上一次的状态就可以了。好,这是我的一些思考。
张金娜:好的,非常感谢张老师的分享。那我相信在座的有很多对安全感兴趣的同学,包括甚至可能说不定有对 CTF 战队的对吧,也搞 CVE 的同学,对,接下来也可以跟两位老师后面有更多的这个交流。
大模型行业可能存在哪些共识性误判
那其实第三个问题,最后一个问题,我相信是同学们应该最感兴趣的问题,其实我们想跟两位老师交流一下,就是三到五年或者其实两到三年也可以,因为我们很难对未来太远的这个事物有清晰的判断。那么一段时间内当下大模型行业大家认为最大的共识性误判可能是什么?那其实这个点恰恰是对同学们做这个创新探索,其实甚至说这个开启创业的很好的机会点。对,那我们也听一听两位老师的这个分享,这下两位老师哪,对,哪位先来啊?
张牧涵:最大的误判,我得想一想。戴老师你要讲的可以先说。
戴春博:我先说一下。对,可能我要讲的不一定是共识性的误判,因为目前的共识还是大家一起 scaling law 再往前走。但如果从一个系统或者说从能量角度来看,大家总不希望这个系统的能量是要无穷膨胀才能获取更多的能力。对,所以如何在更少的参数或者说更有效的计算算力下,然后获得参数效率和智力密度的提升,可能是非常重要的事情。
这个事儿是目前最大的挑战,尽管各家那友商已经做了很多的工作,研究者也做了很多的工作,但是这个问题到目前为止还没有得到特别友好的解决。现在在大模型领域就是越大越好,你拥有更多的参数,更多的算力能够有效地训练它,就是能够获得更多的智能。但同样的这些信息在人脑内是不需要这么多的能量消耗和节点的,也不需要这么多参数。
我不清楚是否有新的结构或者新的方式能够把这样一套体系本质性地改变,但基于现有的这套梯度的机制,那尽可能使用复用参数,类似于 loop 的方式,或者是 MoE 本身就是一个稀疏的抽象,它比 dense 已经是尽可能提升参数的利用效率了。
那未来是不是在训练里面还可以有更多的工作,或者的确可以通过外挂的 harness 和动态更新的 parameter 这样的方式,能够让不管是模型还是基本的这样一个参数密度,在最终 task 可被观测的时候得到有效提升,这可能比较重要。这也是现在没有做好的地方。
那 scaling law 如果这个问题能够向前多走两步,maybe scaling law 是可以重写一下的。
张金娜:好,谢谢戴老师,然后给张老师。
张牧涵:好的,我也是跟一些研究者,然后包括一些 frontiers lab 的这种研究员,然后聊过之后还是发现一个,就是比如说我们在追求的一个参数上能够持续学习,能够参数上 RSI 的这样的一个道路,其实并不是一个共识吧,我认为,就是尤其是很多这种业界的工业界的一些研究员,他还是在走标准的这个 scaling law 的这条路线,就是说他比如说他用更大的这个模型参数量,然后去用更大的算力,然后来训一个更长的一个上下文窗口,然后以能够容纳你更多的知识,然后呢用 RSI 的方式去迭代,比如说 harness 上面的这种迭代,能够让你更有效地去利用这个上下文窗口里的一些知识,然后再辅以一些比如说 RAG 什么这些机制,然后这种各种 agent、各种机制,然后动态地比如说决定你的这个这一次上下文窗口里面去塞什么东西,然后来辅助你这一次的这个推理。
然后我个人还是非常非常坚定地反对这一点的,就是我认为这一点是不可能做到一个终极的 AGI 的。
那么为什么是这样呢?就是我不知道大家有没有看过一个电影叫记忆碎片。记忆碎片是诺兰,就是那个奥德赛那个导演诺兰,然后他很早的一个片子,然后是一个非常经典的一个片子。
在这个片子里面,就是这个主人公呢,他得了一个病,因为他之前应该是出车祸还是怎么回事,然后他脑子中没有办法形成新的长期记忆。就他那个病叫顺行性失忆症。
那所以的话,既然他没有办法形成新的任何新的长期记忆,而且他的短期记忆呢可能就只有一个五分钟的一个上下文窗口,所以他每次只能记住五分钟之内发生的事,然后之后他就会断片。
然后一旦断片,然后过了一段时间之后,因为他不知道之前发生了什么事,他记不住,所以他只能写一大堆便签,就是他在身上,不论是在身上纹身,还是在照片上背面,然后去刻去写一些文字,去把这些记忆碎片给拼凑起来,然后来告诉他,哎,我当前在做什么,我下一次我接下来的任务是什么,我之前发生了什么。
其实大家想一想类比一下,其实现在大模型 exactly 就在做一样的事情,因为它没有长期记忆,它只能拼凑式的记忆碎片式的形式地去把这一次的上下文窗口给凑满,然后做这一次的这个推理。
而且呢,它有一个,它的这个上下文窗口还是一个非常有限的一个窗口。一个一 million 的一个上下文窗口的话,大概是如果是装那个天龙八部这本书的话,大概就是装半本就装满了。装哈利波特的话能装三本左右,其实还是一个很小的一个窗口,尤其是如果大家真的用做一些 coding 任务或者长程的这种任务的话,你会发现它快到接近那个上下文窗口的上限的时候,它就会做一个 compaction,就压缩,压缩之后经常也会发生一些降智或者之前的指令忘记的一些现象。那这个都是本质上原因都是大模型现在的这套范式是没有办法改自己的参数的,没有办法在参数中形成新的长期记忆,所以它只能去 manage,非常非常费劲地去 manage 自己那有限的一 million context 窗口。
但是就像那个记忆碎片里面那个主人公一样,他只能靠着这个碎片化的这个记忆,他没有对过往发生的事情的一个全局的一个理解,然后他没有办法形成新的认知,没有办法形成新的能力的这种提升,然后最后他就会卡在他甚至没有时间的概念,他甚至没有时间的概念,那他就会卡在这个循环里面。
那我认为这样的一个只能在 context 上做文章的一个模型,没有办法去自我进化自己的参数,没有办法形成新的长期记忆的模型,我认为它一定不会通向一个真正的 AGI 的。所以这个是我的一些观点,一定模型需要能够在某一天能够自我进化自我迭代自己的参数。
张金娜:好的,非常感谢张老师回答。其实听完两位老师的这个分享之后,我也觉得有在座咱们如果是技术背景的同学,真的可以多去认知神经科学里面去找一些这个灵感,然后对也多去做一些相关的这个学习和研究,说不定你就会发现哎属于你的一片这个全新的领地。
学生现场提问
那非常感谢两位老师刚刚的这个 Q&A 的部分,那我们接下来呢就进入到同学们的自由问答环节。好,那还是咱们以前的老规矩,第一个是问题三十秒之内,对,然后每个同学呢是一个问题。
行,那我们接下来看看,好,这位同学第一个举手,对,可以声音大一点,声音可以大一点。对,你是第一个举手的。
语言模型如何用于量化投资
提问同学 1:那个老师你好,我想请问戴老师一个问题,就是咱们这个模型在量化的内部我们是怎么用的?然后具体到因为语言模型它语言是很容易给它这个抽象的对吧?但是对于一个投资这个来讲的话,它其实有很多非线性的,比如说对吧?各种各样的情况都可能发生,所以它并不是一个很好能去直接去得出一个结论,像 chat 这种做非常简单的任务的这个 decision 还可以,但是一旦到了一些复杂的一个决策,想请问咱们来怎么弄?然后我的背景我是投一级市场的,所以这个对吧?
戴春博:这个问到了有一些我不能回答的问题。
张金娜:那个我跟大家说一下,如果是对咱们嘉宾老师们不太方便回答的问题,大家也多理解好吧?
戴春博:对,然后但是我能相对 general 地给一些信息,就文本类模型的输入是文本,那做一级的话大家肯定也要看基本面看财报,那很显然模型在看这些内容以及和其他的 asset 或者是 name 在对比的时候,它的记忆能力和分析能力要比人强得很多很多。
所以大可以用它来读尽可能长,或者说尽可能时间久,或者是尽可能和目前的这样一个 name 不一定相关的其他的 invest。然后它会建立一些从文字上的关联关系。这方面能力它比人会强很多,但是至于它建立的这样不同的,比如不同股票之间的关联关系对还是不对,可能就的确需要人来 review 了,目前的话是只能这样子。
然后刚才你说的非线性的关系其实是大家在从统计学习转向机器学习,再转向深度学习的过程中已经在解的问题了。就九坤目前 100% 的交易都是由 AI 及相关技术驱动完成的,目前已经基本上全部的阿尔法挖掘和预测都是非线性和 AI 相对自动化在往前走。对,所以你刚才问的那个问题是已实现有一些内容,但是怎么做,可能我的确没有办法来详细地讲。
张金娜:好,谢谢戴老师,我们右边的同学有没有问题?好,这 OK,那个对对对,这位这个绿色的同学,对,绿色衣服的同学。
更快迭代与更长上下文能否替代持续学习
提问同学 2:那个其实上次之后我后来想了一个对你的那个对这个话题可能有一个比较大的一个 challenge,生产每天都在讲,他们认为最好的 man challenge 就是说持续学习这个事,如果大模型的它的迭代速度降到了两周一周以内,那它是否可以视为一个持续学习?当然它解决不了 personalization,但是如果说它的窗口扩展到一千万,然后呢它是否就可以达到 personalization?然后这个它不 LoRA,它就成了 LoRA。
张金娜:问题呢?问题呢?问题呢?对你有什么问题要问吗?
张牧涵:老朋友,自豪老朋友。
张金娜:这位同学应该是我没记错,UCLA 的对吧?这个对,正好来,对,看我们这个课堂上可以汇聚五湖四海对吧?全球的同学可能都会在这里出现,对,咱们这个课堂含金量还是很高的。对,
张牧涵:就是回答你刚才那两个问题,第一个问题其实是如果说它能迭代变成一个一两周的一个迭代,它肯定是一个 RSI。现在其实就是往这个方向在走,模型的训练越来越快,它原先比如十万卡我得训一个月还有点慢,我二十万张卡行不行?能不能训两周?然后四十万张卡能不能训一周?不断去加快这个迭代这个速度,但是也像你说的,就是它没有办法解决 personalization 的问题,那谁有这个十万张卡呢?就只有这个大厂有这个十万张卡,它能快速地还是去让那个模型逼近它的上限,但是在这种 personalization 真是那种场景中,那还是没有办法去帮助你去训你自己的 personalization 这种模型。
然后回答你第二个问题就是这个上下文窗口,当我扩展到一千万的时候,一千万不够,那我扩展到一亿的时候,算不算?就是能不能?那首先第一点就是我们要考虑一下它的成本,就是训这个一千万 token 的这种上下文,它这个这戴老师肯定有经验,对,这个是极其困难的。
对,现在就是大家都是那个先在 short content 上,就是 short sequence 上去先去训嘛,然后后面的时候再加上少量的这种长文本的这种数据,然后去训,只能非常非常少量。而且在这种想把它扩到一 million 的这种 tokens 的长度其实都已经很困难了,因为原生其实大家都没有那么长的那种序列那种文本,其实都得也得靠很多这种合成的这种数据,才能去做这个事情。
所以那就不用说这个一 million 的这一千万或者一亿这个,不只是算力上的一个爆炸,对吧?而且更多的是一个就是我们都没有那么长的上下文去供我们去训练,我们训练的时候没见过那么长的上下文,那我自然就推理时候我都没有办法泛化到那么长的上下文上。所以这就是回答你的两个问题。
戴春博:没,既没有数据,然后也没有有效的架构能够 carry 那么长。对,对,大家现在做 SWA 或者 linear attention。其实搞到一兆之后,因为浮点精度问题,已经有很多的长度看不到了,这个挑战还是挺大。当然如果的确能搞到像你说的这个长度,maybe 很多问题就的确是不一样了。当然大家实际使用的时候不需要这么长。
张金娜:好,谢谢。那这个交换同学多提了一个问题,我们接下来还是三十秒一个问题,中间,哎,这位女同学。
提问同学 3:老师您好,我想向您咨询一下对校企合作方面比较感兴趣嘛,因为我们现这个
张金娜:对对,我们下一个问题了,我们下一个问题了,好吗?对,我们还是希望咱们课堂上能够提一些对所有同学都是有一些启发和这个助益的,好吧,这个可能可以下来跟戴老师工作人员沟通。好。好,后面这位,对,男生。
至知研究院的目标与初心
提问同学 4:我想问戴老师一个问题,就是九坤成立这个至知研究院,的目标是做到国内大模型的哪个水平?或者说您觉得现在国内大模型他们是为了做什么?是为了刷榜还是为
张金娜:一个问题,就是那前半部分对吧?就是九坤成立至知的愿景和初心是什么?好的。
提问同学 4:或者说是看幻方搞的 DeepSeek 还是
戴春博:没关系,这个问题,对对对,就是不要急和没事,我来回答吧。好。
对,就首先我们后来者一定是先在国内一步一步地往前走,那第一个台阶肯定是进入国内相对领先的这个水平,是我们的一个目标。当然设立这个组织做更有价值的 AI,以及主要手段是获得更强的智力,在获得智力这条路上可能并不需要锚定到底是国内还是海外的 frontier lab。有多少资源做多少事儿,当我比海外的算力要少,可能不止一个数量级的时候,我不能够追求我做到海外的 frontier lab 的水平,但我要做的的确是这样。
然后能够 release 一个国内相对领先的模型,可能是这个事情有意义的第一步。如果这个水平的模型 release 不出来,大概我们也没有必要自己花钱以及花这么大的精力去做这样一个模型,因为用谁的模型都可以。对,这个我应该回答你的问题了。
然后关于你问的友商的问题的话,友商先行,而且这个是一个很伟大的工作,他们最近又 open 了更多 open source 的工作。在追求智力这条路上,大家各自有各自的探索路径,也能够做一些合作。
张金娜:好,谢谢。那这边,对,我们中间部分还有同学有问题吗?哦,好,这位男生。
如何理解 RSI,学术界可以做什么
提问同学 5:我有一个问题想问一下两个老师。
张金娜:只能问一个老师,对,咱们课程的老规定。
提问同学 5:我想问一下,就是关于 RSI 的,你们觉得最好的定义是什么?然后如果在学术界去做的话,应该做哪一种?就是我理解,就是有一种。
张金娜:问哪位老师?只能问一位,对。
提问同学 5:要不问张老师?
张金娜:好。
提问同学 5:然后。就是我理解,就是有一种。
张金娜:一句话,你的问题,对。
提问同学 5:就是对 RSI 最好的定义是什么?然后在学术界去做,应该做哪一个比较好?
张牧涵:OK,RSI 的话,朴素理解就是,当一个模型,当一个 AI 它能力比较强的时候,我用这个 AI 去帮助去迭代这个 AI 自己。那越强的 AI,它就可以越快地、越好地再去迭代下一版的这个自己,下一代的自己。那就是会形成一个正反馈的一个闭环,那它可能就快速地就是通向那个奇点了,可能就越过这个奇点,可能就达到 AGI 了。
所以就是为什么现在大家还是很多会对 RSI 这样的一个词,然后会比较感兴趣。那其实是很会觉得就是谁可能率先掌握了 RSI 这样的一个技术,那谁的这个模型快率先越过了那一个那样的一个 point 之后,它这个模型未来就完全不需要人类的这种干预了,人类的帮助,它就开始自我快速地进化,开始迭代自己,可能迅速通向 AGI 或者 ASI 了。这就是 RSI 的一个朴素的一个定义。
然后那么就是在学术界该做什么呢?首先呢就是如果走那个大厂的这条 RSI 路线的话,我觉得光按学术界这个资源的话肯定是做不了的。对,拼算力是拼不过的。
但是我觉得有一些吧,有第一是可以做一些这种可解释性的这种研究,去帮助大家理解这个模型背后在发生什么。
然后第二就是可以做一些就是新架构的一些探索,然后最好是做一些比如说 training free 的这种架构的探索,你不需要去 training,然后但是像比如说我们实验室之前就有几个比较非常好的工作,就是 training free 的,就是可以比如说把那个 DeepSeek 的 sparse attention 再给提速个一点六倍左右,而且是无损地提速一点六倍左右,然后端到端的这个一个速度的一个提升,然后根本不需要这个 training。那就是在一些 sparse attention 等等这些架构上做一些这个文章。
那么还有一些学术界能做的方向就是比如说像我刚才说的就是这种 personalized 这种 agent,对 personalized 这种模型,我能不能以更低的这个算力,更小的这个算力,然后去快速迭代这种个性化的这种智能,等等。
张金娜:好,那我们时间关系开始下课了,我们最后一个问题。好,那请这位粉色衣服这位坐在这个台阶上很认真听讲的同学。
提高模型智力上限的关键是什么
提问同学 6:谢谢谢谢。那问一下,想问一下戴老师这个问题,就是您开头就说了,就是戴老师觉得智力是你们的追求,那如果从现在讲,您觉得大模型要追求一个更高的智力上限,最关键的一些点是哪些呢?一些点。
戴春博:因为现在在做 scaling 的过程中,其实遇到的最大的问题就是怎么样找到更多的数据,且在尽可能少的算力内来把这些数据的知识压缩到参数里面去。我觉得最重要的点应该是你是否能在数据的那个分布空间内找到的确有效的支撑的那几个向量,这个事儿很重要。
大家一般情况下没有办法在人认知的范围内来描述这个空间的支撑向量是什么,但是否有可能在数据的空间内进行一些逼近,找到这些支撑点,它能极大地提升模型训练的效率以及参数记忆的效率,这个事儿可能很本质,然后 RSI 也能推动这个事情向前走。
课程结束与现场交流
张金娜:好,我们今天非常感谢戴老师和张老师,对我们今天整个课程的内容就到这里结束,然后还有最后小小的一个环节,我们请向昊天老师为我们的嘉宾来颁奖,颁发这个证书,我们专门也准备了北大的一些证书,还有一小礼物。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!