在硅谷因为“x”而闹得满城风雨的时候,徐辰正坐在北大的研究室里,悠閒地整理著他的论文。
现在,论文的內容已经没问题了。
唯一剩下的,就是標题。
在ai界,起標题也是一门玄学。
早期的论文標题都很朴实,比如alexnet的论文《imagenet classification with deep convolutional neural networks》。中文译名:《基於深度卷积神经网络的imagenet图像分类》
后来,自从谷歌那篇《attention is all you need》(注意力机制就是你所需要的一切)横空出世后,ai圈的画风就开始跑偏了,开始在“玩梗”和“中二”的道路上一去不復返。
大家开始追求那种“语不惊人死不休”的效果。
什么《bert: pre-training of deep bidirectional transformers for language understanding》(bert这个名字是研究团队在命名时有意选择了的一个美国经典儿童电视节目《芝麻街》里的角色名),什么《yolo: you only look once》(你只需要看一次),什么《thinking like transformers》(像transformer一样思考)。
“既然来ai圈了,总要入乡隨俗嘛。”
徐辰嘴角勾起一抹坏笑。
他刪掉了原本那个中规中矩的標题,然后在键盘上敲下了一行新的文字:
《logic is also you need: geometric embeddings for reasoning in large language models》
中文译名:逻辑也是你所需要的:大语言模型推理中的几何嵌入
“致敬经典。”
“反正……我有这个实力。”
徐辰满意地点了点头。
……
论文写好了,接下来就是投稿。
不过,在投稿之前,还有一个流程要走。
虽然这篇论文是他独立完成的,但他毕竟用了学校计算中心的算力,而且现在的身份也是北大的“准博士”。更重要的是,在当前华镁ai竞爭如此激烈的背景下,这种可能涉及到国家战略安全的技术,如果不跟组织上通个气就直接发出去,万一惹出什么麻烦就不好了。
“还是得找个懂行的人把把关。”
徐辰想了想,拨通了张伟平院长的电话。
“张院长,我最近搞了个ai方面的小成果,想发篇论文。不过我对ai圈子不太熟,您看能不能帮我引荐一位咱们学校人工智慧方向的专家?”
张伟平虽然对徐辰这种“不务正业”的行为已经见怪不怪了,但听到“ai”两个字,还是稍微愣了一下。
“ai?你小子怎么又跨界了?”
“隨便玩玩,没想到搞出点名堂。”徐辰谦虚地说道。
“行吧,隨便玩玩……”张伟平无奈地嘆了口气。他太了解徐辰口中的“隨便玩玩”是什么含金量了,只是希望这小子別把人家ai圈也给闹翻天了。
“咱们学校人工智慧研究院的院长朱宋纯教授,是这方面的权威。我跟他打个招呼,你直接把论文发给他看看。”
“谢谢张院长!”
……
掛断电话,张院长给朱宋纯发了条微信语音:
“老朱啊,有个事儿麻烦你。我们院有个同学,最近对ai有点兴趣,写了篇论文,想请你把把关。那孩子年轻,想法可能比较天马行空,你多担待点,別打击孩子积极性。”
隨手,又补充道:“不过,万一……我是说万一啊,他要是真搞出了什么不得了的东西,把你那帮博士生的道心给搞崩了,你可得稳住,別太激动。”
过了几秒,朱宋纯回復一条语音消息:
“老张,你这就没意思了啊。一个大一新生,还是跨界玩ai。还能把我的博士生的道心搞崩?你当我是嚇大的?行了,让他发过来吧,我正好这会儿有空,帮你『指导指导』。”
看著这条回復,张伟平嘴角勾起一抹意味深长的笑容。
“指导?嘿嘿。”
“老朱啊老朱,希望你待会儿还能笑得出来。”
……
半小时后。
北大人工智慧研究院,院长办公室。
朱宋纯教授正戴著眼镜,审阅著一份关於“通用人工智慧(agi)”的战略报告。作为享誉全球的计算机视觉与认知科学专家,他回国后一直致力於推动华国原创ai理论的发展。
“叮咚。”
邮箱提示音响起。
朱宋纯扫了一眼屏幕。
【发件人:徐辰(数学科学学院)】
【主题:关於大模型逻辑推理能力的一点思考(附论文初稿)】
“徐辰?”
朱宋纯放下手中的报告,眼中闪过一丝好奇。
“原来刚才张伟平特意发微信来打招呼的就是他啊。这小子不是搞数论的吗?怎么突然跨界搞起ai来了?”
徐辰这个名字,最近在北大可是如雷贯耳。数院那个搞定哥德巴赫猜想的大一新生,连他这个外院的人都听说了。
带著一丝疑惑,他点开了邮件。
“朱老师您好,我是数院的徐辰。最近閒暇之余,我对大语言模型的逻辑推理问题做了一些研究,提出了一种基於几何嵌入的新方法。考虑到该技术的敏感性,特请您指正……”
“閒暇之余?”朱宋纯笑了笑,“现在的年轻人,口气倒是不小。”
他隨手点开了附件里的pdf。
映入眼帘的第一个標题,就让他愣了一下。
《logic is also you need》
“嚯,这標题,够狂的啊。”
朱宋纯挑了挑眉。
在ai界,虽然起標题向来比较隨意,什么“yolo”、“bert”满天飞。
但敢直接对標谷歌那篇奠基之作《attention is all you need》的,要么是譁眾取宠的水文,要么……就是真的觉得自己搞出了能与之比肩的顛覆性成果。
“初生牛犊不怕虎。”
朱宋纯心里並没有太当回事。每年都有无数这种“標题党”论文,声称拳打gpt,脚踢transformer,结果打开一看,全是些微创新或者缝合怪。
……
他带著几分审视,翻到了摘要和引言部分。
“符號逻辑推理模块(slrm)……將一阶谓词逻辑引入transformer……”
看到这里,朱宋纯的眉头微微皱了起来,眼中闪过一丝失望。
“又是符號ai的老路子吗?”
作为业內泰斗,他太清楚符號主义的弊端了。
上世纪的专家系统就是符號ai的巔峰,逻辑严密,可解释性强。但它有一个致命的死穴——“符號落地问题”。符號是离散的、刚性的,而现实世界是连续的、模糊的。
更要命的是,符號逻辑是不可微的。这意味著它无法像神经网络那样,通过“梯度下降”算法进行大规模的自我学习和训练。
“想把刚性的逻辑规则,硬生生嫁接到柔性的神经网络上,这就像是想把齿轮装进水流里,只会卡死。”
朱宋纯心里暗嘆,觉得这个数学天才可能在工程上还是太天真了,低估了“神经-符號”融合的难度。
“年轻人有想法是好的,但这个问题困扰了学界几十年,哪有那么容易……”
……
朱宋纯带著一丝审视,继续往下看。
然而,当他耐著性子翻到第二页,看到那个复杂的“gumbel-box”几何模型定义时,他的瞳孔猛地收缩了一下。
“等等……”
“这是……?”