欢迎来到PO文学

手机版

PO文学 > 玄幻小说 > 学霸的征途是星辰大海 > 第206章 AI界的反应 一

底色 字色 字号

第206章 AI界的反应 一

    杨老的新闻如同一场及时雨,彻底洗刷了国內关於“造神”的质疑。
    徐辰的生活也重新归於平静,每天穿梭在图书馆和实验室之间,静静等待著那些投递出去的论文开花结果。
    但他並不知道,在大洋彼岸,一颗被他半个月前隨手种下的种子,终於迎来了发芽的时刻。
    ……
    时间来到9月9日。
    这一天,,对於镁国的ai行业来说,是註定载入史册的“黑色星期二”,儘管大眾对此一无所知。
    加州山景城,谷歌总部。
    深夜十一点,google brain的实验室里依旧灯火通明。
    高级研究员大卫·陈正百无聊赖地刷著arxiv。作为一名负责gemini模型推理优化的工程师,他最近的日子並不好过。openai的gpt-5依然像一座大山压在头顶,而meta的llama系列又在开源社区疯狂背刺,谷歌这个曾经的ai霸主,如今却显得有些步履蹣跚。
    “又是这种標题党……”
    大卫看著屏幕上一篇名为《logic is also you need》的论文,撇了撇嘴。
    自从《attention is all you need》火了之后,这种蹭热度的標题简直泛滥成灾。
    “作者……徐辰?”
    大卫愣了一下。
    “这名字怎么有点眼熟?好像是那个搞定哥德巴赫猜想的数学天才?”
    出於好奇,也是出於对数学天才的一丝敬意,他没有直接划走,而是点开了pdf。
    原本只是想隨便扫两眼,看看数学家是怎么“玩票”ai的。
    然而,十分钟后。
    大卫的坐姿从葛优瘫变成了正襟危坐,眼睛死死地盯著屏幕上的公式。
    “gumbel-box几何嵌入……逻辑门控单元……这思路,有点野啊。”
    作为资深从业者,他一眼就看出了这个架构的精妙之处。它没有试图去修改transformer的主干,而是像外掛一样,巧妙地利用几何约束来修正概率生成。
    “这玩意儿……能跑通吗?”
    职业习惯让他立刻打开了colab,按照论文里的偽代码,手搓了一个极简版的demo。
    虽然没有经过大规模训练,参数也是隨机初始化的,但他只是想验证一下那个核心的“几何求交”算子是否真的可导。
    但作为大厂员工,上班时间都在忙著优化gemini的推理延迟,根本没空搞这种“私活”。
    於是,接下来的半个月里,大卫只能利用下班后的碎片时间,一点一点地復现这个模型。
    ……
    半个月后。
    看著屏幕上那条虽然抖动剧烈、但却顽强向下的loss曲线,大卫的手开始颤抖。
    “臥槽……真的收敛了?!”
    他猛地站起身,立刻拨通了杰夫·迪恩的电话。
    杰夫·迪恩是谁?
    在谷歌,甚至在整个硅谷,这个名字就是一个神话。
    他是谷歌大脑的创始人,是mapreduce、bigtable、spanner等分布式系统的设计者,是tensorflow的缔造者。
    在程式设计师圈子里流传著无数关於他的“查克·诺里斯式”笑话:
    “当杰夫·迪恩提交代码时,编译器会向他道歉。”
    “杰夫·迪恩不需要编译器,他直接写二进位机器码。”
    “光速在真空中是常数,是因为杰夫·迪恩还没优化它。”
    他是真正的“代码之神”,是谷歌技术帝国的基石。
    ……
    电话接通,那头传来杰夫·迪恩冷静而富有磁性的声音。
    “大卫,现在是凌晨一点。如果不是alphago有了自我意识,或者地球即將毁灭,你最好给我一个合理的解释。”
    “杰夫,別睡了!快看我发给你的邮件!我们可能错过了一个亿!”大卫的声音都在颤抖,“不,是错过了一个时代!”
    十分钟后。
    杰夫·迪恩坐在家里的书房,盯著屏幕上的论文和demo数据。
    他的眼神,从最初的睏倦,逐渐变得锐利,最后变成了震惊。
    作为系统架构的大师,他看到的不仅仅是算法的精妙,更是其背后对计算范式的顛覆。
    “这个中国人……他绕过了矩阵。”
    杰夫·迪恩喃喃自语。
    “现在的ai,本质上是建立在矩阵乘法之上的。无论是gpu还是我们引以为傲的tpu,其底层逻辑都是为了加速矩阵运算。”
    “但是这个slrm……”
    杰夫·迪恩的手指在桌面上轻轻敲击。
    “它的核心是几何求交和非线性变换。这些操作在现有的tpu上跑,效率极低。tpu那庞大的脉动阵列会因为无法填满数据而空转。”
    “这意味著,如果我们想大规模部署这个模型,我们现有的硬体架构……全是废铁。”
    这对於谷歌来说,是一个灾难性的结论。
    要知道,谷歌为了tpu项目,已经投入了数千名工程师和数百亿美元。tpuv4刚刚部署到数据中心,tpuv5正在流片。
    现在,突然有人告诉他:你们的路走窄了。
    “马上召开战略会议。”杰夫·迪恩拿起电话,声音不容置疑,“通知皮查伊,还有deepmind的哈萨比斯。所有人,立刻上线。”
    ……
    第二天,谷歌最高级別的战略会议室。
    会议室里的气氛,冷静得近乎压抑。
    这里坐著的,是谷歌技术体系的最高大脑:桑达尔·皮查伊(ceo)、杰夫·迪恩(首席科学家)、戴密斯·哈萨比斯(deepmind创始人)。
    屏幕上投射的,正是徐辰的那篇论文。
    “结论?”皮查伊的声音听不出情绪。
    杰夫·迪恩推了推眼镜,指著架构图上的核心模块:“从数学上讲,这是完美的。它绕过了transformer最大的缺陷——注意力机制的计算冗余。它用几何关係替代了注意力权重,这让逻辑推理变成了『查表』而不是『计算』。”
    “但是,”杰夫的话锋一转,切中了商业逻辑的要害,“这对我们现有的基础设施,是一个灾难。”
    “解释一下。”
    “我们的tpu,其核心架构是脉动阵列。这种架构是为了大规模矩阵乘法而生的。它就像是一个巨大的流水线工厂,只有当数据像洪流一样整齐划一地流过时,效率才最高。”
    杰夫调出一张对比图:
    “但徐辰提出的slrm模型,其核心算子是极值、交集和隨机採样。这些操作充满了条件判断和非线性变换。”
    “如果让tpu跑这个,就像是让一辆f1赛车去送外卖。赛车很快,但它在红绿灯和楼道里会卡死。我们的tpu利用率会从70%暴跌到5%以下。”
    会议室陷入了死寂。
    这意味著,谷歌引以为傲的算力护城河,在这个新算法面前,失效了。
    “英伟达呢?”哈萨比斯突然问道,“他们的gpu会好一点吗?”
    “好不到哪去。”杰夫摇头,“cuda核心虽然比tpu灵活,但本质上也是单指令多线程架构,依然依赖数据並行。面对这种高维几何逻辑,gpu的缓存命中率会低得令人髮指。”
    皮查伊的手指轻轻敲击著桌面。
    作为ceo,他看到的不是技术难题,而是战略危机,也是战略机遇。
    “如果这个算法是真的,那么谁先造出適合它的硬体,谁就定义了下一代ai。”
    皮查伊抬起头,目光锐利:“成立『几何计算』专项组。deepmind负责算法復现,硬体团队立刻评估tpu v6架构调整的可能性。
上一章目录下一章推荐本书加入书签

设置

字体样式
字体大小