智东西4月13日音讯，近日，在OpenAI史上最贵模子GPT-4.5发布1个多月后，OpenAI相聚首创东说念主兼CEO萨姆·阿尔特曼（Sam Altman）与GPT-4.5的3位中枢技艺东说念主员进行了一场45分钟的高信息量对谈成人快播电影，初次泄漏了这款模子研发耗时严重超期、筹备集群频繁故障、擢升旅途难以预测等诸多不为东说念主知的细节。

GPT-4.5步地启动于两年前，是OpenAI迄今为止最周全的规划，波及数百东说念主团队合作，阿尔特曼称OpenAI为了这一步地简直是“全员上阵”。

研发历程中，OpenAI团队遭受了不少“灾难性问题”。10万卡集群涌现了基础设施的荫藏的小概率、深头绪故障，为了衡量时效与性能，OpenAI的系统团队不得不“边修边训”。其中，有一个荫藏的小bug让集群频繁报错，直到锤真金不怕火进程条走过约40%才被揪出。

不外，这也匡助OpenAI打造了更为苍劲的技艺栈：如今不错仅用5-10东说念主便复刻出GPT-4级别的大模子。GPT-4至GPT-4.5的性能擢升约为10倍，取得了“难以量化但全地点增强的智能”，这点让OpenAI职工们齐感到无意。

OpenAI团队仍是意志到，要完了下一个10倍乃至百倍的性能擢升，算力已不是瓶颈，重要在于数据服从，即开辟出梗概运用更多算力，从雷同数目的数据中学到更多知识的门径。

同期，系统正从单集群转向多集群架构，改日的锤真金不怕火可能波及1000万块GPU范围的合作学习，其容错智商需要进一步擢升。

对谈中，OpenAI职工们还共享了数据长尾效应与Scaling Law之间的关系、机器学习与系统团队深度协同联想（co-design）模式的上风、无监督学习的实践与“毫不放过任何非常”的问题排查文化，全地点展现了GPT-4.5研发时代的OpenAI的念念考与收成。

除了阿尔特曼除外，参与本次对谈的3位OpenAI职工分别为Alex Paino（负责GPT-4.5的预锤真金不怕火机器学习算法）、Amin Tootoonchian（OpenAI首席系统架构师）与Daniel Selsam（研究数据服从与算法）。

以下是阿尔特曼与OpenAI GPT-4.5团队对谈视频的完整编译（为提高可读性，智东西在不违犯喜悦的前提下进行了一定的增删修改）：

01. GPT-4.5两年前已启动， 步地耗时远超预期

Sam Altman：打造一个如斯宏大的模子（GPT-4.5），究竟需要什么呢？

Alex Paino：纯粹两年前，咱们开启了这一步地。其时，OpenAI行将上线一个新的大型筹备集群，咱们团队看到了这个契机，作念了一系列责任来笃定模子需要包含的功能，进行了多数贬低风险的运行测试。

咱们为此制定了一个很长的规划，波及从系统到机器学习的整个这个词技艺栈。为了贬低风险和为锤真金不怕火作念准备是一个漫长的履行历程，而锤真金不怕火自身亦然一个止境大的工程。

Amin Tootoonchian：我认为这个历程从一出手，就需要机器学习团队和系统团队密切合作，直到咱们明确了想要锤真金不怕火什么模子，然后出手锤真金不怕火。

咱们仍是在机器学习和系统方面齐作念了预测，试图尽量松开预期和现实之间的差距。但由于咱们的责任节拍很快，还要运用最新的筹备资源，模子锤真金不怕火就成了难以提前完满商酌的事情。

咱们简直老是带着许多未处罚的问题开启锤真金不怕火，并试图在运行历程中克服挑战，取得进展。主要解法就是增多更多的筹备资源。

终末阶段是履行，这需要好多东说念主历久参预多数元气心灵和能源，才略完成锤真金不怕火历程。

Sam Altman：你以为咱们的预期和现实的差距到底有几许？

Amin Tootoonchian：系统方面，在出手的时候，咱们鄙俚离预期的现象很远。咱们老是濒临一个选拔：到底是推迟启动，恭候问题处罚，照旧提早启动并在历程中处罚问题。这老是需要衡量，要幸免不对理地蔓延进程。

但简直老是会遭受一些出东说念主意象的问题，咱们要作念的就是尽可能地处理好这些节点，处理好未知要素，并为模子锤真金不怕火制定规划。

Alex Paino：在这个步地中，咱们的宗旨是作念出GPT-4.5，这意味着其智商要比GPT-4颖异10倍。这是咱们纯粹2年前设定的运转宗旨。

这个历程中发生了好多事情，咱们在念念考到底能作念得更好，照旧会不如预期？这是一条止境复杂的历程，但最终，就咱们参预的灵验筹备而言，咱们得到了一个咱们认为达到了比GPT-4颖异10倍的模子。

Amin Tootoonchian：在履行方面，GPT-4.5步地的耗时与咱们一出手预测的相去甚远。

02. 如今锤真金不怕火GPT-4级别模子， 仅需5-10东说念主即可完成

Sam Altman：集群在从1万卡拓展到10万卡的时候，为什么遭受了这样多问题？

Amin Tootoonchian：我认为，若是系统开辟者充足强烈，大部分问题是能在小范围阶段就不雅察出来的。

还有些问题并不是大范围锤真金不怕火阶段特有的，而是原来就鄙俚出现，但范围擢升后就会变成灾难性问题，稀奇是当团队并未提前预猜想这些问题会恶化到如斯程度。

Sam Altman：有哪些事情形成了灾难性的后果？

Amin Tootoonchian：我认为基础设施的问题是大家皆知的，不管是故障率、故障类型照旧故障总量齐很高。10万卡集群是一个大范围的样本池，因此咱们也发现了算力供应商齐莫得不雅察到的问题。

收集是其中一环，单个加快器也会出问题。不外这亦然这种系统的高明之处——简直整个组件齐需要按预期责任，才略产生预期赶走。咱们的责任就是要尽量减少这种问题。

Sam Altman：在集群范围的极限上开展责任果然很迂回，但我也郑重到，作念那些不再是技艺前沿的事情变得容易多了，锤真金不怕火GPT-4.5需要数百东说念主，OpenAI简直全员上阵。

但今天若是让你们从OpenAI中挑选出一个最小的团队，用咱们所知说念的一切知识和整个的系统责任从新出手再行锤真金不怕火GPT-4，需要几许东说念主？

Alex Paino：我认为当今要作念出GPT-4级别的模子，可能需要5到10东说念主傍边。在完成GPT-4.5的历程中，技艺栈仍是有了很大改良。

其实，在咱们在锤真金不怕火GPT-4.5的历程中仍是作念了雷同的事情——咱们锤真金不怕火了GPT-4o，这是一个GPT-4级别的模子，使用了好多来自GPT-4.5研究步地的交流内容再行锤真金不怕火。进行那次锤真金不怕火所用的东说念主要少得多。

03. 数据服从是大模子冲破重要， 新一代硬件带来诸多挑战

Sam Altman：从你的角度来看呢，Dan？为什么锤真金不怕火大模子很难？

Daniel Selsam：我认为作念任何新事物齐很难。我认为即使只是发现别东说念主作念了某事，它也会变得容易得多，因为最难的部分是一出手就有作念某事的信念。我以为只是是知说念某事是可行的，就是一个超强的舞弊码，让事情变得容易许多。

Alex Paino：咱们正在将GPT预锤真金不怕火运行蔓延到之前的10倍，老是会发现一些趣味趣味的新东西，这些东西你不一定能预猜想。

Sam Altman：在预锤真金不怕火范围上完了下一个10倍或100倍的增长需要什么？

Daniel Selsam：数据服从。Transformer架构（也就是GPT）在运用数据方面止境高效，它能很好地收受和压缩信息，并完了泛化。它最大的特色就是能用筹备资源高效地收受信息。

然则成人快播电影，它从数据中取得瞻念察力的深度是有限的。当筹备智商快速增长，而数据增长相对稳其时，数据就会成为这种圭臬模式的瓶颈。这就需要算法更动，开辟出梗概运用更多算力从雷同数目的数据中学到更多知识的门径。

Sam Altman：你们认为除此除外咱们还需要什么来保持蔓延？

Amin Tootoonchian：我的谜底是对于系统的。我认为GPT-4.5所需的巨大责任量，实践上是模子规格带来的势必赶走。咱们无法用与GPT-4完全交流的技艺架构来锤真金不怕火GPT-4.5。

在现象照管方面，由于所需筹备资源已超出单集群承载智商，咱们不得不转向多集群锤真金不怕火架构。为了完了这一宗旨，咱们必须在短时候内整合多个不同的责任流。

诚然这如实匡助咱们取得了阶段性冲破，但要完了下一个数目级的性能擢升，仍需处罚若干已知但被暂时甩掉的技艺难题——这些问题是无法躲藏的。恰是这类技艺衡量不停延长着完满系统的研发周期，咱们永远在追求最优实施决议的历程中作念出计谋性弃取。

需要明确的是，系统自身并非终极宗旨，其实践产出价值才是中枢考量。就下一个10倍性能擢升而言，我认为容错智商的冲破至关紧迫。咱们需要构建与责任负载深度协同的容错机制，以显耀贬低运维焦躁。刻下超大范围系统的运维复杂度，与既往系统存在实践差异。

Sam Altman：你知说念在GPT-4.5锤真金不怕火中，由于某些组件导致失败的比例是几许吗？

Amin Tootoonchian：我莫得具体数字可供共享，但一般而言，在新一代硬件部署初期，系统运行经常濒临诸多未被充分阐明的技艺挑战。咱们选拔在问题尚未完全明确的情况下鼓舞步地，这导致初期运行失败率居高不下。

但教学标明，跟着根柢原因的识别和处罚，故障率会显耀贬低。这一表象实践上反应了咱们对基础设施阐明的深化历程——有些东说念主称之为基础设施的计帐或领略基础设施的基本问题。

履行的早期阶段简直老是相当悲凉，咱们在鼓舞步地的同期，也在连接发现和处罚新式故障模式，但最终失败率会得当下落，正常运行的时候变多。

这实践上是个优先级衡量的问题：在基础设施人命周期的早期阶段，其故障风险经常难以准确预估；而若是过度追求终极联想现象（原文为“City Estate”，联想城邦式联想），反而可能导致系统在初期阶段的可用性进展极差。

04. 筹备资源不再是主要瓶颈， 算法尚未触及表面上限

Sam Altman：诚然推理模子是咱们改日技艺栈的重要构成部分，但让咱们暂时聚焦于传统预锤真金不怕火模子的发展领域。假定咱们领有无尽的GPU算力、无尽的收集带宽和无尽的电力供应，但仍受限于刻下存在的技艺瓶颈——包括系统可靠性问题、容错锤真金不怕火门径的缺失，以及现存数据集的限定。

按照咱们每个主要GPT版块号完了100倍范围擢升的演进公法，基于刻下的技艺领域，预锤真金不怕火模子的发展究竟能达到什么水平？具体到GPT系列模子，以咱们现存的知识体系，表面上究竟梗概锤真金不怕火出什么样的模子？能作念出GPT-5.5吗？

Alex Paino：从机器学习和算法发展的角度来看，咱们尚未触及明确的表面上限。事实上，咱们才刚刚出手探索数据服从更高的算法，以及若何更充分地运用现存数据资源。这个近况止境趣味趣味——即即是像GPT-4这样的模子，很大程度上仍是在筹备资源受限的条目下开辟的，这也决定了此前大多数研究的标的。

但当今的局面仍是完全不同。自GPT-4.5以来，在某些重要维度上，数据而非筹备正成为主要的制约要素。这种转变让关系研究变得不那么令东说念主兴隆。

Sam Altman：不外这如实是一个惊东说念主的进展，而世界可能还没完全意志到：在咱们梗概构建的最好模子上，筹备资源已不再是主要瓶颈。这个转变理由深长，毕竟咱们仍是在筹备受限的环境中生计了太久太久。

05. 模子全体性能擢升可预测， 智能擢升旅途难以预测

Sam Altman：在锤真金不怕火GPT-4.5历程中，咱们学到的最特趣味的机器学习教学是什么？说说你们想共享的就行。

Amin Tootoonchian：总的来说，最引东说念主深念念的是那些偏离咱们预测的情况——稀奇是当咱们试图领略为什么实践进展会偏离预期弧线时。

Alex Paino：最让咱们诧异的发现之一是：不同机器学习组件的蔓延性进展差异巨大。有些部分能很好地蔓延，有些则不可。这是咱们在实践锤真金不怕火历程中才确凿领会到的。这段资格给了咱们好多启发。

Daniel Selsam：我认为GPT范式的两大中枢特征在于：其一，测试亏损（掂量模子在未见过的测试数据上进展横蛮的目的）可被准确预测；其二，模子性能随范围扩大呈现可预测的擢升。更神奇的是，测试亏损的贬低会以千般难以量化却又令东说念主咋舌的艰深方式，升沉为全地点增强的智能水平。

Sam Altman：你是否对此持统统乐不雅魄力？完全招供这一不雅点吗？

Daniel Selsam：其实我想说的是，从GPT-4.5测试中咱们发现了稀奇趣味趣味的表象——再行测试后，模子展现出的诸多精妙智商完全超出了整个东说念主的预期。

咱们确信它会以千般难以事前界说的方式变得更智能，而实践部署后，从用户自在度中就能不雅察到这些秘籍层面的擢升：更强的知识储备、更精确的语境领略智商、更缜密的语义把抓——这恰是那些额外测试亏损带来的魅力。在我看来，Scaling Law在这一维度上得到了完满考据。

06. 机器学习与系统团队合作密切， 不会“自扫门前雪”

Sam Altman：整个这个词锤真金不怕火历程中最积极的时刻是什么？最心爱的顾虑是什么？赫然有好多悲凉，但但愿那些悲凉仍是有所缓解了。

Alex Paino：我如实有一个这样的时刻。咱们在锤真金不怕火时代作念了好多机器学习方面的责任，我认为咱们在运行历程中作念出的一些改变产生了相当好的影响，可能比预期的还要好，这对咱们来说是一个止境令东说念主兴隆的时刻。

Amin Tootoonchian：对我来说，在锤真金不怕火的同期，咱们也同期在构建基础设施。咱们折服能特出这个性能峭壁，且咱们贪图，每个东说念主齐在履行，但这需要很万古候。这是重荷的责任，统统比我想象的要难。我的预测是错的，我低估了处罚这些问题需要的时候。

当团队终于攻克了那些重要问题，性能得到显耀擢升的那一刻，于今让我水流花落。你能赫然感受到整个这个词团队的能量转变——整个东说念主蓦地充满了劲头，带着全新的能源向最终宗旨冲刺。

最神奇的是，咱们现象追踪器上夸耀的预测完成时候从最初的两年出手不停镌汰，最终锁定在一个明确的时候节点上。这种可见的进展对团队士气的提振是难以臆测的。我认为这就是它的高明之处。

我想稀奇强调的是，机器学习的责任从未停滞。即使在锤真金不怕火启动后，这种机器学习协同联想的历程仍在连接。机器学习团队不仅主动跟进那些曾被秀美为“后续处理”的问题，还连接委派了确凿优化锤真金不怕火时候的改良。

这完满体现了咱们的团队精神——这里不存在“各东说念主自扫门前雪”的责任界限，而是一种确凿无缝的合作，这种凝华力恰是咱们最苍劲的上风。

07. GPT-4.5预锤真金不怕火是最周全的规划， 毫不放过任何非常

Daniel Selsam：外界对于此次锤真金不怕火自身的挑战性和预测准确性仍是商量好多。但事实上，这一切齐建立在极其周全的商酌基础上——你要不再详备谈谈这方面？

Alex Paino：这统统是咱们迄今为止最周全的规划。正如我所说，早在雅致启动锤真金不怕火前一年，咱们就仍是出手筹备这个步地。时代咱们进行了屡次大范围的风险限度测试运行。

咱们稀奇阻抑治安渐进地引入整个改良：从高置信度的基础建立出手——不错领略为雷同GPT-4的熟谙架构，这个建立在机器学习层面咱们仍是完全掌抓——然后像叠积木般层层重迭新脾气。

重要是要严格考据每个改良在不同范围下的蔓延性：不仅要看到性能擢升，更要确保这些擢升能跟着模子范围扩大而连接灵验。好多改良在小范围测试时进展考究，但在大范围应用中就会失效。

因此整个这个词历程中咱们齐保持着高度警惕，不停迭代完善咱们的蔓延定律门径论。通过此次风险限度实践，咱们积蓄了多数珍惜教学，这些教学将络续指挥改日GPT系列模子的开辟。

Amin Tootoonchian：我铭刻有个稀奇趣味趣味的片刻让我相称吊唁。要知说念咱们每次启动锤真金不怕火任务简直齐免不了遭受千般bug，这仍是是家常便饭了。但重要是要确保进展不受阻，得时刻证据刻下进程是否如实在正轨上，这些bug会不会对锤真金不怕火健康度形成致命影响。

诚然咱们最初止境确信存在紧要劣势，但通过搭建的整套监控体系，咱们仍是梗概精确辞别问题根源：是硬件故障？哪类硬件故障？是数据损坏？照旧机器学习模子自身的bug？或者是代码中的竞态条目？

其时的情况是，咱们同期开着多个问题商量区，千般症状琳琅满目。经过一系列bug建设后，咱们堕入了僵局：目下堆叠着多个未解问题，整个东说念主齐在苦念念冥想——这些是不同bug导致的？照旧某一个bug在作祟？

自后咱们搞了个投票，让团队成员票选最可能的根源。赶走最不被看好的选项反而掷中真相：果然是PyTorch上游的torch.sum函数出了问题，一个纯粹的乞降运算。

这个bug稀奇特趣味。要知说念咱们主要使用Triton内核，只消在某些不足轻重的边际场景才会回退到torch运算。而咱们的特定代码旅途触发的这个torch.sum函数bug，会因数据散播脾气极随机地激励行恶内存拜访——它在筹备内存偏移量时出了罪过。

最戏剧性的是，当某位工程师终于定位到问题并提交建设后，整个症状相反的报错果然全部消散了。大众兴隆地把Slack频说念从“多bug表面”集体更名为“单bug表面”，局势稀奇雀跃。

这个bug遮挡了多久呢？从锤真金不怕火早期就存在，直到进程条走过约40%才被揪出来。发现历程也充满戏剧性：其时有个复杂内核邻接调用序列，第二个调用触发了行恶内存拜访。

诚然这种崩溃频率极低（每几百甚而上千步锤真金不怕火才出现一次），很容易被动作偶发故障忽略，但咱们的团队准则就是：毫不放过任何非常。这个故事最精彩的部分就在于这种不轻言打消的宝石。

08. 咱们离联想系统还很远

Sam Altman：GPT-4.5预锤真金不怕火启动后，大众还要作念哪些责任？

Alex Paino：咱们整个东说念主齐需要鄙俚不雅察亏损弧线。除此除外，还要连接优化系统，改良在锤真金不怕火启动前未能完成的协同联想（co-design）。咱们密切监控锤真金不怕火历程中的千般统计目的，确保莫得出现预期外的非常趋势。同期从机器学习角度探索可能的改良决议。诚然预锤真金不怕火启动后数据层面的责任会暂时减少，但仍有多数任务需要处理。

Amin Tootoonchian：我认为机器学习很大程度上依赖于正确性判断。预锤真金不怕火启动后，面对多数噪声信号，咱们就像解读茶叶渣的占卜师，需要判断系统是否健康，这就是咱们的职责所在。

Sam Altman：在系统层面，什么会限定咱们进行模子锤真金不怕火？是芯片、处理器、内存、收集照旧电源？

Amin Tootoonchian：系统的高明之处在于，在进行协同联想时，责任负载不错相宜你构建的基础设施。这里莫得无边的说法说收集是瓶颈，或者内存带宽是瓶颈之类的。即使是对于并吞规格的模子，咱们不错选拔改造资源需求，咱们不错选拔创建一个愈加均衡的系统，但领有更多的内存带宽老是故意的。在莫得赶走条目的情况下很难回复这一问题。

在联想GPT-4.5时，咱们可能系统方面要具备某种属性，这种属性要经过东说念主的指挥才略产生。是以协同联想对形成模子架构和架构元素很紧迫，某种程度上将系统和机器学习方面磋议在一齐。若是系统有一种咱们不太但愿领有的属性。我联想的情况是，一切齐应该是解耦的，以给相互最大的空间。

有时候事情会磋议在一齐，咱们需要称心基础设施的要求，或者说事情本应如斯。好多时候，咱们需要一个均衡的系统、均衡的通讯。而咱们领有的最好的调度技能就是整个这些协同联想。

Sam Altman：咱们距离这样联想的系统宗旨还有多远？

Amin Tootoonchian：离阿谁宗旨还很远。构建系统的历程老是这样的：先有一个对于事物应该若何运作的联想化不雅点，然后用现存资源去长入那些差异。

我认为咱们并不是为了表面而表面，只是为了商量咱们但愿它变成什么面貌，让它完了，并尽可能地接近阿谁联想。这可能是系统帅域中最令东说念主兴隆的部分。已往东说念主们会说这是一个优雅的系统联想，而最终历史会告诉咱们这个选拔是正确照旧不实的。

Sam Altman：若是能不才次大型锤真金不怕火前取得一个机器学习问题的谜底，你们最想知说念什么？

Alex Paino：我想知说念在有限数据和特定领域下，咱们应该领受哪些算法。这诚然是个日常的问题，但如实是最重要的。

Sam Altman：今后会进行1000万块GPU或更大的同步预锤真金不怕火吗？

Alex Paino：我认为会有，但未必是传统预锤真金不怕火模式，它的面貌可能与现存技艺迥然相异，但仍会保留无监督学习的内核。

Amin Tootoonchian：我倾向于半同步模式。受物理公法限定，完全同步不太现实。

Daniel Selsam：我认为这更可能是去中心化的。肯定会有1000万块GPU共同责任在一个学习和履行任务的AI系统上，但像大脑的各个部分一样，相互并不一定会相互交流。

09. 算法改良产生重迭效应， 推动数据服从提高

Sam Altman：刻下着手进的算法和东说念主类的数据服从收支几许？改日有望追逐上吗？

Daniel Selsam：两者很难径直相比。说话学习层面上的差距肯定是巨大的，重要在于若何界说东说念主类视觉神经采选的信息量。我认为总体上算法的数据服从比东说念主类低许多。

几十年来，深度学习一直爱护算力服从。除了数据和算力的增长，确凿让东说念主惊喜的是算法改良产生的重迭效应。算法性能每次提高10%或20%，重迭在数据服从上就会有显耀后果。到目前为止，还莫得围绕数据服从进行这样的动员，因为在数据不流畅且筹备智商受限时，这一作念法并不值得。

当今，咱们正在进入AI研究的新阶段，咱们将出手积蓄数据服从的收效。我认为，当今就预测咱们会遭受无法逾越的龙套是有些愚蠢的。东说念主类大脑的运行方式肯定与咱们算法改良不同，在这方面咱们要保持严慎。但我认为要对算法改日发展保持乐不雅。

Sam Altman：更大范围的预锤真金不怕火与模子更强的学习推贤惠商之间有什么关系性吗？

Alex Paino：咱们不雅察到的是，更好的预锤真金不怕火和无监督学习经常会擢升模子的全体智能，并在泛化方面有很大匡助，这与推贤惠商是相得益彰的，而推理在提高智能方面可能会更粗笨一些。我认为它们是互补的关系。

Sam Altman：预锤真金不怕火似乎在好多事情上梗概通用，而锤真金不怕火一个模子只可让它在某一类事情上作念得很好，是这样吗？

Alex Paino：这点很趣味趣味，不外当你看到锤真金不怕火它们的数据时，就不会对这种情况诧异了。预锤真金不怕火的数据集范围止境大，咱们追求的是广度和千般性。而当谈到模子强化学习并让它不错深化地取得考究奖励信号和考究的锤真金不怕火环境时，我认为很难兼顾数据集的广度。

Daniel Selsam：我同意，但我认为还有一个要素，预锤真金不怕火实践上是在压缩数据，从而发现不共事物之间的磋议。它关乎类比，愈加概括。推理是在特定问题上需要严慎念念考的一种技能，也梗概取得许多类型问题的处罚门径。但在预锤真金不怕火历程中，在最初不同领域进行数据压缩时，不错学到更概括层面的知识。

10. 智能的实践是压缩， 数据长尾效应让Scaling Law连接灵验

Sam Altman：无监督学习为什么灵验呢？

Daniel Selsam：重要是压缩。联想的智能形态是所罗门诺夫归纳（Solomonov induction），一般而言，机器学习会辩论整个的可能性，但倾向从更纯粹的关节出手磨砺。

刻下预锤真金不怕火的实践恰是一个压缩的历程，通过找到一个最简关节来解释东说念主类迄今为止产生的所罕有据，以此完了近似抒发。

Sam Altman：下一个Token预测若何协助完了压缩？

Daniel Selsam：统计学里有一个悖论——为什么深度收集看似无法压缩却能完了泛化？正常来讲，当领有多数数据和一些小模子时，这些模子一定要资格压缩才学到了东西。

在预锤真金不怕火中，数据和模子的范围齐很大，有些东说念主就认为这种锤真金不怕火只是顾虑和插值学习，其实他们冷漠了压缩的另一种领略视角——序贯压缩（pre-quential compression），它像一个压缩器，即使数据权重很大，二进制也无需存储这些信息，运用下一个Token预测的赶走不错快速检索出有用信息，提高压缩服从。

Sam Altman：锤真金不怕火GPT-4.5的历程销耗了多数东说念主力、时候和财富，这其实不错看作念是一次考据Scaling Law的实验，而赶走说明它是灵验的，何况还会连接很万古候。Scaling Law为什么不错被称之为世界公法？

Daniel Selsam：压缩程度越高，智能就越苍劲，这具有很深刻的形而上学内涵。为什么锤真金不怕火更大的模子时候越长，压缩率就越高？这波及到好多表面，其中我心爱的是寥落暗意（Sparse Representations）。

现实中的重要看法辞退幂律散播（power law）成人快播电影，比如第100个紧迫看法可能在每100个文档里才出现一次，存在赫然的长尾效应。这种散播脾气导致需要大范围数据和算力来灵验捕捉所关系键看法，也决定了Scaling Law历久灵验存在。