人类的记忆是出了名的不讲道理：越重要的事越容易忘，越无聊的八卦反而烙在脑子里挥之不去。AI 的记忆也同样有它的怪脾气。你给它一句短话，它理解得干净利落；你丢给它三百页文档，它立刻变成了一个“热心但糊涂的志愿者”，该记的不记，不该记的倒是记得牢，最后总结出来的内容像你妈给你转达你爸转达你奶奶转达你叔叔说的话——每一环都诚恳，每一环都变形。
于是问题来了：长上下文为什么这么难？不是说模型无所不能吗？
很遗憾，不是。长上下文对大模型来说，是世界上最难的事情之一——比写代码、写诗、写情书都难。因为这件事不是“会不会”，而是“能不能”；不是智商问题，而是体力问题。
要理解这一点，先得承认一个事实：大模型根本没有“记忆”。没有抽屉、没有硬盘、没有一个它能偷偷放你文档的地方。你给它长文，它做的不是“记住”，而是一个非常计算味的动作：把整段文本切成一串向量，再让所有向量彼此“互相观看”，在这张巨大网里找出关系。文本越长，向量越多，关系越复杂，计算就越像奔跑的马拉松。
它不是记住，而是每次都从头到尾重新计算。你让它解释一段，就像让它每次都把整本《资治通鉴》重新读一遍并即时总结。它不是忘，是累。
真正的麻烦来自 Self-Attention 的天生昂贵。Self-Attention 的原则很浪漫：每个词都要看所有词，彼此理解彼此。这听起来像乌托邦式的民主会议，实际却是典型的计算灾难。如果文本长度是 N，这种“大家互相看”需要 N×N 次计算，也就是著名的 O(N²)。
几百 token 时没事；几千 token 时模型开始喝咖啡；一万 token 时 GPU 已经通红；十万时工程师开始犹豫自己是不是走错行；百万时，显卡和工程师一起申请年假。
人类读长文靠跳读、靠忽略、靠凭直觉找重点；模型不行，它必须把所有 token 全部算过一轮再说。
长上下文真正难的不是“理解”，而是“计算”。
但计算撑住了，也还有第二座大山：模型的注意力会被稀释。注意力机制本意是让模型找出文本里最重要、最相关的内容，可当上下文从 1000 token 膨胀到 100,000 时，重点会在巨量噪音里被冲得干干净净，仿佛你在一个人声鼎沸的音乐节里试图找到朋友——灯太暗、人太多，你甚至怀疑自己根本没有朋友。
模型也一样。上下文越长，它越容易抓不住核心、搞不清主线，忘掉前文的设定，甚至自己和自己打架。不是智力不足，而是注意力总量有限，被稀释成了均匀的白开水。
第三个难点埋在模型的内部结构里：Transformer 本质上是“短记忆动物”。它的表示空间天生偏向保留局部模式，而不是维持长达十万字的全局结构。语言模型擅长的是风格、连贯性、情绪、思维链，擅长抓“模式”，但并不擅长保存“细节”。
它能轻松总结全篇散文，却很难告诉你第 14 万行里具体写了哪句。这不是因为它懒，而是因为它内部没有一个设计来保留长距离、精细细节的结构。它更像写综述的学者，而不是做逐字抄写的书记员。
可那它到底是怎么“记”长文的？
实际上是三步：
它对小片段理解很好，能把 100 字以内的块吃得很透。它会建立全局关系，让重要片段互相“高关注度连接”。就像你读小说时会自动把“第一次出场的嫌疑人”与“第七章的关键证据”连起来。它会自动提炼主题、主线、关键角色，最终压缩成一个相对紧凑的向量表征。
但你要是让它说出一份三十万字会议纪要第 142,008 行的原话，它绝对冒汗。因为这一行早就被表示压缩吞掉，只剩下模糊的语义影子，而非逐字逐句的记录。
那为什么越来越多模型号称能处理“百万上下文”？
因为工程师开始堆魔法了。比如扩展 RoPE（旋转位置编码），让模型的位置信息更稳定；用滑动注意力、分块注意力、稀疏注意力、树状注意力，把注意力只放在必要区域；甚至用外部记忆、用向量数据库，用 RAG 混合，把“记忆”外包出去。
这些手段的本质，就是让模型能够像人一样“跳读”“挑重点”“查阅笔记”，不再傻乎乎地把所有 token 都看一遍。
一句话总结：如果语言模型是“会说话的概率机器”，Self-Attention 是它的灵魂，那么长上下文就是让这台概率机器在极度拥挤的信息海里既不溺水，还要精准找到你要的那根稻草。难的不是理解，而是精力分配；硬伤不是文本长度，而是注意力、计算量、结构极限与信息稀释。
这就是为什么“让模型读懂一百万字”是 AI 工程史上最难啃的骨头之一。
更多我的博客文章>>>
