qq邮箱

DeepSeek又发新模型，小而美玩出新高度_我的网站

一 |     （文/观察者网 刘媛媛 编辑/吕栋）          7月17日，以“智能伙伴，共创未来”为主题的2026世界人工智能大会（WAIC）在上海开幕，海光信息携CPU、DCU全系列产品以及网络互联、整机解决方案亮相，展示了面向AI时代的自主算力底座与全链路软硬一体化能力。         观察者网在现场了解到，展区内，海光CPU系列面向服务器、数据中心等通用计算场景提供算力支撑；DCU系列作为高端AI加速芯片，支持全精度浮点及多类型整数计算，兼容主流软件生态，支持训练与推理；端侧嵌入式产品，如运动控制系统、AI一体机、云终端等，则推动AI从“能对话”向“能干活”演进。

二 |          为更了解海光信息在AI算力领域的布局与思考，大会期间，观察者网等媒体与海光信息总裁助理兼智能计算产品部总经理杜夏威展开对话，围绕云边端协同、开放生态建设、Token经济等话题进行了深入交流。

三 |     就在刚刚，DeepSeek开源了一个3B模型DeepSeek-OCR。虽然体量不大，但模型思路创新的力度着实不小。

四 |                    众所周知，当前所有LLM处理长文本时都面临一个绕不开的困境：计算复杂度是平方级增长的。         以下为对话实录：          提问：这次WAIC，海光展示了嵌入式AI的布局，算力从云端往端侧走，您觉得最大的应用机会在哪些场景？          杜夏威：端侧确实是AI一个非常重要的入口。序列越长，算力烧得越狠。

五 | 这次不管是会场的报告，还是我们展出的产品方案，都在强调云边端全域的协同。因为端侧的触达面与数据中心端处于整个链条的两端，依托端侧产品可以更多地去拓展和覆盖市场侧的需求。         同时，端侧与数据中心端之间也有相应的耦合与协同。数据中心提供的强劲算力以及Token输送，一方面可以支撑端侧的应用场景，另一方面也可以作为端侧的高端算力补充。在Token快速发展的背景下，这样的方式能够更有效地实现市场用户和场景侧的覆盖。         提问：海光DCU一直在强调开放架构，从实际落地来看，开放架构给开发者和合作伙伴带来的最大便利是什么？          杜夏威：海光始终在坚持开放的原则，这里面有几个维度的考量。                             于是，DeepSeek团队想到了一个好办法。既然一张图能包含大量文字信息，而且用的Token还少，那不如直接把文本转成图像？这就是所谓的“光学压缩”——用视觉模态来给文本信息“瘦身”。         第一个维度是从长线发展的角度来看，我们更像是为飞轮的启动提供点火和助力，保障它能够进入初期运转的状态。但伴随AI产业链、软件栈以及模型的快速发展，除了自身贡献力量之外，我们也需要依赖生态侧的力量。         通过开放的方式，一方面可以吸引更多开发者和伙伴加入以海光算力为核心的生态；另一方面也可以依托他们的力量，让大家在各自擅长和专注的领域发挥优势。                   而OCR正好天然适合验证这个思路，因为它本身就是在做“视觉→文本”的转换，而且效果还能量化评估。                             论文显示，DeepSeek-OCR的压缩率能达到10倍，OCR准确率还能保持在97%以上。

六 |          第二个维度是，AI芯片以及DCU软件栈的发展需要形成全链条闭环，才能实现对各类场景的有效支撑。我们不仅聚焦于海光CPU、DCU和自身的软件栈，也致力于拉动整个产业链进入开放状态。                   啥意思呢？就是说，原本需要1000个文本Token才能表达的内容，现在只用100个视觉Token就搞定了。即使压缩率拉到20倍，准确率也还有60%左右，整体效果相当能打。         具体而言，我们一方面逐步开源开放自身的软件栈，另一方面联合国产GPGPU生态中的不同芯片厂商，推动软件栈和统一接口层面的开放合作，尽可能降低用户在不同芯片之间切换的额外时间和人力成本。         第三个维度是，希望通过这样的动作，引领和带动国产GPGPU厂商和生态的良性发展。                   OmniDocBench基准测试结果显示：                    只用100个视觉Token，就超过了GOT-OCR2.0（每页256个Token）的表现；          用不到800个视觉Token，干翻了MinerU2.0（平均每页超过6000个Token）。整个产业链条的健壮和良性循环，是所有芯片厂商和模型公司实现可持续发展的前提和基础。                        在实际生产中，一块A100-40G显卡就能每天生成超过20万页的LLM/VLM训练数据。

七 | 20个节点（160块A100）直接飙到每天3300万页。                             DeepSeek-OCR由两个核心组件组成：                    DeepEncoder（编码器）：负责图像特征提取和压缩；          DeepSeek3B-MoE（解码器）：负责从压缩后的视觉Token中重建文本。         提问：您此前提出过“算力指标”与“Token吞吐量”并重的观点。本届WAIC上，海光更想传递的是算力有多强，还是算力转化为Token的效率有多高？          杜夏威：我们始终坚持以端到端的视角来看待底层算力对上层业务的支持。无论是之前大家谈论大模型兼容度，还是后来谈论模型适配和Token吞吐量，我们最核心的检验指标始终是：海光DCU芯片能否有效支撑上层的业务逻辑。                        让我们来重点说说DeepEncoder这个引擎。                   它的架构很巧妙，通过把SAM-base（8000万参数）和CLIP-large（3亿参数）串联起来，前者负责“窗口注意力”提取视觉特征，后者负责“全局注意力”理解整体信息。

八 |          因此，如果行业普遍以Token作为衡量单位来评价芯片或模型的算力、智能化程度，我们也倾向于以同样的视角、结合用户习惯，来评价海光DCU对上层的支撑能力。                   中间还加了个16×卷积压缩器，在进入全局注意力层之前把Token数量大幅砍掉。                   举例而言，一张1024×1024的图像，会被切成4096个patch token。但经过压缩器处理后，进入全局注意力层的Token数量会大幅减少。                   这样的好处是，既保证了处理高分辨率输入的能力，又控制住了激活内存的开销。                   而且DeepEncoder还支持多分辨率输入，从512×512的Tiny模式（64个Token）到1280×1280的Large模式（400个Token），一个模型全搞定。

九 | 这一次WAIC，我们就是按照这样的逻辑来呈现自身的技术和产品的。                   目前开源版本支持的模式包括原生分辨率的Tiny、Small、Base、Large四档，还有动态分辨率的Gundam模式，灵活性拉满。         提问：海光DCU已在20多个关键行业、300多个应用场景落地，但在大模型推理商业化方面，行业普遍面临算力投入高、回报周期长的困境。                             解码器用的是DeepSeek-3B-MoE架构。海光如何帮助客户缓解这个问题？          杜夏威：我们主要从两个视角来推进。

十 |          第一个视角是作为算力供应方，要把握好自身的技术和产品，保障对模型快速迭代的有效支撑。过去一段时间，我们积极推进了市面上几乎所有主流大模型的适配，同时也在打磨芯片对上层Token吞吐的效率。                   别看只有3B参数，但采用了MoE（混合专家）设计——64个专家中激活6个，再加2个共享专家，实际激活参数约5.7亿。这也让模型既有30亿参数模型的表达能力，又保持了5亿参数模型的推理效率。                   解码器的任务就是从压缩后的视觉Token中重建出原始文本，这个过程可以通过OCR风格的训练被紧凑型语言模型有效学习。                   数据方面，DeepSeek团队也是下了血本。         第二个视角是，这次WAIC我们也在积极呼吁，站在光合组织的角度，倡导产业链共同关注Token经济的良性循环，我们不希望重蹈当年软件行业在价值变现和商业闭环上的覆辙。                   从互联网收集了3000万页多语言PDF数据，涵盖约100种语言，其中中英文占2500万页。                   数据分两类：粗标注直接用fitz从PDF提取，主要训练少数语言的识别能力；精标注用PP-DocLayout、MinerU、GOT-OCR2.0等模型生成，包含检测与识别交织的高质量数据。         Token性价比的提升，是整个产业链共同努力的结果，我们应该享受这样的红利。但同时，我们也不应该以低价来衡量算力、模型和Token产业的价值，而应该突出它们对产业变革的贡献。                   对于少数语言，团队还搞了个“模型飞轮”机制——先用有跨语言泛化能力的版面分析模型做检测，再用fitz生成的数据训练GOT-OCR2.0，然后用训练好的模型反过来标注更多数据，循环往复最终生成了60万条样本。         性价比会随着技术迭代持续提升，但与此同时，必须保障产业链各环节获得合理的商业利益，这样才能形成正向循环。

十一 |          提问：您刚才提到Token正在成为AI时代的“数字石油”。对普通企业来说，Token经济到底意味着什么？它会怎样改变企业使用AI的方式？          杜夏威：Token的使用已经渗透到了个人层面，很多To C业务都能感受到Token带来的变化。                   此外还有300万条Word文档数据，主要提升公式识别和HTML表格解析能力。                   场景OCR方面，从LAION和Wukong数据集收集图像，用PaddleOCR标注，中英文各1000万条样本。对于B端用户，无论体量大小，都应该积极拥抱Token经济，尤其是中小企业，它们既是产业上下游的长尾，也是未来产业发展的新生力量，需要重点支持。                             DeepSeek-OCR不仅能识别文字，还具备“深度解析”能力，只需一个统一的提示词，就能对各种复杂图像进行结构化提取：                    图表：金融研究报告中的图表可以直接提取为结构化数据；          化学结构式：识别并转换为SMILES格式；          几何图形：对平面几何图形进行复制和结构化解析；          自然图像：生成密集描述（dense captions）。                        这在STEM领域的应用潜力巨大，尤其是化学、物理、数学等需要处理大量符号和图形的场景。                   第一作者Haoran Wei此前曾供职于阶跃星辰，期间发布并开源了GOT-OCR2.0系统                    值得注意的是，DeepSeek团队在论文里还提出了一个脑洞大开的想法——用光学压缩模拟人类的遗忘机制。                   人类的记忆会随时间衰退，越久远的事情记得越模糊。DeepSeek团队想，那能不能让AI也这样？于是，他们的方案是：                    1. 把超过第k轮的历史对话内容渲染成图像；          2. 初步压缩，实现约10倍的Token减少；          3. 对于更久远的上下文，继续缩小图像尺寸；          4. 随着图像越来越小，内容也越来越模糊，最终达到“文本遗忘”的效果。                   这就很像人类记忆的衰退曲线，近期信息保持高保真度，久远记忆自然淡化。         我们通过两种方式来支撑中小企业。                   虽然这还是个早期研究方向，但如果真能实现，对于处理超长上下文将是个巨大突破——近期上下文保持高分辨率，历史上下文占用更少计算资源，理论上可以支撑“无限上下文”。

十二 | 一种是通过云原生的算力和Token服务，让中小企业无需自建即可便捷地获取Token，尝试以大模型或智能体来升级业务。另一种是，对于身处高精尖或细分领域的企业，我们提供符合其预期的私有化算力规模，保障敏感数据和高价值资产能够在企业自己的业务体系内安全使用。         “云上+私有化”两种方式并行，既能提供低资产投入、高便捷性的云上Token服务，也能提供符合质量需求的中小规模私有化部署。                             简言之，DeepSeek-OCR表面上是个OCR模型，但实际上是在探索一个更宏大的命题：能否用视觉模态作为LLM文本信息处理的高效压缩媒介？                    初步答案是肯定的，7—20倍的Token压缩能力已经展现出来了。                   当然，团队也承认这只是个开始。单纯的OCR还不足以完全验证“上下文光学压缩”，后续还计划开展数字–光学文本交替预训练、“大海捞针”式测试，以及其他系统性评估。当企业需要快速迭代时，通过云上算力来支持；当业务进入可闭环状态时，通过私有化部署来保障数据安全和Token质量。

十三 |          提问：海光在软件栈建设上，从“可用”到“好用”目前走到了哪一步？          杜夏威：我们现在已经不再仅仅强调“可用”了。                   不过不管怎么说，这在VLM和LLM的进化路上，又多了一条新赛道。

十四 |                    去年这个时候，大家还在卷怎么让模型“记得更多”。今年DeepSeek直接反其道行之，不如让模型学会“忘掉一些”。                   确然，AI的进化，有时候不是做加法，而是做减法。

十五 | Day0级的适配已经非常普遍，我们更多关注的是是否能够开箱即用、开箱即好用，通过性能和Token吞吐来保障用户体验。         此外，我们也开始转向前瞻性布局，推动芯片与模型的紧耦合协同。小而美，也能玩出大花样，DeepSeek-OCR这个3B小模型就是最好的证明。

十六 |                    GitHub主页：http://github.com/deepseek-ai/DeepSeek-OCR          论文地址：https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek\_OCR\_paper.pdf          模型下载：https://huggingface.co/deepseek-ai/DeepSeek-OCR                    本文来自微信公众号：APPSO （ID：appsolution）。我们已经针对部分大模型厂商的下一代模型迭代，提前开展芯片与模型的协同适配。

十七 | 这样才能从根本上解决问题，确保发布即可用，可用即好用。         提问：今年超节点非常热，去年很多还在发布阶段，今年已经落地了。您认为接下来最大的瓶颈是什么？          杜夏威：超节点成为WAIC的热点，呼应了模型快速迭代、走向更大规模参数量的趋势。

十八 | 海光的超节点今年已进入量产状态，我们联合光合组织上下游及整机合作伙伴，推出了基于海光CPU/DCU芯片的超节点方案。         除了硬件本身的量产，我们还需要关注服务能力的打磨，特别是软件栈的完善度。

十九 | 在大模型推理场景中，PD分离和PV Cache缓存等技术手段对性能效率的提升至关重要。         另一个值得关注的问题是，随着超节点规模扩大，故障率也会随之上升。海光在这方面积累了较多经验，在训练侧和推理侧的故障管控与快速恢复方面，已形成了一套成熟机制和软件补偿方案。

|          所以接下来需要重点推进两个维度：一是软件系统工程化来保障最优性能，二是可用性与稳定性来保障大规模部署后的服务可持续性。         提问：现在大模型能做到万卡级的已经不多了，但十万卡级其实没有一个单一的模型能完全撑满。这是否意味着未来的超节点要支撑多个大模型进行异构运算？这会带来什么问题？          杜夏威：以万卡或十万卡支撑单一用户时，国内真正做基模的厂商是聚焦的。他们需要持续的模型迭代，对训练集群几乎是锁定状态，可能每个月都要完成一次模型迭代。

| 因此，我们要有能力提供十万卡级的单一系统，来支撑单一模型的训练和持续迭代，这是我们具备的能力之一。         另一个维度是推理侧，现在已经进入海量并发的状态。用户喜欢用什么模型，我们不应绑定或限制。未来的十万卡集群还需要保障另一种能力：在高并发下，支撑各类头部模型实现高性能的Token吞吐。         这两种场景的特点完全不同，对我们的考验也不一样，所以我们需要围绕海光芯片的十万卡交付，同时做好这两个层面的部署和支持。

Current article:http://www.kelozhaichongbaoshuo.pics/twhume/cvt.html

Published on:06:56:10