Your current location:Home > Latest news text

复仇者联盟2

摩尔线程发布技术白皮书:破解长上下文推理成本瓶颈_我的网站

傲慢与偏见

A |     

凤凰网科技讯 8月24日,摩尔线程正式发布《MTT S5000 Prefill-as-a-Service技术白皮书》,基于旗舰级AI训推一体智算卡MTT S5000,提出Prefill-Decode异构解耦方案,面向AI Agent、代码生成、超长文档分析等长上下文推理场景,旨在破解推理成本瓶颈。白皮书指出,大模型输入上下文规模进入百K至1M级别后,Prefill(预填充,计算密集型)与Decode(解码,访存密集型)在同一资源池混跑造成结构性算力错配。解决方案是将二者彻底解耦,分别运行在各自最契合的硬件资源池上,实现单位Token基础设施成本大幅下降。MTT S5000硬件特性与Prefill任务高度契合:提供高稠密算力压缩首字时延,原生支持FP8全精度计算,并全面兼容CUDA及PyTorch、vLLM等主流推理框架。实测数据显示,在64K上下文场景下,单机Prefill吞吐达95,920 tok/s,按智谱API定价测算,满负载下单机月收入可达64.6万元;400K极限长序列场景TPM达2.6MTokens,吞吐平稳可控。摩尔线程表示,大模型产业竞争下半场本质上是推理效率与商业回报的较量,该方案旨在帮助企业在万亿参数与Agent时代降低总拥有成本。    
总台记者今天(13日)从山西大同市平城区人民政府了解到,为加强地方文物保护工作,根据《中华人民共和国文物保护法》《山西省实施〈中华人民共和国文物保护法〉办法》等法律法规的相关规定,大同古城内以城墙为界,东至和阳门、南至永泰门、西至清远门、北至武定门,古城内所有区域均划定为地下文物保护区。

B | 完整白皮书已在官网发布。

C |

据了解,大同古城是在明代大同府城基础上全面修复的大同府城主城,包括古城墙、护城河、城内文物建筑、古民居及传统街巷,城墙内面积约3.5平方公里。大同古城内的文物古迹数量众多,现已对外开放的包括华严寺、善化寺、关帝庙、九龙壁等。(总台记者 王曦 宋振兴)

Current article:http://www.kelozhaichongbaoshuo.pics/list_vjm7/2e8fo.htm

Published on:17:04:36


Related reading
Copyright © 2020-2099 复仇者联盟2 All Rights Reserved 复仇者联盟2 Copyright