国产算力真能替代 A100 吗？聊聊我在做国产 GPU 评测时的三层方法论

纸面参数没输过真实业务没赢过。这句在 AI Infra 圈内流传的段子几乎概括了国产 GPU 替代英伟达过程中最真实的尴尬——也是每一个做国产算力适配的工程师午夜梦回时的痛。很多号称单卡算力超越 A100的国产卡一放到真实的大模型训练里要么速度慢得像牛车要么动不动显存溢出、通信卡死、训练几小时就 OOM。问题从来不在 PPT 上而在你把它扔进集群之后的第 73 个小时。这篇文章我想和同行聊聊做一次靠谱的国产算力评测到底该怎么设计这套方法论。业内习惯叫它三层 Benchmark 体系也是我这两年在国产算力替代项目里踩了无数坑之后沉淀下来的工作框架。如果你正在做国产算力选型、正在被老板追着要一份到底能不能切的结论报告或者只是对为什么国产卡这么难用感到好奇这篇文章值得你花十分钟看完。一、先破题Benchmark 不是跑分而是体检买手机我们看安兔兔跑分买显卡我们看鲁大师买企业级 GPU 做大模型表面上也需要一套跑分体系。但如果你真以为 Benchmark 的目的是跑出一个好看的数字去写 PR 稿那就彻底走偏了。英伟达的生态太好了——CUDA 闭源、工具链完整、社区积累了十几年的优化经验。国产芯片要对标的不只是硬件而是**硬件 编译器 算子库 框架 运维工具链 社区生态**整个立体空间。所以做 Benchmark 的核心目的从来不是帮厂商宣传峰值参数而是摸清它的真实脾气和底线看它能不能接住你公司的真实业务。换句话说Benchmark 不是跑分是体检不是营销材料是验伤报告。这个认知差异决定了你是执行脚本的人还是设计评测体系的人。二、第一层Micro Benchmark —— 扒开马甲看硬件的真肌肉这是最基础的一层体检排除一切框架干扰只看硬件本身的肌肉有多发达。测什么这一层的目标非常纯粹逼近硬件的理论极限测三件事。第一单卡理论算力FLOPS/TOPS。最简单直接的方法就是跑满血的矩阵乘法GEMM不同精度都要测FP32、FP16、BF16、INT8。这是底线如果这里都跑不到宣称值的 70%后面一切免谈。第二显存与带宽HBM Bandwidth。显存容量决定你能塞多大的模型带宽决定你喂数据的速度。大模型时代很多瓶颈不在算力而在显存带宽——这点很容易被忽略。第三也是最关键的——底层通信能力。这就是我们熟悉的nccl-tests以及华为昇腾的对应物hccl_test。测两张卡之间、两台机器之间的实际互联带宽看有没有丢包、延迟多高、抖动多大。真正的坑在哪里很多人在这一层只测单卡算力然后得出国产卡还行的结论。这是典型的新手错误。国产算力芯片最大的坑往往不在单卡算力上而在跨节点通信的延迟抖动上。你可能会遇到这种场景单卡跑 GEMM 确实漂亮两卡私有互联也还行但一旦扩展到 64 卡、256 卡集群All-Reduce 性能断崖式下跌P99 延迟抖得像过山车。这种问题在单机测试里你永远发现不了但它会直接把集群 MFU 干到个位数。所以第一层我的核心关注点是两个通信稳定性和功耗/发热表现。理论峰值是厂商的故事稳定性才是你自己要讲的故事。三、第二层Macro Benchmark —— 生态好不好算子说了算裸机跑分再漂亮如果算子生态烂、框架适配差写出来的代码还是跑不快。这一层主要看硬件和主流软件栈PyTorch、DeepSpeed、Megatron-LM、vLLM结合得好不好。测什么典型算子性能。跑一下 FlashAttention、LayerNorm、RMSNorm、RoPE 这些大模型里最核心的算子看看它们在国产卡上的实现效率如何。注意是否支持和支持得好不好是两码事。很多厂商文档里写着已支持 FlashAttention实测下来性能只有 CUDA 版本的三分之一——这种支持在大规模训练里基本等于没有。模型级吞吐Throughput。拉一个标准的开源模型Llama-2-7B、Qwen-14B、DeepSeek-V2用标准的 PyTorch DDP 或 DeepSpeed 跑一跑看前向/反向传播的速度。混合精度和量化支持。BF16 训练支持到什么程度INT8/INT4 推理量化能不能用这些直接影响最终的部署成本。真正的痛点大模型迁移到国产硬件最大的痛点往往不是跑不起来而是能跑但没法开最优策略。举个典型例子你想用 FlashAttention-2 把训练提速 2 倍结果国产卡只支持早期版本的 FlashAttention或者不支持某些特定的 mask 模式。于是你要么降级要么自己啃着厂商的算子库手写一份——而这个改造成本在项目 ROI 评估里往往被严重低估。另一个现实是从 CUDA 迁移到 CANN昇腾或者某国产架构不是改几个 import 就能搞定的。你要重新适配通信库、重新校准混合精度、重新调度 Kernel 融合策略。每一个差不多最终都会变成训练不收敛、loss spike、显存爆炸。所以这一层我最看重两件事算子完备度和迁移改造成本。前者决定你能不能开最优加速策略后者决定这条路走不走得起。四、第三层End-to-End Benchmark —— 让硬件在真实业务里挨炼这是最核心、也是集群运营方价值最大的一层。它不是跑一个孤立的模型而是把硬件放到真实业务流水线里去烤。测什么MFUModel Flops Utilization模型算力利用率。这是一个极其关键的黄金指标。它衡量的是你的硬件理论上有 100 分的能力在真实训练任务里到底发挥出了几分给一个参考系A100 在精心调优的 Llama 训练中能跑到 50%H100 能跑到 40–50%因为理论峰值太高分母大国产卡初期很多时候只有 10%–20%甚至个位数一个 MFU 只有 15% 的集群意味着你花 1000 万买的卡实际只有 150 万在干活。这不是技术问题这是经营问题。训练/推理的真实吞吐。推理看 Tokens/s每秒吐多少字、TTFT首 Token 延迟训练看 Samples/s 或 Tokens/s以及跑完一个 epoch 要多久。长周期稳定性与容错能力。这是我个人觉得最被低估、也最能体现评测深度的一环。跑 1 个小时没问题不代表什么大模型预训练动辄几周几个月。真正要测的是连续跑 3 天、7 天会不会出现 ECC 错误、硬件掉卡会不会有慢性显存泄漏最终 OOM节点宕机后通过 Checkpoint 恢复训练要多久在开启 TP张量并行、PP流水线并行、ZeRO 切分之后集群整体是否还稳对算力租赁、多租户场景来说不稳定比跑得慢更可怕。跑得慢只是赚得少不稳定是直接赔钱。所以在真正主导评测时我会刻意设计一些破坏性测试——人为拔网线、kill 进程、模拟节点宕机看看弹性调度和 Checkpoint 恢复机制扛不扛得住。这些东西厂商不会在白皮书里告诉你但它是你真正上生产之前必须自己趟一遍的。五、关于 Benchmark 这件事的一点认知做国产算力替代这两年我越来越觉得一个事实这个行业最稀缺的不是会跑脚本的工程师而是能把评测这件事做完整的人。什么叫完整我的理解是一个靠谱的评测者应当同时具备三个视角。第一是硬件视角。知道芯片的理论峰值在哪知道带宽和算力哪个会先成为瓶颈知道 ECC、RAS、热功耗这些硬件指标在大规模集群里意味着什么。第二是框架视角。知道 PyTorch、DeepSpeed、Megatron 这些框架在底层是怎么调度计算和通信的知道从 CUDA 迁到国产架构时真正的工作量在哪里知道哪些算子是性能关键路径。第三是业务视角。也是最容易被工程师忽略的一点。知道你们公司的真实负载是什么——是预训练还是微调是短上下文还是长上下文推理是多模态 VLA 还是纯文本不同业务对硬件的敏感点完全不一样。一块在 LLM 推理里表现平平的卡可能在 CV 训练里是性价比之王。这三个视角缺一个评测结论就会失真。很多厂商评测报告只讲硬件和框架最后结论飘在空中业务方看完完全不知道那到底该不该切。一份真正有价值的评测报告输出的不是一张跑分表而是**在我们的业务场景下这块卡能跑出多少真实吞吐、瓶颈在哪里、改造要投入多少人月、生产环境稳定性风险在哪** 这样一套完整的决策依据。这也是我这两年做这件事感受最深的一点Benchmark 的终点不是数字而是决策。六、写在最后做完这一整套体系你会发现评测的核心从来不是技术而是认知。新手眼里Benchmark 是脚本工程师眼里Benchmark 是数据架构师眼里Benchmark 是决策而对真正做国产算力替代的团队来说Benchmark 是一个关于我们到底敢不敢 all-in 这块卡的商业判断。国产算力这条路现在还很难走但它必须走。CUDA 生态不是一天建起来的同样国产生态也不会一夜之间追平。我们这些在一线做适配、做评测、做集群运营的人本质上是在用自己的踩坑时间为整个生态的成熟做铺路石。希望这篇方法论能帮同行少踩一些坑。也欢迎在评论区聊聊你在国产卡适配中遇到过的最离谱的 bug——我赌一定比我遇到的还离谱。如果觉得有帮助点个赞/收藏/转发。后续我会继续分享 AI Infra、集群运维、国产算力落地的实战经验。