yangfan

基于SGLang的大模型推理实践——从benchmark方法论到部署方案选型与调优

在 NVL72 机架级系统上使用 Wide Expert Parallelism 扩展大型 MoE 模型

从 Prefill/Decode 两阶段、KV
Cache、Continuous Batching 到 PD
分离，系统讲清楚大模型推理的工程基础。

【大模型基础设施工程】11：推理引擎基础

从 NVLink / NVSwitch / NVL72 到
InfiniBand NDR 与 RoCEv2，再到华为 CloudMatrix、阿里
HPN、腾讯星脉，系统梳理万卡集群互联的工程选型与踩坑。

【大模型基础设施工程】04：互联与网络——NVLink、InfiniBand、RoCE 与国产替代

LLM推理到底需要什么样的芯片？

AF分离简析

LLM 推理提速：Attention与FFN分离(AFD)方案解析

DeepSeek V3/R1 推理效率分析（1）：关于DeepSeek V3/R1 Decoding吞吐极限的一些不负责任估计

GitCode是面向全球开发者的开源社区,包括原创博客,开源代码托管,代码协作,项目管理等。与开发者社区互动,提升您的研发效率和质量。

昇腾超大规模MoE模型推理部署技术-开源周

TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and support state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in performant way. - TensorRT-LLM/docs/source/blogs/tech_blog/blog5_Disaggregated_Serving_in_TensorRT-LLM.md at main · NVIDIA/TensorRT-LLM

Disaggregated Serving in TensorRT-LLM

Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs

LLM关于PD分离的最新实测

彻底搞懂MoE的EP并行（基于vLLM）

MoE并行策略在推理场景下的比较

被好几个团队的人追着要渣 B 来分析一下 DeepEP 的工作, 公司内外的团队都有...简单的一句话说, 非常棒的工作,很多细节都值得学习.   但是还有一些硬件上的缺陷, 在 DeepSeek-V3 的论文中提出的建议要结合在一起看就会更清楚了. 我们还是由浅入深来谈谈 EP 并行, 并进一步分析一下这份出色的工作. 顺便展开讨论一下 Scal...

分析一下 EP 并行和 DeepSeek 开源的 DeepEP 代码

A guide to LLM inference and performance

FlashMLA: Efficient MLA decoding kernels. Contribute to deepseek-ai/FlashMLA development by creating an account on GitHub.

A Deep-Dive Into the New Flash MLA Kernel

Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures

deepseek部署引发的显存占用及吞吐量理论上限思考

大模型推理 & memory bandwidth bound (1) - 性能瓶颈与优化概述

！！！DeepSeek V3/R1 推理效率分析（1）：关于DeepSeek V3/R1 Decoding吞吐极限的一些不负责任估计

！！！DeepSeek V3/R1 推理效率分析（2）: DeepSeek 满血版逆向工程分析

计算DeepSeekV3训练的MFU

A100/H100 太贵，何不用 4090？

LLM时代的transformer参数量、计算量、激活值的分析

Learn if LLM inference is compute or memory bound to fully utilize GPU power. Get insights on better GPU resource utilization.

Zhihu

Roofline Model与深度学习模型的性能分析

分析transformer模型的参数量、计算量、中间激活、KV cache

[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）

当计算撞上内存墙：Attention！注意力机制及其优化算法浅析

如何为LLM推理任务选择正确的GPU

GPU 进阶笔记（一）：高性能 GPU 服务器硬件拓扑与集群组网（2023）

万字长文解析：大模型需要怎样的硬件算力

性能system design