yangfan

AF分离简析

Ascend Inference Solution 25.1.RC1 验收测试指南

GitCode是面向全球开发者的开源社区,包括原创博客,开源代码托管,代码协作,项目管理等。与开发者社区互动,提升您的研发效率和质量。

昇腾超大规模MoE模型推理部署技术-开源周

TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and support state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in performant way. - TensorRT-LLM/docs/source/blogs/tech_blog/blog5_Disaggregated_Serving_in_TensorRT-LLM.md at main · NVIDIA/TensorRT-LLM

Disaggregated Serving in TensorRT-LLM

Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs

LLM关于PD分离的最新实测

彻底搞懂MoE的EP并行（基于vLLM）

MoE并行策略在推理场景下的比较

被好几个团队的人追着要渣 B 来分析一下 DeepEP 的工作, 公司内外的团队都有...简单的一句话说, 非常棒的工作,很多细节都值得学习.   但是还有一些硬件上的缺陷, 在 DeepSeek-V3 的论文中提出的建议要结合在一起看就会更清楚了. 我们还是由浅入深来谈谈 EP 并行, 并进一步分析一下这份出色的工作. 顺便展开讨论一下 Scal...

分析一下 EP 并行和 DeepSeek 开源的 DeepEP 代码

A guide to LLM inference and performance

FlashMLA: Efficient MLA decoding kernels. Contribute to deepseek-ai/FlashMLA development by creating an account on GitHub.

A Deep-Dive Into the New Flash MLA Kernel

Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures

deepseek部署引发的显存占用及吞吐量理论上限思考

大模型推理 & memory bandwidth bound (1) - 性能瓶颈与优化概述

！！！DeepSeek V3/R1 推理效率分析（1）：关于DeepSeek V3/R1 Decoding吞吐极限的一些不负责任估计

！！！DeepSeek V3/R1 推理效率分析（2）: DeepSeek 满血版逆向工程分析

计算DeepSeekV3训练的MFU

A100/H100 太贵，何不用 4090？

LLM时代的transformer参数量、计算量、激活值的分析

Learn if LLM inference is compute or memory bound to fully utilize GPU power. Get insights on better GPU resource utilization.

Zhihu

Roofline Model与深度学习模型的性能分析

分析transformer模型的参数量、计算量、中间激活、KV cache

[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测（2024）

当计算撞上内存墙：Attention！注意力机制及其优化算法浅析

如何为LLM推理任务选择正确的GPU

GPU 进阶笔记（一）：高性能 GPU 服务器硬件拓扑与集群组网（2023）

万字长文解析：大模型需要怎样的硬件算力

性能system design