HPC-Ops是腾讯混元AI Infra团队开源的工业级高性能大模型推理算子库,覆盖Attention、MoE、GEMM、采样及通信融合等核心模块,原生支持BF16/FP8与混合精度。HPC-Ops针对NVIDIA H20等GPU深度优化,动态调度与算子融合使端到端QPM提升30%+,多项性能显著超越vLLM、FlashInfer、SGLang等主流基线,已支撑腾讯混元大规模生产级推理服务。...详情>>
HPC-Ops是什么HPC-Ops是腾讯混元AI Infra团队开源的工业级高性能大模型推理算子库,覆盖At
HPC-Ops是什么HPC-Ops是腾讯混元AI Infra团队开源的工业级高性能大模型推理算子库,覆盖Attention、MoE、GEMM、采样及通信融合等核心模块,原生支持BF16/FP8与混合精
HPC-Ops是腾讯混元AI Infra团队开源的工业级高性能大模型推理算子库,覆盖Attention、MoE、GEMM、采样及通信融合等核心模块,原生支持BF16/FP8与混合精度。HPC-Ops针