llama.cpp CUDA性能显著提升，MTP吞吐量增强

核心摘要

llama.cpp 更新 (b9521) 显著优化了其CUDA实现，特别是通过将 `mul_mat_vec_q_moe` 操作纳入PDL，大幅提高了MTP（多线程处理）的性能。

机会与影响

对于本地运行大型语言模型的开发者和用户而言，这意味着更快的推理速度和更高的处理效率，尤其是在使用多线程计算时。

来源信息

该条资讯来自 github.com。标签：重点。相关平台：github。