← 返回全部文章

vLLM PR adding native HIP W4A16 kernel was merged

摘要

暂无摘要

主题

AI新技术/新模型

评分

★6

来源

Reddit r/LocalLLaMA

标签

#vLLM#ROCm#W4A16 kernel#GPU推理加速

阅读原文 ↗