7月14日，腾讯腾讯混元官方宣布，混元针对开源社区对量化版本的数模署强烈呼声，团队成功将参数量高达295B的卡即可部Hy3模型权重量化至1bit与4bit，并打包为GGUF格式。腾讯借助llama.cpp生态的混元支持，Hy3打破了以往必须依赖多卡集群的数模署限制，现在仅需一张推理显卡，卡即可部甚至是腾讯在内存充足的本地设备上，即可实现流畅部署与运行。混元