模型采用int4量化,面壁V模模态后端配备6G内存,小钢型重新端端侧推理速度高达/s ,磅上相比上一代模型提升33%,侧多超一发布就支持llama.cpp,面壁V模模态vllm推理 ,小钢型重新端和平小号网低价发卡网支持多种语言