模型量化

显存装不下、推理太慢、电费高企，大模型在落地时常常被硬件门槛卡住。文章给出的解决办法是：不删结构，只降低精度。把FP16权重压到INT8甚至INT4后，70B模型可占用的显存从约140GB降至约35GB，单卡甚至笔记本都有了运行基础，带宽压力减轻，还顺带提速。既然INT8的损失通常不足1%，INT4才需要权衡，那么团队该把压缩推到多深？