Abstract-level paper scanning …

# 说明（重要）

我无法实时联网检索arXiv，以下内容基于我训练语料中的近期（2024年前后）代表性论文整理，不能保证是“最近一个月”的精确窗口。建议你用 arXiv 官方 API 或 Semantic Scholar 检索关键词 LLM quantization + 时间过滤来获取最新列表。以下是10篇量化压缩方向有代表性的论文：

论文清单

1. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

• 核心方法：基于近似二阶信息的逐层后训练量化（PTQ）
• 要点：无需重训练，可将LLM压到3-4比特且保持性能，推理速度提升明显

2. AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

• 核心方法：按激活分布识别“重要权重”并做缩放保护
• 要点：仅对约1%权重通道做保护性缩放，兼顾量化损失与硬件效率

3. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

• 核心方法：8比特矩阵乘 + 分离少量离群特征维度用FP16计算
• 要点：揭示了LLM中系统性的激活离群维度现象

4. SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

• 核心方法：将激活的量化难度数学迁移到权重上（平滑变换）
• 要点：实现W8A8全量化推理，对权重和激活同时量化

5. ZeroQuant: Efficient and Affordable Post-Training Quantization for Large-Scale Transformers

• 核心方法：逐层量化 + 核融合 + 知识蒸馏辅助
• 要点：面向推理系统的端到端量化部署方案

6. SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

• 核心方法：3-4比特量化 + 离群权重以高精度稀疏格式保留
• 要点：追求“近似无损”的极端压缩

7. SqueezeLLM: Dense-and-Sparse Quantization

• 核心方法：基于敏感度的非均匀量化 + 稀疏分离高敏感权重
• 要点：在同等比特数下显著降低困惑度损失

8. QLoRA: Efficient Finetuning of Quantized LLMs

• 核心方法：4比特NormalFloat（NF4）量化底座 + LoRA微调 + 双重量化
• 要点：让单卡GPU也能微调大参数模型，兼顾训练与压缩

9. Atom: Low-bit Quantization for Efficient and Accurate LLM Inference

• 核心方法：混合精度KV Cache量化与算子级优化（如4比特）
• 要点：从系统角度把量化收益落到端到端推理加速

10. QuIP#: Even Faster LLM Inference with Weight-only Quantization

• 核心方法：基于格子码本的向量量化（2比特级别）+ 随机哈达玛变换
• 要点：探索2比特极限压缩下的精度-速度平衡

补充建议

• 检索入口：`arxiv.org/list/cs.