SECTIONS
EDITIONS
NETWORK
示意配图（AI 生成·非官方产品图）· 萬安百科
Groq LPU
TSP 确定性执行 · 230MB SRAM · 1000+ tokens/s · 推理路线词条
概述OVERVIEW
LPU（Language Processing Unit） 是 Groq 为大模型推理设计的加速器类型（官方口径）： 基于 Tensor Streaming Processor（TSP）架构——确定性、软件调度执行（无乱序/分支预测的不确定性）， 230MB 片上 SRAM（论文口径），以超低且可预测的延迟见长：GroqCloud 实测单用户 1000+ tokens/s （最高口径 1600+）· 最差情形性能 8.3 倍于 GPU（官方口径）——「峰值不如我·最慢一次远胜我」的推理路线代表。
沿革HISTORY
- 2016：Groq 成立（TSP 架构创始团队出自 Google TPU 原班，媒体口径）。
- 2020：TSP 首代发布（论文口径）。
- 2023-2024：GroqCloud 上线——Llama/Mixtral 系推理速度标杆出圈（官方口径）；14nm 制程的"反摩尔定律"选择成行业讨论点（媒体口径）。
- 2025：GroqRack 规模化+大额云合同（沙特 Aramco 合作等·媒体口径）——推理云供给扩张。
路线对照GENERATIONS
| 维度 | Groq LPU（本词条·官方口径） | Cerebras WSE-3（词条） | GPU HBM 路线（对照） |
|---|---|---|---|
| 内存路线 | 230MB 片上 SRAM · 确定性流水线 | 44GB 片上 SRAM | HBM 大容量 |
| 执行模型 | 软件调度·确定性（官方） | 数据流晶圆级 | 硬件调度·乱序容忍 |
| 强项 | 单流延迟/token 速度（官方 1000+/s） | 吞吐/带宽（21PB/s 级） | 生态最广·通用性 |
| 代价 | 容量小·多卡组合承载大模型 | Weight Streaming 复杂度 | 显存墙/延迟抖动 |
口径：LPU 列=Groq 官方博客/平台页+MLSys 论文（2026-11 核验）；芯片级完整数字（制程/算力 TOPS）官方未全公布——不代填。三路线架构语义不同，数字不直比。
技术规格SPECS
| 项目 | 口径 |
|---|---|
| 架构 | Tensor Streaming Processor（TSP）· 确定性软件调度（官方/论文口径） |
| 片上 SRAM | 230MB/芯（论文口径）· 官方未逐项展开 |
| 制程 | 14nm（媒体口径——非先进制程的确定性路线选择） |
| 推理速度 | 单用户 1000+ tokens/s（最高口径 1600+）· 最差情形 8.3× GPU（官方口径） |
| 系统规模 | GroqRack：256 LPU/机架 · 聚合 SRAM 带宽 40PB/s（官方平台页口径） |
| 供给形态 | GroqCloud API（主推）· GroqCard/GroqRack 系统交付（官方口径） |
| 软件栈 | Groq Compiler · PyTorch/TensorFlow 集成（官方口径） |
模型适配MODEL FIT
| 场景 | 适配口径 |
|---|---|
| 实时语音/Agent | 低延迟+延迟可预测——语音对话/Agent 循环的推理底座候选（官方场景口径） |
| 高并发短推理 | 确定性执行=尾延迟可控——SLO 敏感服务的差异化选项（官方口径） |
| 栈锁定提醒 | Groq Compiler 生态——模型需编译适配；CUDA 资产评估先行（生态对照） |
低延迟推理场景——去模型广场按需调用
萬安云 · 模型广场 →局限与边界LIMITS
- 容量边界：230MB/芯 SRAM——大模型靠多芯组合（GroqRack）——单芯承载能力小于 HBM 系（架构语义）。
- 信息透明度：芯片级完整规格官方未全公布——本词条只立官方/论文口径事实。
- 生态边界：Groq Compiler 编译适配——CUDA 模型资产迁移评估先行（生态对照见 CUDA）。
常见问题FAQ
LPU 为什么叫「语言处理单元」？
Groq 为大模型推理专门设计的处理器类型名（官方口径）：基于 Tensor Streaming Processor（TSP）——确定性、软件调度执行，无乱序/无分支预测的不确定性——延迟可预测且极低，token 生成速度是主卖点。
LPU 快在哪？
官方/论文口径：230MB 片上 SRAM+确定性流水线避开「显存墙」；GroqCloud 实测单用户 1000+ tokens/s（最高口径 1600+）· 最差情形性能 8.3 倍于 GPU（官方口径）——峰值未必最高但「最慢一次」很快。
能买卡部署吗？
GroqCard/GroqRack 曾有硬件形态（官方口径），当前主推 GroqCloud 云 API——零售流通面窄；自建场景按 Groq 系统方案评估，云租用走 GroqCloud（本库不收录价格）。