日前，AI 芯片创企 Groq 开放了自家产品的免费试用。相比其他 AI 聊天机器人，Groq 闪电般的响应速度迅速引爆互联网讨论。经过网友测试，运行的大模型生成速度接近每秒 500 tokens，碾压 ChatGPT-3.5 大约 40 tokens/秒的速度。
据 AI 模型和托管提供商 ArtificialAnalysis.ai 的测评数据，该接口创下了新的大模型吞吐量记录，达到每秒 430 Tokens。Groq 还提供 Llama2 7B 模型访问，最高可实现每秒 750 Tokens。
据介绍，Groq 平台基于其自研 LPU（Language Processing Unit，语言处理单元）芯片运行，该芯片在大模型推理任务上速度是英伟达 GPU 的 10 倍。
Groq表示，LPU 推理引擎是一种新型端到端处理单元系统，可为 AI 大模型等计算密集型应用提供最快的推理速度。据 Groq 介绍，在 LLM 方面，LPU 较 GPU/CPU 拥有更强大的算力，从而减少了每个单词的计算时间，可以更快地生成文本序列。此外，由于消除了外部内存瓶颈，LPU 推理引擎在大模型上的性能比GPU高出几个数量级。
不过，需要强调的是，Groq 并没有研发新模型，它只是一个模型启动器，主页上运行的是开源模型 Mixtral 8x7B-32k 和 Llama 270B-4k。
Groq在官网发布的免费大模型服务，包括三个开源大模型：Mixtral 8×7B-32K、Llama2-70B-4K和 Mistral 7B-8K，目前前两个已开放使用。
Groq 由谷歌前员工乔纳森·罗斯（Jonathan Ross）在 2016 年创立，主要针对云计算市场开发 AI 芯片，其主要成员曾参与研发谷歌的 TPU（张量处理单元）。
资料来源：综合报道；图片来源：Groq Inc.
