加拿大硬件公司 Taalas 实现 Llama 3.1 8B 每秒 17000 tokens 推理速度

加拿大硬件初创公司 Taalas 宣布其首款产品——针对 Llama 3.1 8B 模型（2024 年 7 月发布）的定制硬件实现，推理速度高达每秒 17000 tokens。

该公司将这款产品称为“Silicon Llama”，采用“激进量化”策略，混合使用 3 位和 6 位参数。下一代产品将采用 4 位量化，预计新模型推出周期较长。

亚马逊云服务 AWS 在 12 月中旬遭遇一次长达 13 小时的中断，原因是工程师允许其 AI 编码工具 Kiro 自主进行更改。该工具决定“删除并重建环境”。

多名员工透露这是数月内第二次因 AI 工具导致的服务中断。AWS 称两次事件均为用户错误而非 AI 错误，并强调 Kiro 默认需授权才能执行操作。

特朗普政府废除了拜登时期对电厂汞等有毒污染物的限制，将 Mercury and Air Toxics Standards (MATS) 回退至 2012 年水平。此举正值 AI 数据中心建设推高美国电力需求。

煤电占美国汞排放约一半，汞是神经毒素。特朗普已命令至少八座原定退役的煤电厂继续运行，而田纳西河流域管理局也因数据中心电力需求决定保留两座煤电厂。