文章图片


文章图片

Goya、 Gaudi 架构图 。 图注：Habana
Goya 和 Gaudi 芯片具有相似架构 ， 它们都依赖于 GEMM 引擎 ， 该引擎是一个脉动矩阵乘法单元 ， 与一组 tile 并排工作 。 每个 tile 包含一个本地软件控制的暂存器内存和一个张量处理核心（TPC） ， 具有不同精度的矢量计算单元 ， 即它们可以计算 8 位、16 位或 32 位的矢量化操作 。 TPC 和 GEMM 引擎通过 DMA 和共享内存空间进行通信 ， 并通过 PCIe 与主机处理器进行通信 。
基于 RISC 的 AI 加速器
Esperanto
Esperanto 成立于 2014 年 ， 并在相当长一段时间内一直处于隐身模式 ， 直到 2020 年底才宣布他们的第一款产品 ET-SoC-1 芯片 ， 其基于台积电 7nm 工艺构建的 SoC 上集成了 1000 多个 RISC-V 内核、160M BYTE 的 SRAM 和超过 240 亿个晶体管 ， 是该公司 AI 加速器系列的第一款产品 。 ET-SoC-1 是一款推理加速器 ， 预计在今年投产 。

文章图片

Esperanto 的 ET-SoC-1 的架构图 。 图源：Esperanto/HotChips
TensTorrent
TensTorrent 成立于 2016 年 ， 总部位于加拿大多伦多 ， 目前估值 10 亿美元 ， 这是一家计算公司 ， 开发旨在帮助更快和适应未来算法的处理器 。 TensTorrent 提供的芯片系列不仅针对数据中心 ， 也针对小型平台 ， 此外 ， 他们还提供 DevCloud 。

文章图片

TensTorrent：图的并行性与张量切片 。 图源：YouTube/TensTorrent

文章图片

TensTorrent 核心 。 图源：YouTube/TensTorrent
Mythic
Mythic 是 AI 硬件领域最早的初创公司之一 ， 它成立于 2012 年 。 迈克?亨利（Mike Henry）和戴夫?菲克（Dave Fick）为公司的核心创始人 ， 他们分别担任 Mythic 公司的董事长和 CTO 。 该公司非常重视具备能源效率和成本更低的模拟技术 ， Mythic 提出了如何在模拟电路中使用较小的非数字电路电流来降低能量的消耗 。

文章图片

矩阵乘法运算中的权重和输入 / 输出数据差分 。 图源：Mythic
2020 年底 ， Mythic 推出了其第一代 AI 芯片 M1108 AMP 。 与很多 AI 芯片不同 ， M1108 基于更加成熟的模拟计算技术 ， 而非数字计算 。 这提高了 M1108 的能效 ， 也使网络边缘设备访问更加容易 。
Mythic 还推出了一个模拟计算引擎 (ACE ， Analog Compute Engine) ， 它使用闪存而不是 DRAM 来存储权重 。 本质上 ， 它们不是从内存中获取输入和权重数据 ， 而是将输入数据传输到权重闪存 ， 并将其转换为模拟域 ， 在模拟域中执行 MAC （multiply-and-accumulate）计算 ， 并将其转换回以获取输出数据 ， 从而避免从内存中读取和传输权重成本 。
LightMatter
LightMatter 是一家诞生于 MIT 的初创公司 ， 该公司押注于一种用光子而非电子执行运算的计算机芯片 。 这种芯片从根本上与传统的计算机芯片相区分 ， 有望成为能够满足 AI「饥饿」的有力竞争者 。 LightMatter 首席执行官尼克?哈里斯（Nick Harris）曾说：「要么我们发明的新计算机继续下去 ， 要么人工智能放慢速度 。 」

文章图片

光子学与电子学计算属性 。 图源：HotChips/LightMatter