《宇视》编者按:对于“AI芯片”、“人工智能芯片”,最早由智能手机在2018年炒热。学界对此并不认同,中国科学院自动化研究所专家王飞跃称没有这样的说法:“我不认为现在有所谓的人工智能芯片,当然这种宣传可以进行。”德国马格德堡大学教授Andreas Nuernberger也同意这样的观点,不知道背后谁在推动,从而成为一个热词。尽管如此,本文不失为一篇科普佳作,我们有幸在经历一个营销泡沫、商业激进、学术冷静并存的AI时代。
相信你一定还记得击败了李世石和柯洁的谷歌“阿尔法狗”(Alpha Go),那你知道驱动Alpha Go的是什么吗?
如果你觉得Alpha Go和人相似,只不过是把人脑换成了芯片,那么你就大错特错了。击败李世石的Alpha Go装有48个谷歌的AI芯片,而这48个芯片不是安装在Alpha Go身体里,而是在云端。所以,真正驱动Alpha Go的装置,看上去是如下图这样的。
![](/res/201912/03/20191203_1625852_33-10_804632_140493_0.jpg)
因此李世石和柯洁不是输给了“机器人”,而是输给了装有AI芯片的云工作站。
然而近几年,AI技术的应用场景开始向移动设备转移,比如汽车上的自动驾驶、手机上的智能识别等。产业的需求促成了技术的进步,而AI芯片作为产业的根基,必须达到更强的性能、更高的效率、更小的体积,才能完成AI技术从云端到终端的转移。
![](/res/201912/03/20191203_1625843_33-1_804632_140493_0.jpg)
图 2018年6月,在北京举办的IEEE人工智能与控制论国际研讨会,IEEE SMC学会、中国自动化学会、中科院自动化研究所等专家在对区块链、人工智能等概念的热炒降温
目前,AI芯片的研发方向主要分两种:一是基于传统冯·诺依曼架构的FPGA(现场可编程门阵列)和ASIC(专用集成电路)芯片,二是模仿人脑神经元结构设计的类脑芯片。其中FPGA和ASIC芯片不管是研发还是应用,都已经形成一定规模;而类脑芯片虽然还处于研发初期,但具备很大潜力,可能在未来成为行业内的主流。
这两条发展路线的主要区别在于,前者沿用冯·诺依曼架构,后者采用类脑架构。你看到的每一台电脑,采用的都是冯·诺依曼架构。它的核心思路就是处理器和存储器要分开,所以才有了CPU(中央处理器)和内存。而类脑架构,顾名思义,模仿人脑神经元结构,因此CPU、内存和通信部件都集成在一起。
![](/res/201912/03/20191203_1625844_33-2_804632_140493_0.jpg)
图 GPU比CPU有更多的逻辑运算单元(ALU)
下面介绍两种架构的简要发展史、技术特点和代表性产品。
从GPU到FPGA和ASIC芯片
2007年以前,受限于当时算法和数据等因素,AI对芯片还没有特别强烈的需求,通用的CPU芯片即可提供足够的计算能力。比如现在在读这篇文章的你,手机或电脑里就有CPU芯片。之后由于高清视频和游戏产业的快速发展,GPU(图形处理器)芯片取得迅速的发展。因为GPU有更多的逻辑运算单元用于处理数据,属于高并行结构,在处理图形数据和复杂算法方面比CPU更有优势,又因为AI深度学习的模型参数多、数据规模大、计算量大,此后一段时间内GPU代替了CPU,成为当时AI芯片的主流。
然而GPU毕竟只是图形处理器,不是专门用于AI深度学习的芯片,自然存在不足,比如在执行AI应用时,其并行结构的性能无法充分发挥,导致能耗高。与此同时,AI技术的应用日益增长,在教育、医疗、无人驾驶等领域都能看到AI的身影。然而GPU芯片过高的能耗无法满足产业的需求,因此取而代之的是FPGA芯片,和ASIC芯片。
那么这两种芯片的技术特点分别是什么呢?又有什么代表性的产品呢?
“万能芯片”FPGA
FPGA(Field-Programmable Gate Array),即“现场可编程门阵列”,是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。
![](/res/201912/03/20191203_1625846_33-4_804632_140493_0.jpg)
图 Xilinx的Spartan系列FPGA芯片
FPGA可以被理解为“万能芯片”。用户通过烧入FPGA配置文件,来定义这些门电路以及存储器之间的连线,用硬件描述语言(HDL)对FPGA的硬件电路进行设计。每完成一次烧录,FPGA内部的硬件电路就有了确定的连接方式,具有了一定的功能,输入的数据只需要依次经过各个门电路,就可以得到输出结果。用大白话说,“万能芯片”就是你需要它有哪些功能、它就能有哪些功能的芯片。
尽管叫“万能芯片”,FPGA也不是没有缺陷。正因为FPGA的结构具有较高灵活性,量产中单块芯片的成本也比ASIC芯片高,并且在性能上,FPGA芯片的速度和能耗相比ASIC芯片也做出了妥协。
也就是说,“万能芯片”虽然是个多面手,但它的性能比不上ASIC芯片,价格也比ASIC芯片高。
但是在芯片需求还未成规模、深度学习算法需要不断迭代改进的情况下,具备可重构特性的FPGA芯片适应性更强。因此用FPGA来实现半定制人工智能芯片,毫无疑问是保险的选择。
目前,FPGA芯片市场被美国厂商Xilinx和Altera瓜分。据国外媒体Marketwatch的统计,前者占全球市场份额50%、后者约占35%,两家厂商霸占了85%的市场份额,专利6000多项,毫无疑问是行业里的两座大山。
Xilinx的FPGA芯片从低端到高端,分为四个系列,分别是Spartan、Artix、Kintex、Vertex,芯片工艺也从45到16纳米不等。芯片工艺水平越高,芯片越小。其中Spartan和Artix主要针对民用市场,应用包括无人驾驶、智能家居等;Kintex和Vertex主要针对军用市场,应用包括国防、航空航天等。
再说说Xilinx的老对手Altera。Altera的主流FPGA芯片分为两大类,一种侧重低成本应用,容量中等,性能可以满足一般的应用需求,如Cyclone和MAX系列;还有一种侧重于高性能应用,容量大,性能能满足各类高端应用,如Startix和Arria系列。Altera的FPGA芯片主要应用在消费电子、无线通信、军事航空等领域。
专用集成电路ASIC
在AI产业应用大规模兴起之前,使用FPGA这类适合并行计算的通用芯片来实现加速,可以避免研发ASIC这种定制芯片的高投入和风险。
但就像我们刚才说到的,由于通用芯片的设计初衷并非专门针对深度学习,因此FPGA难免存在性能、功耗等方面的瓶颈。随着人工智能应用规模的扩大,这类问题将日益突出。换句话说,我们对人工智能所有的美好设想,都需要芯片追上人工智能迅速发展的步伐。如果芯片跟不上,就会成为人工智能发展的瓶颈。
所以,随着近几年人工智能算法和应用领域的快速发展,以及研发上的成果和工艺上的逐渐成熟,ASIC芯片正在成为人工智能计算芯片发展的主流。
ASIC芯片是针对特定需求而定制的专用芯片。虽然牺牲了通用性,但ASIC无论是在性能、功耗还是体积上,都比FPGA和GPU芯片有优势,特别是在需要芯片同时具备高性能、低功耗、小体积的移动端设备上,比如手机。
但是,因为通用性低,ASIC芯片的高研发成本也可能会带来高风险。然而如果考虑市场因素,ASIC芯片其实是行业的发展大趋势。
为什么这么说呢?因为从服务器、计算机到无人驾驶汽车、无人机,再到智能家居的各类家电,海量的设备需要引入人工智能计算能力和感知交互能力。出于对实时性的要求,以及训练数据隐私等考虑,这些能力不可能完全依赖云端,必须要有本地的软硬件基础平台支撑。而ASIC芯片高性能、低功耗、小体积的特点恰好能满足这些需求。
ASIC芯片市场百家争鸣
2016年,英伟达发布了专门用于加速AI计算的Tesla P100芯片,并且在2017年升级为Tesla V100。在训练超大型神经网络模型时,Tesla V100可为深度学习相关的模型训练和推断应用提供高达125万亿次每秒的张量计算(张量计算是AI深度学习中最常用到的计算)。然而在最高性能模式下,Tesla V100的功耗达到300W,虽然性能强劲,但也毫无疑问是颗“核弹”,因为太费电了。
![](/res/201912/03/20191203_1625847_33-5_804632_140493_0.jpg)
图 英伟达Tesla V100芯片
同样在2016年,谷歌发布了加速深度学习的TPU(Tensor Processing Unit)芯片,并且之后升级为TPU 2.0和TPU 3.0。与英伟达的芯片不同,谷歌的TPU芯片设置在云端,并且“只租不卖”,服务按小时收费。不过谷歌TPU的性能也十分强大,算力达到180万亿次每秒,并且功耗只有200w。
![](/res/201912/03/20191203_1625848_33-6_804632_140493_0.jpg)
图 谷歌TPU芯片
关于各自AI芯片的性能,谷歌CEOSundar Pichai和英伟达CEO黄仁勋之前还在网上产生过争论。别看两位大佬为自家产品撑腰,争得不可开交,实际上不少网友指出,这两款产品没必要“硬做比较”,因为一个是在云端,一个是在终端。
除了大公司,初创企业也在激烈竞争ASIC芯片市场。那么初创企业在行业中该如何生存呢?对此,AI芯片初创企业Novumind的中国区CEO周斌告诉小探:创新是初创企业的核心竞争力。
2017年,NovuMind推出了第一款自主设计的AI芯片:NovuTensor。这款芯片使用原生张量处理器(Native Tensor Processor)作为内核构架,这种内核架构由NovuMind自主研发,并在短短一年内获得美国专利。此外,NovuTensor芯片采用不同的异构计算模式来应对不同AI应用领域的三维张量计算。2018年下半年,Novumind刚推出了新一代NovuTensor芯片,这款芯片在做到15万亿次计算每秒的同时,全芯片功耗控制在约15W,效率极高。
![](/res/201912/03/20191203_1625849_33-7_804632_140493_0.jpg)
图 Novumind的NovuTensor芯片
尽管NovuTensor芯片的纸面算力不如英伟达的芯片,但是其计算延迟和功耗却低得多,因此适合边缘端AI计算,也就是服务于物联网。虽然大家都在追求高算力,但实际上不是所有芯片都需要高算力的。比如用在手机、智能眼镜上的芯片,虽然也对算力有一定要求,但更需要的是低能耗,否则你的手机、智能眼镜等产品,用几下就没电了。并且据EE Times的报道,在运行ResNet-18、ResNet-34、ResNet70、VGG16等业界标准神经网络推理时,NovuTensor芯片的吞吐量和延迟都要优于英伟达的另一款高端芯片Xavier。
![](/res/201912/03/20191203_1625850_33-8_804632_140493_0.jpg)
图 神经元结构
结合Novumind 现阶段的成功,我们不难看出:在云端市场目前被英伟达、谷歌等巨头公司霸占,终端应用芯片群雄逐鹿的情形下,专注技术创新,在关键指标上大幅领先所有竞争对手,或许是AI芯片初创企业的生存之道。
类脑芯片
如文章开头所说,目前所有电脑,包括以上谈到的所有芯片,都基于冯·诺依曼架构。
然而这种架构并非十全十美。将CPU与内存分开的设计,反而会导致所谓的冯·诺伊曼瓶颈(von Neumann bottleneck):CPU与内存之间的资料传输率,与内存的容量和CPU的工作效率相比都非常小,因此当CPU需要在巨大的资料上执行一些简单指令时,资料传输率就成了整体效率非常严重的限制。
既然要研制人工智能芯片,那么有的专家就回归问题本身,开始模仿人脑的结构。
人脑内有上千亿个神经元,而且每个神经元都通过成千上万个突触与其他神经元相连,形成超级庞大的神经元回路,以分布式和并发式的方式传导信号,相当于超大规模的并行计算,因此算力极强。人脑的另一个特点是,不是大脑的每个部分都一直在工作,从而整体能耗很低。
这种类脑芯片跟传统的冯·诺依曼架构不同,它的内存、CPU和通信部件是完全集成在一起,把数字处理器当作神经元,把内存作为突触。除此之外,在类脑芯片上,信息的处理完全在本地进行,而且由于本地处理的数据量并不大,传统计算机内存与CPU之间的瓶颈不复存在了。同时,神经元只要接收到其他神经元发过来的脉冲,这些神经元就会同时做动作,因此神经元之间可以方便快捷地相互沟通。
在类脑芯片的研发上,IBM是行业内的先行者。2014年IBM发布了TrueNorth类脑芯片,这款芯片在直径只有几厘米的方寸空间里,集成了4096个内核、100万个“神经元”和2.56亿个“突触”,能耗只有不到70毫瓦,可谓是高集成、低功耗的完美演绎。
![](/res/201912/03/20191203_1625851_33-9_804632_140493_0.jpg)
图 装有16个TrueNorth芯片的DARPA SyNAPSE主板
那么这款芯片的实战表现如何呢?IBM研究小组曾经利用做过DARPA的NeoVision2 Tower数据集做过演示。它能以30帧每秒速度,实时识别出街景视频中的人、自行车、公交车、卡车等,准确率达到了80%。相比之下,一台笔记本编程完成同样的任务用时要慢100倍,能耗却是IBM 芯片的1 万倍。
然而目前类脑芯片研制的挑战之一,是在硬件层面上模仿人脑中的神经突触,换而言之就是设计完美的人造突触。
在现有的类脑芯片中,通常用施加电压的方式来模拟神经元中的信息传输。但存在的问题是,由于大多数由非晶材料制成的人造突触中,离子通过的路径有无限种可能,难以预测离子究竟走哪一条路,造成不同神经元电流输出的差异。
针对这个问题,今年麻省理工的研究团队制造了一种类脑芯片,其中的人造突触由硅锗制成,每个突触约25纳米。对每个突触施加电压时,所有突触都表现出几乎相同的离子流,突触之间的差异约为4%。与无定形材料制成的突触相比,其性能更为一致。
即便如此,类脑芯片距离人脑也还有相当大的距离,毕竟人脑里的神经元个数有上千亿个,而现在最先进的类脑芯片中的神经元也只有几百万个,连人脑的万分之一都不到。因此这类芯片的研究,离成为市场上可以大规模广泛使用的成熟技术,还有很长的路要走,但是长期来看类脑芯片有可能会带来计算体系的革命。