通过利用输入图像的空间结构，卷积神经网络比其他神经网络结构(如全连接神经网络)更适合视觉任务。另外，非全连接和权重共享的网络结构使得卷积神经网络所需的突触数量要少得多，可以以更少的硬件开销实现模式识别。但是，目前大多数用于加速卷积神经网络训练的工作都是基于CPU/GPU或FPGA，这需要在远距离上移动大量数据，并导致巨大的延迟和能源消耗，即遭遇冯·诺依曼瓶颈。因此，它需要一种新型的紧凑而高效的电子器件来执行卷积计算，并集成信息存储和计算的功能。忆阻突触阵列的存算一体化特点可以有效地解决传统人工神经网络硬件实现所面临的冯·诺依曼瓶颈问题。交叉阵列天然地实现了向量矩阵乘法，为神经网络提供巨大的计算并行性，显著提高数据吞吐量，从而实现高效的硬件加速。然而，实际的忆阻突触行为表现出不可避免的非理想因素：有限的电导状态、电导分布的非对称和非线性、器件的不一致性等。所有这些因素可能会降低网络的学习和推理性能。
为了获得较理想的突触特性，我们采用栅极电压渐变的方法在一个晶体管一个电阻器(1T1R)结构Ti/ HfO2/TiN忆阻器中获得了高度对称、具有120多个电导状态且器件不一致性小于4%的电导分布。结合所有实验的非理想性，提出的软硬件结合的卷积神经网络基于MNIST识别任务的在线学习准确率超过了92.79%。该网络还对输入图像噪声、阵列良率和保持问题展示了很高的鲁棒性。成果发表于IEEE Electron Device Letters，博士生陈佳和硕士生潘文谦为共同第一作者，由本团队李祎副教授、缪向水教授和台湾中山大学张鼎张教授合作指导完成。
图1. (左上)提出的栅极电压渐变的脉冲施加方法；(右上)实验测得的器件的电导分布示意图；(下)该忆阻卷积神经网络对输入图像噪声、阵列良率和保持问题的鲁棒性。
在忆阻器件性能不理想的情况下，我们针对上述几种非理想特性，研究了它们对卷积神经网络性能的影响。进而针对影响学习准确性的关键因素(可用的电导状态、非对称的电导分布的非线性和器件循环与循环间的不一致性)提出了三种缓解策略：1)限制权重范围以提高电导状态的利用率；2)采用所提出的“with-read”更新方案以减轻非对称的电导分布的非线性的影响；3)每个卷积核值使用多个忆阻器来实现，以减轻器件循环与循环间的不一致性的影响。将所有的措施应用于所编写的忆阻卷积神经网络程序时，基于实验中获得的TiN/LiSiOx/Pt和TiN/HfO2/Ti两种典型器件的网络识别准确性均得到了显著提高，分别从~86.69%上升到~95.25%和从~93.54%上升到~96.81%。成果发表于IEEE Transactions on Electron Devices，硕士生潘文谦为第一作者，由李祎副教授和缪向水教授共同指导完成。
图2.所采用的卷积神经网络结构以及基于TiN/LiSiOx/Pt和TiN/HfO2/Ti器件的卷积神经网络系统中，在软件（software）、有非理想因素但无缓解措施（A）以及有非理想因素且有缓解措施（B）的条件下对MNIST数据集识别准确性的比较。
相关论文：
1.Jia Chen, Wen-Qian Pan, Yi Li*, Yu-Hui He, Rui Kuang, Yu-Ting Su, Chih-Yang Lin, Gui-Rong Feng, Nian Duan, Hao-Xuan Zheng, Cheng-Hsien Wu, Ting-Chang Chang*, Simon M. Sze and Xiang-Shui Miao, High precision symmetric weight update of memristor by gate voltage ramping method for convolutional neural network accelerator, IEEE Electron Device Letters, March 2020, 41(3): 353~356.
论文链接：https://ieeexplore.ieee.org/document/8964272/
2.Wen-Qian Pan, Jia Chen, Rui Kuang, Yi Li*, Yu-Hui He, Gui-Rong Feng, Nian Duan, Ting-Chang Chang, and Xiang-Shui Miao, Strategies to Improve the Accuracy of Memristor-Based Convolutional Neural Networks, IEEE Transactions on Electron Devices, March 2020, 67(3): 895~901.
论文链接：https://ieeexplore.ieee.org/document/8967159
