当前位置: 首页 > 团队新闻 > 正文

基于互补晶体管的多层脉冲神经网络在线监督学习

【来源: | 发布日期:2021-06-13 】

脉冲神经网络作为第三代神经网络由于其事件驱动特性以及尖峰事件的时间稀疏性,可以实现更加仿生和节能高效的类脑计算。为了彻底加快计算速度并降低能耗,研究和开发新型神经形态器件和设计对应电路以实现硬件神经网络是根本的解决方案。

针对上述问题,华中科技大学光学与电子信息学院缪向水团队提出了一种基于互补忆阻晶体管的硬件脉冲神经网络系统,该系统能紧凑且低功耗地实现多层脉冲神经网络监督学习算法,为未来基于多层脉冲神经网络的硬件实现提供了一种可行方法。

缪向水团队首次提出了n型忆阻晶体管和p型忆阻晶体管并联的互补忆阻晶体管结构,并发现该结构可以紧凑有效的实现多层远程监督脉冲神经网络监督学习算法,相较于单个忆阻晶体管的实现方案,实现权重更新的硬件电路被大大简化,从面积到能耗上都有显著提高。该硬件设计方案在两个典型测试集异或问题和MNIST手写数字集上得到了验证,证明了其解决非线性问题的能力和网络的鲁棒性。


图1:基于单个忆阻晶体管的多层监督学习脉冲神经网络硬件方案

图2:基于互补忆阻晶体管的多层监督学习硬件方案

该工作以“Complementary Memtransistor-Based Multilayer Neural Networks for Online Supervised Learning Through (Anti-) Spike-Timing-Dependent Plasticity”为题发表于机器学习领域的权威期刊IEEE Transactions on Neural Networks and Learning Systems上。博士生周越为第一作者,何毓辉教授、缪向水教授为共同通讯作者。同时该工作得到了加州伯克利大学许诺博士、清华大学高滨老师、华中科技大学诸葛福伟老师等多位老师的大力支持和帮助。

论文信息和网页链接:

Y. Zhou et al., "Complementary Memtransistor-Based Multilayer Neural Networks for Online Supervised Learning Through (Anti-)Spike-Timing-Dependent Plasticity," in IEEE Transactions on Neural Networks and Learning Systems, doi: 10.1109/TNNLS.2021.3082911.

https://ieeexplore.ieee.org/abstract/document/9446500