相似度计算技术在诸如聚类、数据量化等算法层面，以及在推荐系统、搜索引擎等系统层面都有着广泛的应用。但是随着数据体量和数据维度的快速增长，在传统冯诺依曼构架下的计算系统正面临着功耗、运算时间等方面的限制。以忆阻器等新型存储器件为代表的存内计算技术为海量数据下的数据存储、计算提供了一种新的范式。

华中科技大学光学与电子信息学院信息存储材料与器件研究所团队致力于基于新型存储器件的存内计算技术研究并已经取得一系列成果。近日，团队瞄准用于竞争学习的存内计算欧氏距离引擎，实现了一种高能效相似度计算方案。该方案将欧氏距离的计算中的向量在忆阻器阵列上分两个区域重复存储（图1），实现了距离计算复杂度由传统的O(n)到O(1)的降低。在1T1R 阵列上的实测结果证明了该方案的可靠性。同时，为了进一步验证该欧式距离引擎在应用中的效果，作者将其运用到竞争学习网络中（图2）并用以实现IRIS数据集和Breast Cancer数据集的聚类任务。仿真结果表明，欧氏距离引擎可以很好的实现聚类过程并取得了和全精度计算机类似的结果。在能效上，基于欧氏距离引擎的聚类方案可以实现1.835 TOPS/W的算力，该效果是RTX6000 GPU (0.5 TOPS/W)的数倍。若以最先进的忆阻器阵列进行评估，该方案预计可以达到超过100倍的能效提升。

图1：基于忆阻器阵列的欧氏距离引擎

图2：竞争学习与欧氏距离计算

该成果以“Energy-Efficient Memristive Euclidean Distance Engine for Brain-Inspired Competitive Learning”发表于Advanced Intelligent Systems.华中科技大学博士生周厚继、陈佳博士、国防科技大学王义楠博士为论文的共同第一作者，华中科技大学李祎副教授、国防科技大学李清江教授为论文的共同通讯作者。同时该工作还得到了复旦大学刘琦教授以及香港大学王中锐教授等人的帮助和指导。

此外博士生周厚继等还探索了基于余弦距离的数据计算加速和应用过程，并以“Low-time-complexity document clustering using memristive dot product engine”为题发表于Science China Information Sciences。该工作利用忆阻点积引擎，展示了一种基于Spherical K-means算法的低时间复杂度文档聚类方法(图3)。这种方法通过硬件级的加速实现了更快的文档聚类过程，与通过算法优化的传统方法相比具有天然的优势。具体的，该工作提出了一种在忆阻器阵列中对向量原位归一化的方案，该方案确保了余弦相似度计算的点积表示有效性和整个聚类过程数据更新的一致性。在此基础上进一步实现了一种在忆阻点积引擎中的余弦相似度计算方法，并用于在线训练的文本聚类过程，该方法将文本聚类的时间复杂度从传统的O(Nd)降低到O(N)。应用于BBCSport文本分析数据集，该聚类方案实现了96.06%的聚类精度，该聚类精度与软件仿真结果相当。文章还详细讨论了忆阻器中非理想因素对于聚类精度的影响，仿真结果表明高于6 bit 的存储精度以及低于5%的写入误差将有助于维持稳定的聚类效果。该结果将为该聚类方案在非易失性存储器件的实际应用和部署提供指导。

图3：用于文本聚类的数据映射方案及其仿真结果

论文信息及网页链接：

Zhou, H., Chen, J., Wang, Y., Liu, S., Li, Y., Li, Q., Liu, Q., Wang, Z., He, Y., Xu, H. and Miao, X. (2021), Energy-Efficient Memristive Euclidean Distance Engine for Brain-Inspired Competitive Learning. Adv. Intell. Syst. 2100114. doi: 10.1002/aisy.202100114

https://doi.org/10.1002/aisy.202100114

H.J Zhou, Y. Li, X.S. Miao. Low-time-complexity document clustering using memristive dot product engine. Sci China Inf Sci. 2021, doi: 10.1007/s11432-021-3316-x

https://www.sciengine.com/publisher/scp/journal/SCIS/doi/10.1007/s11432-021-3316-x?slug=fulltext