穩態突觸可塑性(Homeostatic Synaptic Plasticity)是一組經驗依賴的突觸強度特定變化的可塑性機制,對于大腦學習和記憶具有重要作用。其通過動態調節突觸強度來穩定神經元或回路活動。在細胞層面,研究表明,若單個神經元能夠在特定時間內評估其活動強度,并據此動態向上或向下調整其突觸權重,以使活動水平接近預定義的設定值,那么即使面臨突觸強度和連通性的變化,網絡活動也將展現出穩定性。
同時,新皮層神經元發現突觸縮放機制,作為穩態突觸可塑性的一種表現形式,能夠調整與神經元相關的所有突觸的強度,通過倍數放縮保持激勵間的相對強度差異。穩態突觸縮放一般通過調節AMPA受體在突觸處的傳遞或保留來調制連接強度。除了全局乘性調節,突觸縮放還可以通過突觸特異性過程觸發,從而實現對突觸強度的局部控制。
脈沖神經網絡(SNN)被譽為第三代神經網絡,具有豐富的時空動力學特性。在SNN中,神經元通過采用脈沖通信、事件驅動,僅對輸入脈沖事件作出響應,具有高效的資源利用率。
盡管SNN側重模擬生物神經特性,但大部分模型缺乏復雜的動力學特性和突觸變化的自適應性,忽視了這種縮放機制的作用,這限制了SNN的學習效率和潛在應用。將穩態突觸縮放機制有效整合到SNN的學習范式中,仍是一個具有挑戰性的問題。盡管一些研究將該機制融入SNN,通過強約束引導網絡活動趨近于設定點,但限制了學習的靈活性。近年來,基于梯度學習的方法在SNN中廣泛應用,實現了更高的性能。然而,突觸權重在每個訓練周期中是靜態的,這使得SNN在受到擾動或連續性場景中表現脆弱。因而在抗擾動性和持續學習等任務中表現不佳。
廣東省智能院類腦計算理論與器件研究團隊徐明坤博士與清華大學類腦計算研究中心的劉發強博士為本文共同第一作者。該工作得到了廣東省重點領域研發計劃、科技創新2030-新一代人工智能、國家自然科學基金等項目的資助。
文章連接:
https://ieeexplore.ieee.org/abstract/document/10479209
公眾號