星空无限传媒免费观看电视剧,星空影院电视免费观看,麻花天美星空MV免费观看完整版,星空无限传媒免费入口nba,午夜星空免费观看全部电视剧最新,星空影视

廣東省智能院類腦計算理論與器件研究團隊提出脈沖神經網絡自適應突觸縮放算法
2024-04-03
      2024年3月27日,廣東省智能科學與技術研究院(簡稱:廣東省智能院)類腦計算理論與器件研究團隊在知名國際學術期刊《IEEE Transactions on Neural Networks and Learning Systems》上發表了題為“Adaptive Synaptic Scaling in Spiking Networks for Continual Learning and Enhanced Robustness”的論文。

      該研究提出了一種經驗依賴的自適應突觸縮放機制用于脈沖神經網絡的學習過程,在持續學習、抗干擾性實驗和基于圖表征的學習任務方面呈現顯著優勢,有望加深對大腦穩態突觸可塑性的理解,并促進類腦算法在神經形態硬件上的高效部署。

圖片1.png




穩態突觸可塑性(Homeostatic Synaptic Plasticity)是一組經驗依賴的突觸強度特定變化的可塑性機制,對于大腦學習和記憶具有重要作用。其通過動態調節突觸強度來穩定神經元或回路活動。在細胞層面,研究表明,若單個神經元能夠在特定時間內評估其活動強度,并據此動態向上或向下調整其突觸權重,以使活動水平接近預定義的設定值,那么即使面臨突觸強度和連通性的變化,網絡活動也將展現出穩定性。


同時,新皮層神經元發現突觸縮放機制,作為穩態突觸可塑性的一種表現形式,能夠調整與神經元相關的所有突觸的強度,通過倍數放縮保持激勵間的相對強度差異。穩態突觸縮放一般通過調節AMPA受體在突觸處的傳遞或保留來調制連接強度。除了全局乘性調節,突觸縮放還可以通過突觸特異性過程觸發,從而實現對突觸強度的局部控制。

脈沖神經網絡(SNN)被譽為第三代神經網絡,具有豐富的時空動力學特性。在SNN中,神經元通過采用脈沖通信、事件驅動,僅對輸入脈沖事件作出響應,具有高效的資源利用率。


盡管SNN側重模擬生物神經特性,但大部分模型缺乏復雜的動力學特性和突觸變化的自適應性,忽視了這種縮放機制的作用,這限制了SNN的學習效率和潛在應用。將穩態突觸縮放機制有效整合到SNN的學習范式中,仍是一個具有挑戰性的問題。盡管一些研究將該機制融入SNN,通過強約束引導網絡活動趨近于設定點,但限制了學習的靈活性。近年來,基于梯度學習的方法在SNN中廣泛應用,實現了更高的性能。然而,突觸權重在每個訓練周期中是靜態的,這使得SNN在受到擾動或連續性場景中表現脆弱。因而在抗擾動性和持續學習等任務中表現不佳。



圖片2.png



本研究提出了融合經驗依賴的自適應突觸縮放機制的SNN學習框架,并設計了兩階段的學習過程:在前向路徑中,根據突觸前神經元歷史活動累積的傳入刺激強度,為每個突觸觸發自適應的短期增強或抑制。在反向路徑中,通過相應的縮放因子調節的梯度信號執行長期鞏固。

該機制塑造了突觸的模式選擇性以及它們介導的信息傳遞。實驗驗證了該模型在持續學習、抗干擾測試和圖學習任務方面的顯著優勢。此外,這種非參數自適應機制不引入額外的可學習參數,并且由于稀疏連接和活動特性,保持了低計算成本??偟膩碚f,該工作為建模突觸縮放提供了一個有效的范式,有望挖掘和展示SNN在持續學習和魯棒學習中的巨大潛力。


      廣東省智能院類腦計算理論與器件研究團隊徐明坤博士與清華大學類腦計算研究中心的劉發強博士為本文共同第一作者。該工作得到了廣東省重點領域研發計劃、科技創新2030-新一代人工智能、國家自然科學基金等項目的資助。


文章連接: 

https://ieeexplore.ieee.org/abstract/document/10479209





COPYRIGHT ? 2021

廣東省智能科學與技術研究院版權所有

粵ICP備2021109615號 全案策劃:KCCN

公眾號

公眾號

欢迎光临: 福泉市| 马关县| 定襄县| 隆德县| 平陆县| 临城县| 黄龙县| 麟游县| 孟州市| 勃利县| 南涧| 永川市| 长宁区| 故城县| 新营市| 巴彦淖尔市| 芜湖县| 罗平县| 百色市| 论坛| 沈丘县| 黔西县| 金乡县| 大宁县| 焦作市| 江安县| 宜兰市| 泸州市| 腾冲县| 垦利县| 全椒县| 兴义市| 南澳县| 长丰县| 杂多县| 涟源市| 响水县| 葫芦岛市| 南和县| 绥德县| 二连浩特市|