2024年5月13日，德國斯圖加特國家高性能計算中心（HLRS）主任Micheal Martin Resch應邀來廣東省智能科學與技術研究院（以下簡稱智能院）開展學術交流，并在23層報告廳作學術報告。
報告題為“HPC between the end of Moore's law and the rise of Artificial Intelligence”，由黃典副研究員主持。
隨著集成電路晶體管數量的增加，能耗問題日益突出。僅依賴工藝進步和硬件堆疊來提升系統性能的效益正在減弱。因此，架構優化，包括存算一體設計、訪存優化及相關算法與軟件優化等就顯得尤為重要。與此同時，AI技術在增強HPC建模、模擬加速、大數據分析等任務中發揮著越來越重要的作用，這也導致了對算力需求的快速增加。
在本次報告中，Micheal Martin Resch主任探討了超級計算機發展與摩爾定律之間的關系。隨著摩爾定律逐步終結，計算機性能增長放緩，構建更領先的HPC系統面臨著政策、資本、人才和技術等多方面的挑戰。在實際應用中，算法對HPC系統性能的擴展性以及應用性能的提升起著關鍵作用。人工智能的迅速發展極大地重塑了超算系統的硬件架構市場，但傳統HPC模擬是否能夠充分利用硬件性能，需要用戶和HPC技術人員付出大量的工作。
Resch同時指出，新型架構的發展并非一帆風順，就像英偉達早期的GPU一樣，面臨著巨大的挑戰。然而，以CUDA為基礎，整個應用生態系統的構建對于推動GPU生態的發展至關重要。Resch教授特別強調了HPC系統中能耗是一個重大問題，HPC系統中的大量能量被用于訪存，造成了巨大的能量浪費，同時也對超算基礎設施設計提出了很高要求。當前，大語言模型的能耗是巨大的，如何實現超算的可持續發展，以滿足不斷增長的算力需求，仍需要解決諸多問題。
報告結束后，智能院師生與Micheal Martin Resch主任就HPC技術與應用、新型計算架構的挑戰與機遇，以及HPC人才培養等話題展開了熱烈的討論，并表示未來將加強交流和合作，共同推進HPC、AI技術進步和推廣應用。
