具有萬能逼近性質的深度神經網絡設計:一階優化方法

發布者:曹玲玲發布時間:2024-06-17浏覽次數:10

報告人:林宙辰 教授 北京大學

時間:2024年6月19日(周三)15:30

地點:bet356手机版唯一官网九龍湖校區計算機樓513室

報告人簡介:林宙辰是北京大學智能學院副院長,博雅特聘教授,研究領域為機器學習和計算機視覺。他在人工智能核心期刊和會議上發表論文300餘篇,出版中英文專著5本,谷歌引用數為34,000餘次。他曾多次擔任多個業内頂級會議的領域主席和資深領域主席。他曾獲2023年度CAAI和2020年度CCF科學技術獎自然科學一等獎。他是中國圖象圖形學學會(CSIG)機器視覺專委會主任,中國自動化學會模式識别與機器智能專委會副主任,IAPR、IEEE、CSIG和AAIA的會士,國家傑青,科技部科技創新2030-“新一代人工智能”重大項目負責人。

報告摘要:萬能逼近能力是深度神經網絡成功的基石。然而,幾乎所有現有的深度神經網絡設計方法都忽略了萬能逼近的性質。我們提出了一個統一的框架,基于一階優化算法來設計具有萬能逼近能力保證的深度神經網絡架構,其中前向傳播被解讀為優化算法的更新步驟,(顯式或隐式)網絡是通過用類似于兩層網絡或其變形的可學習模塊替換算法中的每個梯度項來設計的。我們得到的是深度神經網絡都是寬度有界的,即其寬度不會随着逼近精度的提高而增加,因此貼近當前常見的實際場景。此外,在網絡中添加歸一化、下采樣和上采樣等操作不會損害萬能逼近能力。據我們所知,這是第一個以原則的方式設計具有萬能逼近保證的寬度有界網絡的工作。我們的框架可以啟發各種神經網絡架構,包括著名的ResNet和DenseNet等,以及更多新穎的架構。實驗結果驗證了我們的框架的有效性。

  • 聯系方式
  • 通信地址:南京市江甯區bet356手机版唯一官网路2号bet356手机版唯一官网九龍湖校區計算機學院
  • 郵政編碼:211189
  • ​辦公地點:bet356手机版唯一官网九龍湖校區計算機樓
  • 學院微信公衆号
Baidu
sogou