計算機網絡和信息集成教育部重點實驗室(bet356手机版唯一官网)

 
   



2013年學術報告


--- 2013年學術報告
---
Dimensionality Dependent PAC-Bayes Margin Bound

時間:2013年10月27日 地點:九龍湖校區計算機學院四樓會議室

報告簡介:

    Bayes學習是機器學習的重要研究領域。Bayes網絡、非參Bayes等課題近年來取得了令人矚目的進展。但是,傳統的 Bayes學習理論缺乏對學習性能的刻畫。PAC-Bayes理論将PAC學習理論引入Bayes學習,使得Bayes學習可以如頻率學派機器學 習一樣得到學習性能的一緻上界。本報告從PAC-Bayes理論出發,研究SVM的margin理論。在Vapnik等人創立的經典margin 理論中,SVM(或任何線性分類器)的性能隻與margin有關,而與數據所在的空間維數無關。這一理論使得我們可以利用核方法将輸入空間映射到 (無窮維)特征空間進行線性分類。在本報告中,我們證明了SVM性能并非單純由margin決定而與特征空間維數無關。具體的,我将證明一個基于 PAC-Bayes理論的margin上界。當特征空間維數是有限值時,該上界一緻緊于經典的維數無關margin上界;當特征空間維數是無窮大 時,新上界等價于傳統維數無關margin上界。這一PAC-Bayes margin理論表明,核方法為了提高margin而增加特征空間維數時,一定程度上付出了性能的代價。實驗表明,該理論對于SVM核函數的選擇具有指導 意義。

報告人簡介:

    王立威,北京大學信息科學技術學院教授。于清華大學電子工程系獲本科和碩士學位,北京大學數學學院獲博士學位。自 2005年起在北京大學信息學院任教。主要研究興趣為機器學習理論。在機器學習頂級會議NIPS, COLT, ICML和頂級期刊JMLR, IEEE Trans. PAMI發表論文多篇。其中2008年發表于機器學習理論最高會議COLT的論文On the Margin Explanation of Boosting Algorithms是中國大陸學者在該會議上的首篇論文。2010年入選AI's 10 to Watch,是首位獲得該獎項的亞洲學者。2012年獲得國家自然科學基金優秀青年基金;入選新世紀優秀人才。目前任中國計算機學會模式識别與人工智能專 委會委員。擔任Journal of Computer Science and Technology (JCST)等期刊編委。
   

bet356手机版唯一官网計算機網絡和信息集成教育部重點實驗室 版權所有


Baidu
sogou