報 告 人:廖振宇 副研究員
報告題目:大維隨機矩陣?yán)碚撨M(jìn)展及其在深度學(xué)習(xí)中應(yīng)用
報告時間:1月11日和12日(周四、周五),上午9點-11點30
報告地點:騰訊會議:913-816-8075 (無密碼)
主辦單位:數(shù)學(xué)與統(tǒng)計學(xué)院、數(shù)學(xué)研究院、科學(xué)技術(shù)研究院
報告人簡介:
廖振宇,于法國巴黎薩克雷大學(xué)獲信號與圖像處理碩士和計算機博士學(xué)位,后在美國加州大學(xué)伯克利分校從事博士后研究工作,于2021年起至今在華中科技大學(xué)電信學(xué)院工作,任副研究員。長期從事“面向高維數(shù)據(jù)的大規(guī)模機器學(xué)習(xí)的基礎(chǔ)理論和關(guān)鍵技術(shù)”的研究,將高維統(tǒng)計學(xué)和隨機矩陣?yán)碚搼?yīng)用于復(fù)雜大規(guī)模機器學(xué)習(xí)系統(tǒng)設(shè)計,以解決非、自監(jiān)督學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)優(yōu)化設(shè)計、壓縮和加速問題,成果發(fā)表在ICML、NeurIPS、ICLR、COLT、AISTATS、TSP、AAP、JSTAT、PRA等人工智能、機器學(xué)習(xí)、概率論的頂級會議與期刊,合著專著Random Matrix Methods for Machine Learning,長期受邀擔(dān)任多個人工智能、機器學(xué)習(xí)領(lǐng)域頂級會議和期刊的審稿人或程序委員會委員,受邀擔(dān)任歐盟自然科學(xué)基金ERC和加拿大自然科學(xué)基金NSERC外部評審。獲評湖北百人計劃,武漢英才,華中科技大學(xué)東湖青年學(xué)者和法國巴黎薩克雷大學(xué)ED STIC優(yōu)秀博士論文。
報告摘要:
在兩個半天的短課中,我們將:
1. 簡介大維隨機矩陣?yán)碚?,通過聚焦經(jīng)典的樣本協(xié)方差矩陣模型,討論隨機矩陣?yán)碚撈渑c傳統(tǒng)漸進(jìn)統(tǒng)計學(xué)的聯(lián)系和區(qū)別,討論相關(guān)理論方法和證明技術(shù),以及領(lǐng)域內(nèi)的最新進(jìn)展;
2. 圍繞機器學(xué)習(xí)中的深度神經(jīng)網(wǎng)絡(luò)這一類模型,具體討論高維統(tǒng)計和大維隨機矩陣?yán)碚撛冢ㄉ疃龋┥窠?jīng)網(wǎng)絡(luò)理論和方法中的相關(guān)研究進(jìn)展。將按照網(wǎng)絡(luò)從淺到深、數(shù)據(jù)結(jié)構(gòu)從簡單到復(fù)雜、模型從隨機到非隨機的邏輯,回顧和梳理近年來隨機矩陣?yán)碚撛谏疃壬窠?jīng)網(wǎng)絡(luò)中得到的諸如“非線性網(wǎng)絡(luò)性能分析”、“雙下降”和“神經(jīng)正切核”等一系列應(yīng)用成果。最后,我們將展望未來用隨機矩陣?yán)碚摻鉀Q深度學(xué)習(xí)中核心問題可能的機遇和技術(shù)挑戰(zhàn)。