報(bào) 告 人 :楊紹富
報(bào)告題目:通信高效的分布式優(yōu)化算法設(shè)計(jì)與分析
報(bào)告時(shí)間:2023年11月16日(周四)上午09:00
報(bào)告地點(diǎn):靜遠(yuǎn)樓908
主辦單位:智慧教育學(xué)院(計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院) 、科學(xué)技術(shù)研究院
報(bào)告人簡(jiǎn)介:
楊紹富,東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院、軟件學(xué)院、人工智能學(xué)院副教授、博士生導(dǎo)師、副院長(zhǎng)。于2016年在香港中文大學(xué)機(jī)械與自動(dòng)化工程系獲得博士學(xué)位。主要從事分布式優(yōu)化與博弈、多智能體學(xué)習(xí)等領(lǐng)域研究工作,在IEEE/ACM Transactions系列等國(guó)際期刊發(fā)表論文20余篇,其中3篇曾入選ESI高被引論文。擔(dān)任中國(guó)人工智能學(xué)會(huì)機(jī)器學(xué)習(xí)專(zhuān)委會(huì)通訊委員、CCF-AI多智能體系統(tǒng)學(xué)組執(zhí)行委員、ECAI/AAAI等會(huì)議SPC或PC。主持國(guó)家級(jí)自然科學(xué)基金青年/面上項(xiàng)目、江蘇省自然科學(xué)基金青年項(xiàng)目等。入選中國(guó)科協(xié)青年人才托舉工程、江蘇省333高層次人才培養(yǎng)工程(第三層次)、中組部第九批援藏干部等。
報(bào)告摘要:
分布式優(yōu)化算法在聯(lián)邦學(xué)習(xí)、集群控制、群體決策等領(lǐng)域均有著廣泛的應(yīng)用。通信成本是制約其發(fā)展的主要瓶頸之一。然而,現(xiàn)有通信高效的優(yōu)化算法往往聚焦于一階情形,鮮有考慮二階情形。相比于一階優(yōu)化算法,二階優(yōu)化算法通過(guò)利用曲率信息往往可以獲得更快的收斂速度,但需要估計(jì)全局 Hessian 矩陣,這又帶來(lái)了巨大的通信代價(jià)。為了提升算法收斂速度的同時(shí)提升通信效率,我們基于ADMM算法,結(jié)合目標(biāo)函數(shù)二階近似、事件觸發(fā)通信機(jī)制和壓縮通信機(jī)制,提出了一類(lèi)通信高效的二階優(yōu)化算法,并在理論上證明了當(dāng)目標(biāo)函數(shù)滿足強(qiáng)凸且光滑時(shí),所提出的算法能夠線性收斂到最優(yōu)解。最后,在數(shù)值實(shí)驗(yàn)中,通過(guò)與現(xiàn)有算法的對(duì)比驗(yàn)證了所提出算法的高效性。