講座主題:基于局部近似的Stein變分梯度下降要领
特邀專家:闫亮 副教授
講座時間:2021年6月21日 10:30
講座地點:主樓A1-513學術討論室
專家介紹:闫亮,東南大學副教授。東南大學“至善青年學者”。主要從事不確定性量化、貝葉斯反問題理論與算法的研究。主持自然科學基金項目,江蘇省自然科學基金青年項目等。已在SISC、IP、JCP等刊物上發表論文20多篇。
講座摘要:貝葉斯計算在現代機器學習和統計中對不確定性進行推理有重要應用。貝葉斯推理中一個關鍵的計算挑戰是開發有效的近似技術,或從後驗漫衍中抽取樣本。SVGD已被證明是一個強大的近似推理算法。然而,普通SVGD需要計算目標密度的梯度,當梯度不行用或評估代價太大時,不能應用該梯度。本講座我們探討一種解決這一挑戰的要领,即爲目標漫衍構造一個局部署理,以一種計算上更可行的方式獲得梯度。更具體地說,我們使用一個深度神經網絡(DNN)來近似前向模型,該網絡是在一個精心選擇的訓練集上訓練的,這也決定了署理的質量。爲此,我們提出了一種通用的自適應算法,在不破壞SVGD收斂性的情況下在線改進局部迫近。這大大降低了SVGD的計算成本,並産生了一套易于實現的算法。在一組具有挑戰性的貝葉斯反問題上給出了新算法,數值實驗讲明標准SVGD的性能和適用性有了明顯的提高。