報告人：周天異 博士 新加坡前沿人工智能中心
報告時間：2024年7月11日（周四）上午10:00-11:00
報告地點：#騰訊會議：614-703-637
報告人簡介：周天異博士，畢業于新加坡南洋理工大學， 現為新加坡前沿人工智能中心擔任副主任（Deputy Director)以及主任研究員（Principal Scientist）職位。周天異博士主持多項新加坡重點研發項目，并且已在機器學習，人工智能,信息安全等領域核心期刊(中科院一區)和國際會議(CCF A類)上發表論文100餘篇；此外是CCF A類期刊AIJ， IEEE Transactions等國際重要SCI 期刊的副主編/常任編委；擔任多個國際頂級/重要學術會議NeurIPS，ICML，ICLR，AAAI，IJCAI 等國際頂級會議領域主席 (Area Chair)；獲得IJCAI，ECCV，ACML等多個國際頂級/重要學術會議及其專題報告會最佳論文獎，被斯坦福大學評為世界前2%的科學家。
報告摘要：在迅速發展的機器學習領域，“數據集蒸餾與修剪”已成為提升模型效能的關鍵策略。數據集蒸餾涉及從廣泛的數據集中提取關鍵信息，創造出經過提純的新的小規模數據，既保持模型的強健性又減輕計算負擔。可以将其類比為從海量數據中提煉出知識的精華。另一方面，數據集修剪類似于修剪樹木的不必要枝條。這一技術涉及删除多餘或影響較小的數據點，從而實現更為精簡、更快速、更節約資源的機器學習模型。通過消除多餘信息，數據集修剪有助于構建性能卓越且無需不必要計算開銷的精簡算法。 這兩種方法共同應對當今數字時代數據豐富性帶來的挑戰。數據集蒸餾與修剪可以作為模型壓縮研究的互補并且進一步優化了機器學習整個流程的能耗, 從而最終現在大規模數據和大模型在終端的可持續化部署。
