報告題目:基于卷積編碼器和改進的級聯二元标注框架的快速關系抽取
報告摘要:最近關系抽取的相關研究工作取得了優異的性能。然而,大多數現有方法對效率關注較少,使得在現實場景中從海量或流式文本數據中快速抽取關系仍然具有挑戰性。主要的效率瓶頸是這些方法使用基于Transformer的預訓練語言模型進行編碼,這嚴重影響了訓練速度和推理速度。為了解決這個問題,我們提出了一種基于卷積編碼器和改進的級聯二元标注框架的快速關系抽取模型(FastRE)。與之前的工作相比,FastRE采用了多項創新來提高效率,同時保持了良好的性能。具體來說,FastRE采用了一種新的卷積編碼器架構,結合了膨脹卷積、門控單元和殘差連接等結構,顯著降低了訓練和推理的計算成本,同時保持了令人滿意的性能。此外,為了改進級聯二元标注框架,FastRE首先引入了一種實體類型-關系類型映射機制,以提高标記效率并緩解關系冗餘,然後利用位置相關的自适應阈值策略來獲得更高的标記精度和更好的模型泛化。實驗結果表明,與最先進的模型相比,FastRE在效率和性能之間取得了很好的平衡,實現了3-10倍的訓練速度、7-15倍的推理速度和1/100的參數,同時性能仍然具有競争力。
個人介紹:
李國正,男,bet356手机版唯一官网登录碩士在讀,指導老師汪鵬。