講者:曾昱翔 (台大語言所博士後研究員)
講題:計算語言學觀點下的深度語言模型:BERT介紹與實作
時間:5/21 (五) 10:10 - 12:00
線上連結: https://meet.google.com/iuv-bcwy-wuu
講綱:
在計算語言學研究中,研究者常用各種計算方法來分析語言文本或達成特定計算作業。這些方法包括符號性的規則邏輯、機率統計模型或是晚近深度學習模型等。不同取向各有擅長,但近年來結合預訓練和注意力機制的深度語言模型,在各項作業中幾乎都達到最佳表現。此演講將以近年最具應用及延伸性的深度語言模型-BERT-作為實例。內容除簡介該模型的預訓練作業、脈絡嵌入向量和注意力機制外,也將討論其與語言概念間的關係。最後,演講中亦藉由實際程式範例,讓聽眾瞭解如何使用BERT模型。