聲音或語言機能喪失的聽語障礙者,常常發生難以與一般人正常溝通或溝通時發生明顯的障礙,因此遭遇到就醫、就學、就業等方面極大阻礙,而無法融入社會的主流。本論文目的為應用自然語言處理、中文語音訊號處理技術及本土聽語障礙族群實際溝通輔助需求,研發出本土化PC-based台灣手語轉語音溝通輔具,以改善其日常生活中的溝通表達。
本系統研發架構,包括:(1)手語鍵盤,其設計乃依據Row-Column Scanning及考量認知、注意集中及學習反應之階層式安置的策略;(2)基於Rate Enhancement的目標,運用詞頻預測、詞性篩選、句型預測及注音縮寫查詢等機制來輔助手語關鍵詞彙輸入及搜尋;(3)依據Sentence Compansion及Bottom-Up Parsing/Top-Down Filtering的觀念,可經由少量詞彙輸入產生符合語法及語意之文句。
其設計原理,乃以中研院自動斷詞程式及知網(How-Net)為基礎,以句型樣版及概念從屬之語格文法(Case Grammar)為構句基本架構,透過語法剖析、語意分析以及虛詞補綴等自然語言技術,建立關鍵詞彙預測完整文句之轉譯系統,以提供使用者經由輸入簡單關鍵詞彙,即可獲得完整文句及合成語音。在系統功能性評估部分,由特教老師選取個案課程教材及日常生活1000句對話語料,平均語句長度為4.9個字。免除虛詞輸入,約可節省26.25按鍵數;系統提供之詞彙預測、句型預測及注音縮寫等輔助構句方式,與未加任何預測功能之檢索速度改善率分別為67.71%、79.50%、96.87%。在個案適用性評估部分,經由教學、調適及評估時期的訓練,實際溝通之構句速度有顯著改善的趨勢;構句成功率分別為47.37%、65.0%、68.38%;主觀性構句滿意度評量亦有顯著的改善。因此,未來可提供符合本土所需之輔助手語訓練及教學系統。