指導教授：吳宗憲

研究生：莊則敬

出版年：2007

校院與系所名稱：國立成功大學 資訊工程學系碩博士班

摘要：

由於近來即時資料庫存取及多媒體展現技術的快速發展，電腦輔助系統已經成為一個強化教育品質的有利工具，特別是在聽語障學童的溝通輔助學習上。許多的溝通輔助技術已經被應用在提高聽語障學童的溝通輔助技能學習上。由於聽語障人士難以自然語言溝通，因此大多數溝通輔助系統都是著眼在其他替代性溝通技能上的強化與提升，如手語、唇語、或其他整合溝通技巧。不過，這些系統尚有若干缺點。以自然語言文法的學習為例，單獨使用文字及圖像按鍵為輸出入介面的手語學習系統通常是無效的。由於這些系統只能提供片段語言單元，如單字、片語、或子句，學習者無法由系統提供的介面理解自然語言中完整的文法架構。本論文提出一個針對聽語障人士設計之整合溝通技巧學習、訓練、及教學的架構。本論文同時描述一套依此架構建立的溝通輔助系統：TaiSign。TaiSign 為一溝通輔助系統，目的在結合不同的多媒體技術，以幫助聽語障人士與聽人間自然的溝通。

首先，第一個溝通輔助技術是發音學習和矯正系統。對於一套個人化的發音學習輔助系統而言，有效評估新使用者的發音錯誤模式是很重要的。在本方法中，我們透過估計個人化發音錯誤的機率達成這項評估。本文提出一個基於最小熵值計算的方法有效利用少量評估句子得到個人化發音錯誤機率。同時，由於對多數人而言，相同類型的發音錯誤通常都會同時出現。因此，當某些發音錯誤的機率變動時，相同類型發音錯誤的機率也會同時更新。

另一方面，以手語影片為基礎的手語影片合成系統則提供TaiSign 自然的手語輸出介面及聽語障人士與聽人間的手語溝通輔助功能。為了產生手語影片合成單元間的平滑內插影片片段，首先計算最小連接成本以決定兩個合成影片單元之最佳斷點。最小連接成本為距離成本、平滑成本、及影像失真成本的線性組合。兩斷點間的內插影片生成則利用非均勻有理B樣曲線(NURBS Curve)於手勢影像空間中建立一平滑曲線，並利用此曲線選擇最佳手部影像以達到手部影像內插之目的。當個別影像元件都準備完成後，我們使用影像疊合技術將所有影像元件合成為平滑之內插影片。

最後則是立體虛擬人物合成系統。此系統提供TaiSign 唇型動畫介面及發音輔助練習之視覺回饋。本系統首先拍攝真人唇型影帶，並由其中取得每個唇型合成單元的參數序列。為了達到唇型運動和語音輸出間的同步化，本系統使用最大方向改變演算法以根據語音速度決定唇型動畫參數變化。同時，為了達到在高語速下的最佳唇型運動平滑度，本系統結合貝茲曲線(Bernstein-Bézier curve)及近似運動理論提出四個音素相關的發音內插函式。

文獻連結