輔助科技的提供與應用促使身心障礙者參與並融入社會的主流。聽語障者因先天或後天的功能性障礙而嚴重影響其語言學習與溝通表達。歐美先進國家已發展出替代暨擴大性溝通輔助科技來改善身心障礙者的溝通能力與日常生活獨立性，此類科技的發展原理乃根據身心障礙者殘餘的功能性，透過科技的處理，使其以最具效率的操作模式來產生最充分且具理解性的溝通訊息；相關的輔助系統已成功應用於特殊教育與臨床實務。然而，由於語言及文化的差異，使得此類先進輔助科技無法直接應用或移轉於本土使用者；目前聽語障輔助科技仍處於萌芽階段，其相關技術的研究與開發甚為醫學工程與資訊科學領域中重要的研究課題。

本研究的目的為設計及發展台灣手語替代暨擴大性溝通輔助系統，以改善本土聽障者溝通及語言學習的效能。本研究之理論基礎與原理包括資訊檢索、計算語言學、機器翻譯、語言模型及影像處理，並且考量符號認知、視覺注意力集中及功能性障礙於人機介面設計，以提供並符合聽障者個別化需求之電腦輔助教學訓練及溝通輔助系統。研究之特定目標，包括：（1）發展具效率性及強健性之手語手勢碼檢索輸入系統，提供使用者以最直覺的模式達成文字的輸入；（2）發展具效率性之手語符號預測虛擬鍵盤來增強輸入及中文文句生成的效能；（3）發展具強健性之手語翻譯系統來達成中文轉譯手語；（4）發展手語影帶串接合成技術來增進手語教育訓練的效能；（5）系統實現及探討本文所提方法之可行性。

實驗評量主要探討手語詞檢索正確率、手語詞預測正確率、手語轉譯中文生成正確率、中文轉譯手語正確率及中文/手語閱讀理解效能。透過主、客觀之實驗，其結果顯示：本文所提之方法架構與實現系統，在系統功能性評估上，具顯著性的效能提升；在個案施測部分，中文讀寫與手語閱讀理解能力亦有顯著的改善，且於實務應用上，檢索及預測機制呈現容錯的特性。在替代式文字輸入部分，本文所提之最大事後機率估測手語手勢碼檢索模型，可有效模型化使用者輸入型態，其中，根據台灣手語音韻學所定之手語手勢碼，可提供替代性溝通輔具的發展；在文句生成部分，本文所提之手語關鍵詞預測句型樣版語言模型，可提供聽語障者構句及文法矯正的應用；在擴大性溝通與手語學習部分，本文所提之最大事後機率估測二階段對譯模型及動態規劃化影帶串接合成模型，可產生最佳之中文轉譯手語真人合成影像序列，提供聽障者及一般聽人之台灣手語教育訓練。

本研究之中文/手語相關資料庫、實驗結果及研究探討，可提供語言學家重要的基礎研究資料於手語語言學研究，並提供電腦資訊處理學者具指標性且系統化的概念設計架構於本土輔助科技整合與發展，另外，所研發之電腦輔助教學與溝通輔助系統，可提供特殊教育及復健人員進行相關的教育訓練實務。未來之研究將著重於大量手語平行語料庫發展及運用先進之台灣手語音韻構詞研究發現、自然語言理解及影像處理技術於系統發展與設計的修改及改善。