手語與中文存在著語言結構的差異，聽人若以中文型態的表達，期與聾人進行溝通，則無法廣泛或確切地為聾人所接受或理解。現階段啟聰教育之教學法，主要採手語為主，然而，現有靜態圖文教材，難以具體呈現手語複雜的肢體動作特徵；真人影像教材又僅侷限於小量的詞彙教學。倘若能於學習或互動層面上，以手語型態及真人影像呈現，對於聾人而言，將會是最親切、自然的模式。因此，本研究之目的為實現以中文轉譯成手語序列，再以真人影像的自然比劃動作來達成聽人對聾人的溝通目標。
本研究之架構，主要包含：（1）中文/手語對照語料剖析：根據對照語料及手語語言分析，提出一組語法類別單元集及二階段轉譯處理策略來描述對照句；（2）轉譯機制建立：提出一統計式轉譯模型，同時估算句型主結構轉譯機率及片語對譯機率，另外，經由轉譯樣版及對應樣版的組合與衍生，可解決句型集外的問題；（3）手語動作轉移平衡影像庫建立：設計涵蓋手語詞彙間轉移資訊之平衡語句資料庫，進而，建置含轉移資訊之手語真人影像資料庫；（4）手語影帶串接生成機制建立：提出具同時估算手部位置及移動方向差異的串接生成演算法，以呈現連續且平順之手語動作；（5）系統整合與個案實測評估。

實驗中，選取2159個手語詞彙及4554對照語句（平均句長為4.5個詞）為訓練與測試語料，依此訓練而得1518個句型主結構轉譯樣版，867個片語對譯樣版。在轉譯效能評估部分，隨機選取90 %對照句為訓練語料，其餘測試語料，Top-1 之正確率為82.4%；Top-5之正確率為92.3%。轉移平衡語料共計選出409句，其中，涵蓋轉移次數非為1之詞彙的平均轉移數為2.57次。在串接方法比較部分，選取5名聾生進行個案實測，分三等級評量影像接流暢度，以本文所提串接方法之總體表現為最佳。在系統整合測試部分，由教師選取課文試題經系統自動轉譯並產生相對應之手語影像，再由教師分別詢問5位聾生之反應，分三等級評量句意理解度，整體之句意理解度可達82%。本文提出一套中文轉譯手語及手語影像生成之手語教學輔助系統，透過相關的實驗探討，顯現本研發系統之實用性與前瞻性。