Title ムハンマド・ブン・マフムード・トゥースィ …...ブが最初にメッカの神殿（al-bayt）を布で覆ったと伝えている[EI2:
Project NEXT 機械翻訳班中間 - Graham Neubig•†用システム3つ（SMT1、SMT2、RBMT1...
12
1 Project Next - 機械翻訳班中間報告 Project NEXT 機械翻訳班中間発表 Graham Neubig with 工藤拓、中澤敏明、 John Richardson 、 赤部晃一、星野翔、三宅理恵 2014-09-02
Transcript of Project NEXT 機械翻訳班中間 - Graham Neubig•†用システム3つ（SMT1、SMT2、RBMT1...
1
Project Next - 機械翻訳班中間報告
Project NEXT機械翻訳班中間発表
Graham Neubigwith 工藤拓、中澤敏明、 John Richardson 、
赤部晃一、星野翔、三宅理恵2014-09-02
2
Project Next - 機械翻訳班中間報告
機械翻訳の誤り分析をなぜ？
● 翻訳システムの誤り傾向の分析
● → 高頻度・深刻な誤りを修正してシステム改善● → 前段の解析精度との関係を明らかに● → 新たな解析技術の導入の検討
● 翻訳システム間の比較● → システムの相対的な得意苦手を理解
3
Project Next - 機械翻訳班中間報告
誤り分析の一例その土地を開拓した家の子孫は吉村家であり、吉村酒造を開いたという記述によると、堀内村、伏見城の跡に建てられたのだったとされるが、明治時代に宮内省に土地を譲ったと言われている。
その土地を開拓した家の子孫は吉村家であ [り、 ][吉村酒造を開いた ]という記述によると、堀内村 [、 ][伏見城の跡に建てられた ]の []だったとされるが、明治時代に [宮内省 ]に土地を譲ったと言われている。
誤り検出
その土地を開拓した家の子孫は吉村家であ [り、 ][吉村酒造を開いた ]という記述によると、堀内村 [、 ][伏見城の跡に建てられた ]の []だったとされるが、明治時代に [宮内省 ]に土地を譲ったと言われている。
誤り分類
誤り集約・集計並べ替え : 2 (33%)活用 : 1 (17%)
削除 : 1 (17%)挿入 : 1 (17%)
語彙選択 : 1 (17%)
4
Project Next - 機械翻訳班中間報告
Project NEXT の作業・目標・効果● 作業
● 日英翻訳のオープンドメインのテストを用意（完了）● 6 つの代表的な翻訳システムの出力を用意（完了）● 人手による数量評価（完了）● 誤り分析（今日、これから）
● 分析の目標● 数値評価で日英翻訳の現状を知る● 各システムの得意苦手を知る● 誤りの原因を知る（可能な限り）
● 波及効果
● システムの改善● 誤り分析方法の確立● 必要な解析技術の明確化
5
Project Next - 機械翻訳班中間報告
テストデータ・システム
● テストデータ：現代日本語書き言葉均衡コーパス
● 形態素解析と構文解析と共通● Yahoo 知恵袋、ブログ、白書、法律文書、新聞等● 英訳がなかった
– Graham と John で 815 文の訳を作成
● システム：
● 商用システム 3 つ（ SMT1 、 SMT2 、 RBMT1 ）● 大学システム 3 つ
– Moses ( フレーズベース翻訳 )– KyotoEBMT (両言語の係り受け構造に基づく翻訳 )– Travatar ( 原言語の構文構造に基づく翻訳）
● 大学システムは 300 万文のオープンドメイン対訳文
6
Project Next - 機械翻訳班中間報告
MosesKyotoEBMT
SMT2Travatar
SMT1RBMT1
Human
1
1.5
2
2.5
3
3.5
4
[0-6
] E
val A
vera
ge
数量評価● 6 つのシステムと人手翻訳を評価
● Google の翻訳評価システムを利用（ 0-6 の 7 段階）● 人間による翻訳を「システム」として扱う
*Moses-KyotoEBMT 、 Travatar-SMT1 に有意差なし
7
Project Next - 機械翻訳班中間報告
MosesKyotoEBMT
SMT2Travatar
SMT1RBMT1
Human
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
4-6 (good)2-3 (acceptable)0-1 (nonsense)
数量評価における評価値分布
● Q: 人間でも 0-1 とされるのはなぜ？
● A: 文脈に応じた翻訳、文脈を考慮しない評価● A: 時間の都合上、チェック不足
8
Project Next - 機械翻訳班中間報告
分析の流れ
● すべてのシステムが低い評価になった文から分析
● 誤りの種類に分類
● 解析● 形態素解析 (AM)● 構文解析 (AP)● 文分割 (AS)
● アライメント● 削除 (BD)● 挿入 (BI)● 置換 (BS)● 並べ替え (BR)
● 文脈● 語義 (CT)● 主語の補完 (CA)● 並べ替え (CR)
● モダリティ● 否定 (EN)● 可能 (EP)● 受け身 (EV)
● 翻訳不可● 未知語 (UNK)● 翻字 (UT)● 直訳が難しい (D)
9
Project Next - 機械翻訳班中間報告
分析ツール
● 複数のシステムを同時に示し、使われたルールやアライメントを表示
● http://isw3.naist.jp/~koichi-a/proj-next/● 結果の共有： Google Docs
10
Project Next - 機械翻訳班中間報告
分析結果
● 特に問題が多かった種類
●解析●形態素解析 (AM)●構文解析 (AP)
●崩れた構文●並列句
●アライメント●削除 (BD)●並べ替え (BR)
●文脈●語義 (CT)
●内容語●機能語
●主語の補完 (CA)●並べ替え (CR)
11
Project Next - 機械翻訳班中間報告
詳細な自動誤り分析
● 「参照文に含まれておらず、システム出力に含まれている n-gram は誤りの可能性が高い」
● これを利用した自動誤り特定手法[Akabe+ COLING2014]
● 分析の結果：
● 数字の誤り● 括弧の誤り● 全角スペースの誤訳
12
Project Next - 機械翻訳班中間報告
今後の予定
● 分析結果の集計● 上流解析タスクとの交流
● 知見の共有– どの誤りが致命的、どのような誤りが許せる？
– どのような解析技術が欲しい？● 解析精度と翻訳精度の関係を明らかに
● システム間の比較● 分析結果の反映
