平成26年6月
情報技術統括室
従来から件数が多かった欧米の特許出願に加え、非欧米諸国の特許出願、特に中国の出願が近年大きく増加している状況を受け、特許庁における特許審査の効率化を図り、また、民間における外国語特許文献の調査環境の整備を促進するためにも、外国語特許文献の高品質な機械翻訳の必要性が、ますます増大しています。こうした必要性を踏まえ、特許庁が機械翻訳に関連する事業の調達や管理を実施する際には、機械翻訳結果の品質を適切に評価するための指針が必要となります。
このような状況を受け、特許庁は、「平成25年度特許文献機械翻訳の品質評価手法に関する調査」を実施し、特許文献の品質評価手法のあり方について調査いたしました。今般、その調査結果をもとに、「特許文献機械翻訳の品質評価手順」を作成いたしましたので、公表いたします。この品質評価手順は、特許庁のみならず、機械翻訳技術を利用若しくは開発する民間企業や研究機関等においても、複数の翻訳エンジンの性能比較や特定の翻訳エンジンの弱点の把握などの際に、参考となるものと考えております。
なお、この品質評価手順は、特許庁が今後実際にこれを使用していく中で、事例を追加するなど、適宜改定していくことを想定しておりますが、この評価手順をより公正で最適なものとしていくため、民間企業や研究機関等からも、広く意見を募りたいと考えています。この評価手順について、具体的に改善すべき点等があれば、是非下記の連絡先まで御連絡ください。
「特許文献機械翻訳の品質評価手順」の概要
- 特許文献の文単位の機械翻訳結果を対象とし、人手で翻訳品質を評価するためのもの。機械翻訳結果の用途としては、先行技術調査におけるテキスト検索用データ、先行技術のあたりをつけるための粗読用データ、及び先行技術の内容を正確に把握するための精読用データのいずれかを想定。
- 評価の種類は、複数の機械翻訳システム間の翻訳精度比較を行うための「相対評価」、機械翻訳結果の特定の用途への有用性を判断するための「絶対評価」、及び機械翻訳システムの具体的な弱点を把握して品質向上につなげていくための「フィードバック利用」の3種類。
- 「相対評価」又は「絶対評価」の場合は、「内容の伝達レベル」、「重要技術用語」及び「流暢さ」を評価の観点として使用。
- 「フィードバック利用」の場合は、「語の欠落」や「未知語」等の7つの必須項目及び「訳語のゆれ」や「不適切な文の分断」等の複数の任意項目からなる「チェックリスト」による評価を実施。
ダウンロードはこちら
(参考)平成25年度の機械翻訳に関する調査事業
- 特許文献機械翻訳の品質評価手法に関する調査
報告書(PDF:5,106KB)
- 中国特許文献の機械翻訳のための新語に関する調査
報告書(PDF:2,489KB)
[更新日 2014年6月4日]
お問い合わせ |
特許庁総務部総務課情報技術統括室特許情報利用推進班 電話:03-3581-1101 内線2364 FAX:03-3592-8838 |