言い換えを用いたテキストの自動評価

URI http://harp.lib.hiroshima-u.ac.jp/hiroshima-cu/metadata/9552
File
Title
言い換えを用いたテキストの自動評価
Title Alternative
Automatic Evaluation of Texts by Using Paraphrase
Author
氏名 平原 一帆
ヨミ ヒラハラ カズホ
別名 HIRAHARA Kazuho
氏名 難波 英嗣
ヨミ ナンバ ヒデツグ
別名 NANBA Hidetsugu
氏名 竹澤 寿幸
ヨミ タケザワ トシユキ
別名 TAKEZAWA Toshiyuki
氏名 奥村 学
ヨミ オクムラ マナブ
別名 OKUMURA Manabu
Abstract

コンピュータにより生成された要約の評価は,近年の自動要約研究における重要な研究課題のひとつと認識されている.従来は,抜粋形式の要約を,正解要約との文字列の一致度により評価するのが一般的であった.しかしながら,生成要約には原文にはない独自の表現が含まれることがあるため,従来の評価手法では,生成要約を抜粋要約と同様の精度で評価することができないという問題があった.そこで,本稿では,言い換え技術を用いることにより,従来の評価手法の改善を試みる.提案手法の有効性を確認するため,テキスト自動要約タスクTSC2のデータを用いて実験を行った.実験の結果,提案手法は,生成要約の評価において従来の評価手法を改善できることが確認された.

How to evaluate computer-produced abstract-type summaries has been recently recognized as one of the important research problems to solve in the field of automatic summarization. Traditionally, computer-produced extract-type summaries have been evaluated by n-gram overlap with human-produced summaries. However, these methods cannot evaluate abstract-type summaries in the same performance as extract-type summaries. In this paper, we explore the use of paraphrasing methods for refinement of automatic evaluation techniques. To confirm the effectiveness of our method, we conducted some experiments using the data of the Text Summarization Challenge 2. As a result, we found that our method could improve a traditional evaluation method when evaluating abstract-type summaries in comparison with a traditional evaluation method.

Journal Title
情報処理学会研究報告. SLP, 音声言語情報処理
Volume
2009
Issue
18
Spage
1
Epage
6
Published Date
2009-05-14
Publisher
一般社団法人情報処理学会
ISSN
0919-6072
NCID
AN10442647
NAID
110007990611
Language
jpn
NIIType
Technical Report
Text Version
出版社版
Rights
ここに掲載した著作物の利用に関する注意:本著作物の著作権は(社)情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。 / The copyright of this material is retained by the Information Processing Society of Japan (IPSJ). This material is published on this web site with the agreement of the author (s) and the IPSJ. Please be complied with Copyright Law of Japan and the Code of Ethics of the IPSJ if any users wish to reproduce, make derivative work, distribute or make available to the public any part or whole thereof. All Rights Reserved, Copyright (C) Information Processing Society of Japan.
Relation URL
Old URI
Set
hiroshima-cu