抜粋による複数文書要約を評価するためのコーパスと評価指標

URI http://harp.lib.hiroshima-u.ac.jp/hiroshima-cu/metadata/6549
File
Title
抜粋による複数文書要約を評価するためのコーパスと評価指標
Title Alternative
Corpus and Evaluation Measures for Extractive Multiple Document Summarization
Author
氏名 平尾 努
ヨミ ヒラオ ツトム
別名 HIRAO Tsutomu
氏名 奥村 学
ヨミ オクムラ マナブ
別名 OKUMURA Manabu
氏名 福島 孝博
ヨミ フクシマ タカヒロ
別名 HUKUSHIMA Takahiro
氏名 難波 英嗣
ヨミ ナンバ ヒデツグ
別名 NANBA Hidetsugu
氏名 野畑 周
ヨミ ノバタ チカシ
別名 NOBATA Chikashi
氏名 磯崎 秀樹
ヨミ イソザキ ヒデキ
別名 ISOZAKI Hideki
Abstract

複数文書要約の対象となる文書群には,ある文に対して,意味的に似通った文やまったく同じ文が含まれていることが多い.こうした傾向は,要約のための文書群を複数の情報源から得た場合に特に顕著である.しかし,従来のコーパスには,このようなよく似た文,あるいは同一の文の間に注釈付けが存在しない.これは,抜粋を評価するための指標を定義するうえで致命的な問題となる.本稿では,こうした冗長性を考慮したコーパスへの注釈付けの枠組みを提案し,それに基づき,抜粋の情報量を測る指標である被覆率,抜粋に含まれる重要文の冗長度を測る指標である重要文冗長率を提案する.これらの指標による抜粋の順位付けと被験者による順位付けとの問の順位相関係数は,ともに0.7以上であり,人間の順位付けとの間に高い相関があることが分かった. / In multiple document summarization, input documents have many similar (or even identical) sentences. However, conventional corpora for multiple document summarization do not include links between similar sentences. This is a critical problem with regard to the definition of evaluation measures for sentence extraction. In this paper, we propose both annotation scheme for corpus and evaluation measures, "coverage" and "redundancy." "Coverage" measures the content information of the system extract and "redundancy" measures the redundancy of the important sentences contained in system extract. We evaluate "coverage"and "redundancy" by comparing their ranking correlation coefficients with subjective human rankings. The results show that both measure attained enough high correlation coefficients, which were more than 0.7 correlation coefficients.

Description Peer Reviewed
Journal Title
情報処理学会論文誌. データベース
Volume
48
Issue
SIG_14(TOD_35)
Spage
60
Epage
68
Published Date
2007-09-15
Publisher
社団法人情報処理学会
ISSN
0387-5806
NCID
AA11464847
NAID
110006390951
Language
jpn
NIIType
Journal Article
Text Version
出版社版
Rights
ここに掲載した著作物の利用に関する注意:本著作物の著作権は(社)情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。 / The copyright of this material is retained by the Information Processing Society of Japan (IPSJ). This material is published on this web site with the agreement of the author (s) and the IPSJ. Please be complied with Copyright Law of Japan and the Code of Ethics of the IPSJ if any users wish to reproduce, make derivative work, distribute or make available to the public any part or whole thereof. All Rights Reserved, Copyright (C) Information Processing Society of Japan.
本文データは学協会の許諾に基づきCiNiiから複製したものである
Relation
isVersionOf:http://ci.nii.ac.jp/naid/110006390951
Relation URL
Old URI
Set
hiroshima-cu