End-to-End学習を用いた音声からの表情アニメーション生成

URI http://harp.lib.hiroshima-u.ac.jp/hiroshima-cu/metadata/12576
File
Title
End-to-End学習を用いた音声からの表情アニメーション生成
Title Alternative
Generation of Facial Animation from Voice using End-to-End Learning
End-to-End ガクシュウ オ モチイタ オンセイ カラノ ヒョウジョウ アニメーション セイセイ
Author
氏名 大道 博文
ヨミ オオミチ ヒロフミ
別名 OMICHI Hirofumi
氏名 目良 和也
ヨミ メラ カズヤ
別名 MERA Kazuya
氏名 黒澤 義明
ヨミ クロサワ ヨシアキ
別名 KUROSAWA Yoshiaki
氏名 竹澤 寿幸
ヨミ タケザワ トシユキ
別名 TAKEZAWA Toshiyuki
Abstract

Expressive facial animation has an important role in communication. Some avatars can express them using Face Tracking, that is one of the typical facial expression synchronization methods, but facial expressions cannot be created from previouslyrecorded speech or synthetic speech without facial expressions. In this study, we propose a method to generate facial animation using only voice. Specifically, a learning model is designed using the acoustic features of the uttered speech as input and the parameters of the Action Unit (AU) analyzed from the facial expression video as teacher data. The experimental results indicated that the loss value of our proposed method was lower than that of the existing method. In addition, the activities of AUs by proposed method fluctuated smoother than the existing method. It will be perceived as natural facial expression.

Description

2020年度(第34回) : 2020年6月9日-6月12日 : オンライン

Journal Title
人工知能学会全国大会論文集
Volume
34
Spage
1
Epage
4
Published Date
2020
Publisher
人工知能学会
NCID
AA11578981
DOI
Language
jpn
NIIType
Conference Paper
Text Version
出版社版
Rights
本著作物の著作権は人工知能学会に帰属します。本著作物は著作権者である人工知能学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」に従うことをお願いいたします。
Relation URL
Note

3Rin4-04
本研究の一部は国立研究開発法人科学技術振興機構(JST)の研究成果展開事業「センター・オブ・イノベーション(COI)プログラム」グラント番号JPMJCE1311の支援を受けたもの

Set
hiroshima-cu