ArticlePDF Available

Dynamic Display of Facial Expressions on the Face Robot with a Life Mask(Mechanical Systems)

Authors:

Abstract and Figures

In face-to-face communication, we use not only verbal medium but also non-verbal medium for communication. In particular facial expressions are very imortant for emotional communication because they show emotions and feelings effectively. Therefore it is thought that facial expressions are necessary in order to make human-robot communication more naturally. In this paper, "Face Robot" that has human-like appearance and can display facial expressions similar to human being is developed. In order to improve the humanity, the skin of the face robot is taken from the cast of female's face (i.e. life-mask). We then add and improve control points of the face robot according to features of her face. Moreover we analyze her facial expressions in order to mimic her real-time facial expressions with the face robot. We then confirm that mimicking of her real-time facial expressions and face features with the face robot are reproduced successfully. Finally, we compare their facial expressions by comparison of facial characteristics points and sensory evaluations.
Content may be subject to copyright.
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
Il3
本機 集 (
C編 )
 75749号 (LOO91
論 文 No 080295
マ ス ク を動 的表 情
橋本 平 松 2
林 宏4
Dynamic  Display 
of  
Facial
 
Expressions
 
on  
the 
Face  
Robot 
with  
a Life
 
Mask
Takuya  HASHIMOTO 5
 Sachio
 HIRAMATSU
 Toshiaki TSUJI  
and  Hiroshi
 KOBAYASIII
ssDepartnlent  uf Mechacal Ellgirlee1
img
 Tokyo  
ULIiverstuf  
Science
   13Kagurazaka
 Shinjyuku
ku
 Tky
628601  Japan
   ln face
to face 
comnlurlication
 wc  use  
not  only  
verbal  nedium  
but 
also  
nDn vcrbul  
lnediuln  
for
cQmmunication In purtlcular
 facial expressions  are  very  imortant
 f
r cm iQnal
 communication
because they
 
show  
em tions 
and  feelings 
effectiN
ely  Therefore it is thQught  tha facial 
expressi ns
are  neccssary  in 
order  to make  humarl robot  communication  more  
na urally
 In
 this
 papcr
Face
Robot
that  has 
human 1ke appearance  and  can  display faclal cxpressic 11s
 
sinlilar  
to hunlan 
being
is
 develoPed
 
In order  to  i11
prove  the hurnanity
 the sk 量n of he 
face
 
robot s taken  f
olll
 
the 
cast
femalc
s face
i
eife
 mask  We  then  add  and  improve  
control  
points  
of  
the 
face
 
rQbot  according
tQ 
features
 
of  
her
ace  MDreover  we  analyze  her fac
a
cxpressions  in
 order  
tD 
mimic  
her
 
real  time
facial
 expressions  
with  
the  face  
robot
 Ve then  
con rrn  that n1 micking  
Pf 
her 
real ln faciaI
expressions  
and  
face
 
features
 
with  
the 
face  
robot  are  reproduced  successfu ]ly
 
Finally
 
we ompare
their facial exp esi ns  by cmpa is。 ・ f
 
facial characte istics 
Pintdens ry vluations
1ept
ords Face 
Rob
 Life
Mask
 Real
Tinle Facial Expressons
 Human  Robot 
Interaction
1緒 言
 人間同では論 理
り取 りは 主 に 声言語 を用て行われ る
体 動作外 見 非言報 もきな
役割を
1
人間 はれ ら非言語 報 と
言語 とを的に が ら 円滑 な
を実現 し て 人間とトと円滑
を実現す るた めに音声対話機
能 だけ非言 に持 た せ
れ て い る
2H4
これ ら
身体性を活 線や う動 きな
非言表現人間円滑
して
  さ非言情報 重要 れ るも
顔表喜怒
哀楽現す また人間 同
対面に お 達 さ
原稿受 付  2eOS 47
1京理科大学大学院⊥学研究OP 162
B601 京 都
 新宿神 楽1 3
自動 車
471
8571 1
IA
大学学 部
3388570 市桜区下大久
 保255
tt
科 大 学 部
E
mai1 tak kobalab cum
実 に 55が 顔 表 に よ る だ とう報告 もあ
果 た す 役 割 は大 この
重要目し人間と滑な
を実す るため
研 究 が
わ れ fi
9
れ ら研究
効果 的 な部 し て
を デ ルメし頭部 き や
な ど部位 変化 させ 表情表出
して
 筆者 らは 人 間 た 顔 皮膚質感
た顔
OHIO 開 発 を行 お り
き を基 に 自然 な表 情 表 出 特 に
世界共通 に認識
表出 能 と され る基 本 的 な 6
恐 怖 怒 り
13
して 認識率をお り
IOXIn
し て
20041月から稼 動
C14
こ の うな 人
似たゆるア イ ド
大 きな特
して
を対 話 者 に 与 え る とが 出 来 る と ある
ま りトと
人 間同然な実 現
られ
13
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
114 ラ イ を 用 た顔よる動的 表 情
 本 在感を高るために実
間 に そ く りな顔 表情
程度伝 達きる評価すとを
目的 と で に 実在間を
イ ド
され ては
1
脳 )
外観よび情や動作どれ だ とな
人 問にに評 して は
ず実す る人間顔型を取
ラ イ
製作とな
た 表 1
を再 現す して した
に よ り の 表
表 出
を再
位 関係 を 比 較
とに 再 現 性 に評 価 さ ら
開発 し た
表情
とな た 女 性 るかま た
意 図 た表
伝わ能 評 実 験 に よ 価す
動的表情表 出ては
先行
いて実現 してい のののモ
人 間 お り
も人間 15 倍 ときか
とな た 人 間 と似 て るかを比
す る 出来
  2 ライ 作と
構造て説 明 す 3 に よ
る表 表出にいてる と共 に ルの
を 再 現 る た め に追 加
改 良 した 御 点 に
明す る
4開 発 した 顔 を用
表情表 出実現 特徴追従性
結果5 トと
官能評結果を示
2ラ イ フ マ トの 製作
 2
1ラ イ フマス作  20 代女
し て 皮膚し た 製作手 順 以 下
通 りあ るまた製作 を 図 1に示
i
 ャ ッ 頭 部 保護 でアル
   を 頭 部 塗布
外 側 を 固
  型製作
 した雌型に 石 雄型製作
  
  す
iii
) (
ii
し た 入れ 作す
   ここ を取 に 目
  
真をに 彫 を施
    整形
iv
) (
iii
雄型 をFRP 雌 型 よび 雄 型 を
  製作す る
 最終的
iv
FRP よび
型 とれ を製作す 皮膚
軟質 ウ樹脂 い て お 平均 5
軟質 ウ樹脂052種類 混合
た もを用 お り皮膚着色
顔 型 と 同時 も 取 歯 を した
 2
2造  
部 構 造
2FRP
か ら皮膚 FRP
格は 顔型 をし て 大 き
さは 210xllOx130mm
x×
 表情表 出にお ける顔 面上27 あ りそれ
を制 御 す McKibben 筋 肉は全部 39
タ 配 置 を図 3に示 図 中 数 字
ク チ 号 を表 し て
39
格内部 27
31819
37
イ ヤ して 皮膚 直接るアク
あるま た 3918 開 閉
る ア ク チ ある4に示 す よ
2のフ
4A
B
お り
2自由 度 を有 す よ び 下 瞼 McKibben
上 下向に復 元 力
用 し初 期 位 置 戻 る3
391112
ま た 101314下瞼2
31517 ま た
16
18
片眼 5アクタを使 用 し て
   難
   
i
 tS
 
i
    纏
   iii
iFil1
  1
   
Fig1 The 
ptooess
 offomling  lifbmask
EEO
110 m
 罫
a
Fe     
b
Frame SII
    Fig2 nner SUutUre
N
114
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
ラ イ を用た顔 動的情表lll 115
wl    McKibben  
articial
 mu5cie
Front
Front
   N
fSSieeva 
rtraldlett
 c
      蕪 鰍 認瀞
1  
1
i
 Fig 
5
 McKibben
 
artificial
 muscle
Ptessunv  air
25o 
20o
tl
 15o
10o
 5o
L
一 一
1
×
x
 
 
O
OLo d
oOlkg1
Load
0
1 】
Load
1
Fig3 Acordis b而 on
AUppe匚騾
  1
 1勲 触
          u
B
Ω
縣 螺d
 難 黔
a
Upper 
cyelid
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
   
  響
II
i
 
t
         (
b
Lowercyelid
      Fig 4 
Eyelid motion  mechanism
直 接 接 し て さ ら
33839 開閉クチ
 眼球眼合せ て 2自 由それぞれ DC
タ に よ り 動す き さは準的人 間
直径26mm した
 McKibben 筋肉
18x19
5示すよう供給
ゴムナイン ス
に よ り
て お を外 ナイン ス
ブ チ
と な
空気 を供す るとが膨 張 す る
外側ナ イ ン ス に よ り半 径 方
膨張抑 制 され アクチ タは 向 に
収縮 してを発生 軽量出 力 ラ イ
と い が あ あ る
う な 面上に置 す る こ きる
直 径 が 約 12
7mm を使 して お
oo
 α0     10     20    30    40    5O
         Votage
 
V
Fig6 Chata
 
teriSdcs
 
ofMcKibberi  
artificial
 
musclc
 tttt tt
 
tt
  
 
 tt 
D
A30 rd
32ch
i
 
             ミ
i
 
_  
                
                     
t
 
 
l   l
   la  
1
1
    , tttts          
 ttt ttt ttttttt    
            Fig 
7
§
2
n
 
 
     i
广tt
鰍 輔
Syscon
gura
on
無 負 25 収縮見 込 6
には使 用 と 同 直 径
127 100αMcKibben型人
方向OO051et9付加 した とき 変位
を示 す こ で 横軸は後述する電空
力圧力を示 し て
 2
3 システム構成  を図 7に示
SH4
DIA 電圧信送 ら
電圧信 号タ に
られ 電 空 タでは
きた 圧 縮空気 た空
に調 McKibben 筋肉に 出力す
 OS
は リアルタ イ OS あるPtTRON
 yer 40を用
lms 可 能 あ るまたれ を SH4
載すシスを小型
3による表情表出
 3
1表 出  
成にP Eらに よ 握 倡 され FAcs
Facial
Action 
Coding
 System
o
を参 考 に し
学的な知 見をして 表情き を 44
作単
AU Action Unit
した もで ある
ll5
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
116
ス クを用 る 動
表情も特 に 万 共通
こ と
き る表情 して 6基本表 し み
幸福
ある
研究ではこ の 6本表
し て 表 情 を顔 現す
16本 表 出 に 必 要 14AU を示
10
×
13
×
21
 3
2  AU 動 作 を実
する場合顔 面上
御 点 COrrtrol
PointCP
し て 裏 側 タ を 取
タ を McKibben
皮膚 変位 さ
 行研 究n
114AU
顔 面 上 に 19制御81
2
3
456
7
8
9
10
19
20
23
25
26
27
3031
32
標 準
6表情表出実現 しか
表情忠実再現す場合とな
器官
や筋肉具 合 制御
点を追加位 置 や 動 作 方 検討
必要
832
ま た 1AU を実 制御点
わせ を示す 8四 角 れたのが
に追加 ま た改 良 た制 御 点 以 下に詳
Table l
 Required AUs
Action 
UnitS
fcr
6 ical飴伽 1
 e    Ions
AU C1m1  洫t
APPce  changeRi
 ht
   Le
1 erBrowR 組 s2 3
2Outer  
Bmw  
R釦ser 1 4
4Brow  
Iρwr5
67
8
5U   erLid  
R廼 ser 9 10
6Ch kR 17 18
7Lid  
Ti
 tener 11
1312
14
9Nose  
Whnklα19
10U   Li R釦ser 2122
12Lj bmcr llcr 20
15Li  Comer   res9 r27 30
17Chjn  
Rajser 29
20Li  setch α25      26
25Lis t31
26Jaw  
Dro 32
 Fig8 Con1ml  
poin
 3
2
1眼 輪筋
CP17 18 輪筋AU6
幸福
持ち筋 肉 先行
IOXII
角を方にき上げ
を 行 たが 際 は 周 り輪筋窩部
頬全き く ち上 げ ら こ で
構造を参考 して
2
にワ 作成
を皮 した
9
頭 側 イ ヤ
骨格他方McKibben 型 人
に よ
伸縮 性素材
縮性を妨げがけ2
合わ せた
 3
2
2 
CP24 28
び 上 挙筋
CP21
22   環状筋 肉
6基 本表を 表 るめに必要な14 種 類
AU には直接関係 し な を 閉 ぼ ま
に必 AU 番号
 AUI8
Lip Pucker
にな るま た
本研究
女 性 場 合
驚 き
を表 出す
をす ませ る動 き が 見 この 口ぼ ま
き を現す るた めには 力を
Fig9 Mechanism of iheek
 
raiser
a
Shqpe ofConnector
hn
b
Closs
section
 
ofconilector
Fig10 Connector
 
for
 
m orbicularis  oculi  rnotion
Fig11 Mechanism 
ofm  orbicularis  oculi  motion
116
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
7を 用 表 情 17
        Fig12 Mechanism 
ofrn  men is 
mo on
ぼ ま縮力 る必要 あ る こで10
2間に ヤ を 入 れ を作成
この両側 McKibben 型 人 筋 肉
1
を用 1
KcD
  それ ぞ2イ ヤ
をす ぼ ま せ 動 き した ま た
を閉 ワイヤ 11
iii
方向
り上 るよに した
CP24
付け眼輪筋と同
 挙 筋
AU 0を 上 引 き
‘‘
を表 に 用 られ 先 行 研
10XH
ではas
E
 CP19 を用この動 きを実し て
たがではたに制御点 CP2122
れ ら タ を McKibben型 人
により
 3
2
3イ筋
CP29
CP31
 
AUI7 に 対 応
に オ
引き上げ
CP29
制御McKibben 型人 るこ
しか ガ イ 部 接引げた
ワイmら見 え ま う
こ で
12 に 示
2 イ ヤを合力で オ
イ を
と した
 下唇 下制筋 AU25
1
を下げ 行研 究
10xll
はオ ト
イ筋 とじアクチ て 実 現 たが
本 研
制御CP31 McKibben 型 人 筋 肉直接 引
実現
 3
2
4開 閉
CP9 16 動きは
AU5
7対 応
怒 り
や弛緩 動 き に影 響 す る
1
また
目が 上 を
下を 向た ら
下瞼
る とた よ 眼球せて
先行研 究
10
×
11
では
てい た研究な動 き を再現
2
2説 明 した機構を
を独
制 御 出 来 るよ し た
 3
36 基本 表 表出   によ
とな20 代女性 6基 本表再現す るこ の
表 出に関 す 特別 な訓練 けては
FACS 特徴 を説明 そ の
後何度習 しも ら6基 本表情表 出時 動 画
した このの モ を顔
し た 子を図 13 示 す ここ
右側 が
表情
た表
表情を再 現 す とき に 使 用 した AU
2に示 のモ
を す め る
AUI9
頬 を
AU6 た基本 に お 標 準的な AU 以外
2は そ れ AU
Table
 
2 6 icfhcial
 
e         
Slons  
or bAUs
Facia1 siActiUnks AUs
S rls
¢1
251826
Fear 1
24572G25
26
Di ust 4
17
Aer 4571025
26
E   mcss 612 26
Sa血 ess 1415
Table
 3 Required 1erigth and  
quantity
 ofMckibben
ardal
 
musde  
fbr
 
each  
contml  h
COolPo tC 山瓠 orn
Ri    £Ri      Le
Requ19
    Q
1412 90 2
2334 90 2
5856 go 2
6778 120 2
910910 110 2
111211 1213 1480 4
13i41516 110 2
15161718 110 2
17181920 go 2
19 21 130 1
20232223 go 2
21222425 go 2
24 2627 110 2
25262829 go 2
27303031 go 2
28 3233 BO 2
29 3435 90 2
31 3637 go 2
32 3839 110 2
E
    
 鷲 罎
   
ISesde
eost
         11va   
Fig136 pic
田 囲 田 exp ions
117
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
118 を 用 た顔 による動的 情表出
併 せ し て さ ら3繍 卸し た
McKibben 型人 長 さ と
御 点 と図 3クチタ番 号 対 応
 ここ13表情 次章動的表 表 出 最 終
表出 状態 し て
こ で こ の 6基本表情
評価動的表情
出 とせて4 5 と とす
4的表情表
 4
1動的表情表出解 析   
本 章 を表
る過程 ま りが表を表 出す る時
特 徴 時 間
位関係を現す
点に14 7点を
pm
1分析 の で 動き
的安定きる
 徴点を調るため
あ る劃 胄
ま で化 す
子を撮影
PC 130 秒毎
に静 と し 込 み 静 止 画
特 徴 座標値
とす る
により
取 得 に は 20 タを用1
02mm 析を
 う し た 時 項式
標値
 4
2 表情制御  先行
1°
XII
では
空気圧
ACD S
開発
ン の 先端位置 を制御す 動的表 出 を
実現 こ の 皮膚 1
皮膚 ンの変位量仮定
しか しな が 本 研
 
McKibben 型人筋 肉を骨 格
39 配 置 して お り位量を測定す ため
サ類 を搭載 を確 保
久性 を持 たせ る た め に皮 厚 み を平 均 5mm
とに よ りとア クチ 変 位
と仮 定 きなさらに隣接す る制 御 点
Fig
14 Facial 
characteistic
 
pointS
FCPs
Fig15 Control 
procedure
Table4 π es   
dofFCPs  
to
 CPs
FCP  
NoDtion Con1
 
Poht
Rit
19 10
11 12
2
X6 7
2
Y2 3
6 7
3123 4
567 8
429
31 32
513 14
15 16
621 22
24
7
X28
20
2523 26
7
Y20 23
27 30
動 きが互して しま う
例 え ば眉 を上
た場合 に瞼 も同時に動
こ で 基本表毎 に顔
変位量 と各制御圧 力
を求
を行 と と
 デオ を用トを PC
時刻おける徴点
位置4
1近似多項
合成 し て さら
標 位 置 に る よ
制御空気調整す
15
160 秒毎
り返 し て 空気多項
によりここで間 間 隔 を
精度 ドフ れ る
ため取 得 時間
目標 値 追従性 を損なわ な最 大 時間間隔
経験 的に求 め160 秒 間隔
タを取得 こ の とき 得
御 値 とそ 近 似 お よび 相 関係 2乗値
R2
後出17
 理によりられ た デ を用
制御 行 う
周期 1ms
4各 特
点 を動かす た め必 要な制御点 を示 す
 4
3動的表情 表出実験   
ト上 的 表 情 表 実 現
とな た 女性 表 出 過 程 再現出 る か
118
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
クをた 顔 よ る動 的 表 情 表 119
2iso
ss   
it
 
 
 
 
 
谿
 
 
 
 
 
 
tt ii
9f9 
s
1
ρ
 
 
Table 5 Max and  average  of 重he
 
abselute
 
en rbetween
et 
and  
acdb ac FCPs
Facial Facla1
 Cha蘭 甑c 
Poillts
ex lon12
X2 Y 3  4  567
X7
Y
sMax
Ave
030
11
 03 05  02
00 01 04 01 : :
F
Max
Ave
030
103  04 05 
01 01 02  040
10
40
1
Dis
Max
Ave
040
20
50
20
4 02 02 01
01 01 01 000
30
1
α40
10502
Ang
Max
Av 020
002
 03 04 
00 01 02 040
050
2
HzPMx
Ave
020
1
 
  〇4 02
  0
l  G
00
30
10
20
10
30
1
SadnessMax
Ave
030
020
10
3 02  02 
0ユ 01
 00 040
1o
40
10502
Unit
 s
o
s
3o
2
1
O0
  00
Max immum  
erTor
 AveAv ge )r
Fig 16 
Timo se 配 s  offaGial  image fkm eutr P
       to
SUrlrise
定 量的に評価
 結 果 し て
驚 き
出 過 程 を 図 16 示 す
ま た 17 さ ら
6基本表 特徴に お 標変位量 と実
量 と絶対値し て
を表 5に示こ こ 各表情におい て実際変位
記載
このよ り眠 大5
対値 誤均値04
使用 McKibben 6に示
性 を001V 入力 えた場合
で 眠 で細 3位するため
た 程 は十る もえ られ
しか しO5誤差は1れた
と しO028
°mm
0511000
十 分 小 言え以上より前節
よ りと同動的精度実現
きるとが 確認きた
瓢 」 Ar
No lR2
0985
 se
、。
§2
L
O
    o
o
1000Time
ntsl2eo
o 3000
5能評価
 5
1徴点 る表 較  動的
お け が表 出
静的して 徴点の比を 行 6
表情に お
Hu
FR
徴点終的変位て い
 03mm
ル の 6表 情 を 良 く再
現出てい るの 周 り
FCP467
く動 部位 に 比 状変複雑
え ら 周 り御点を増やすなど
り の 増やすあ る と考 られ
H
Face 
RobOt
No 2
YR2
0988
  さ  
。 。
 
1
°
2°
1°
 00
    0
100 OTime
  lms
200 0 3000
    
H  1
        「
iF c¢Ro
 
No 3R2
0998         
         . .
1
III
1
1
IL
 
 
0
0
 
 
 
0
 
 
 
0
 
 
 
0
 
 
 
 
 
 
7
2
04
  リo
2
160
 
100fime
12
o 300
11
  
H闘瞳旧n
 1
一 .     No4
一 一一.
Ro998
iF c6Ro
10
Ttme  lms
200 300
1
     
No 5
一 一
   〔1
一一
R2
0984
1
一 一 No5
0                  100                200
        Time
nyrsf
Fig17 
ynamic expression  of
Su
risett300
119
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
120 スク 的 表 情 表 出
Table 6 Comparison of  each  FCP
s displaoement in 
6 
typical
cial 
eeionsee 
hum εm 
and G 伽 K 式×)t
Facial Fac
j 
Cha sdc  PoinCPs
SSlon12
X2
Y34   567
X7
Y
Spi
HuFR2 32
3373
94 04
0
17913
17613::
00020 003  00一一一
Fe
HuFR3 73
7858
67
27
44
5 
43 
27
294646
00010 20 2 一 一 020 1
Disg
HuFR
29
292
62
6
35
35
21
20
4 33
4 3215151414
6
7
65
E000 O0 O0 10 0 0000 0α2
Ang
HuFR 2
02
0
26
26
23
224 4 
4ユ 
15
15
54
51
Eor O00 00 103   0003
H
Pc
Hu
尿
L1
10二 : 20 131
8 132
72
5
18
17232 2
Em r0 1 02  0003O 10 1
S副n
HuFR
18
L829290
40
4
13
12
24 
24 
18
191
11
1
97
98
ErKr0 00 00 00 00 0000
Unit
mml
Table 7 Result offacia1 recogniticn  rate  and  evaluadon  of
si
a
  bσhveethe
 
hand  
the
 
frobot
R¢oo  
s皿tS 沚
Su   
Fc   
Ii
   An    Ha   SaAve  SD
Su
Su
9ε786
33
133
00
00
00
00
00
G0
00
000830 83
Fe2r
Fe
13323
363
36
oO
Ol6
7
100
00
00
0013
3
001070
Dis
Di
000
00
03
386L7800
100
33
00
O0
33
133
073LOl
Ang
An
330
013
3
33
100
00
70ρ
86
7
330
0
α0
00
1530 76
H
  曲 )
0 00
00
00
0330 00
0
00
7
000
000
0
0231 04
Sas
Sa
000
G6
7
67
200
00
00
D 0
0 0
00
733
9330 β Lo3
 5
2官能評 価   
開発 した顔 に 関
験者 を用た官能評 価実験 を行 具体的 には
状 態 らあ 表情
6基本表 情うち
1
変えとき 験 者 動 画
提 示 れ が ど表情
恐 れ
怒 り
しみ
当た し て こ の
重複 て回し て も良さ らの モ
女性
を並提 示 た と
トが かをそれ ぞれ
表 情 に 対 し て 5
2
2
して も ら
自由を求
にお効 果 影 響 る た
表情示は被験者毎 行 うと と
被験には顔 表 認 識 に し て 特別 に訓練を
20 代学生 30 人を用
した表 被 験 者 が 実 に認 識 した 表 情 割 合
とめ た 結 果 を表 7示 す ここで
のモた 女 性 を用 い て
実 験 を行 場 合 認識率 あ る
 7識率平 均 値 を比 較 し て
場 合 rlS
 
844eeあるに 対
場 合 811% とな り
ルの 合 よ りも顔
が認 識 率 が低
認識 ることが
認識と比
 また表情似度
識率いて
る と恐怖
Fear
Anger
表情酷似
的高のの認識 率に比
いの のモ でも2
認識率は低 くそ れ
認識影響 し て えら
Surprise
Disgust
Happiness
似度の の 8
割以認識 率 を得お り特に驚きと
りも認 識 率 いのこ の
情 を
清が 伝 く な しま たと言えるしか しな
が ら伝達み 注 目した場合
表情自由 作 可 能 あ り
表 情 表 出
方 を工夫す とに よ りとな た人
りも効果的にを表 出 る とが 可 能 え られ る
  さ自由
表情
し て 被験者 を求 めた と
が 不
が少 な 
きが弱
多 く改善 13
嫌悪表情
角部
奥行考慮 し て 体的な表情変化を再現す
必 要
6と め
論 文 実在感 表現
る た る人 顔型 を取
ラ イ
製作し た
のモとな た人間
酷 似 した顔
表 出 を 再現 御点19
IOXII
32 し た のモ
出来
え ら
とな 大きさ
筋 肉 達具合等 じ て 制御点 位 置 大 き さ
方向を更 す る必 要 あ る
 さ ら開 発 た顔 を用
出過 を 再 現 す とを行 あ ら
め撮 影 表情表 出を解析 あ る
120
N工工
Eleotronio  
Library  
The Japan Society of Mechanical Engineers
NII-Electronic Library Service
The  
Japan  
Sooiety  
of  
Meohanioal  
Engineers
クを
に よる動的表情 121
時 刻 に お 特徴変位 め た
し た 変位各時刻に お け る
クチ注入圧 力 をめたれ を本表情
タ を取 得
して 動的表 出 験 を行 顔 上
k
変位 関係 をと比
表情出過程 精度 よ く
認 され た 表 出 し
的 な表変位を行
を得 し た
して
官能評価6本表情認識し て
811% の 識率得 ら
似度を評
も ら 1表情は比 的高
を得 のの表 情 は評 価 低 く
が必
 今後
り立体 的 な 表 情 変 化
ま り 14 にお
z方向し て も評 価 す 必要が あ
ま た に お
変化 を詳細 表 情 自然 な 強 弱 け方
6基本表情変し て 追求る 必
が あ 来的には遠隔地す家族
供や
顔を 独居
どが トを し て く に 話す
とが 出来
1
2
3
4
5
M
T
 Psychology of 〔bmmunicatiog  Ndnisiva
PubliShers
1999
 
pp
41
68
in Japanese
Matsusalca
 
Y
 T
jo
 T
 and  Ko ashi
 T
 Conveon
Robot Panicipadng  hl GK up  Conversation
 Jorua
qr
lnstitUte
tics
 fnforntcth
on αCommuniCation
neer
s
IJ
 
Vo1 8
H
 
No 6
2001
898
9028
in Japanese
Kand
 T
 Kamashim4  M
 Imai
 M
 Ono
 T
 Sakam
D
1shi
 H and  Anz
 Y
 Embodied Coopem ve
Behaor  fbr
 a Humanoid  Robet
 that
 CommunicaIe wi 血
Hans
 
fOtll
ua
the Rabc ’
JLean
Vo 23
 No 7
2005pp808
909
iη
panese
Wa be
 T
 
Okubo
 
M
 and 
Ogawq 
H
 
An  
EOdied
Inteon Robots 
System
 
Based 
on  
Speh
 
Trcvzstrc
加 』
Soeiety
f 
Mechanical Eigineers
85 C
Vol66
 
No 648
2000
 pp251
258
hl
 
Japanese
Me i
 A
 Co ication owords
PsJ¢ho
71b
 Vol2No 4
1968
 
pp
52
55
Miw  H
 TakanobH
 
and  Takanishi
 
A
 
Development
of  a HIm
like
 Head Rdbot fbr
 Em
Communicaioin wi HTransacons
oc θζy 
qMechan cα1ingineers
 
Sleres 
C
 
VoL68
 
Nd 675
2002
 pp
219
224
Japan se
7
8
9
Breazea
C
 and  
Scasse1
 
B
 
Hew  
to
 
bulldobo that
make ends  and  kuce  pθople
 PtOceedings
if
 the
1999 琵 冱E Intemotional Conference oηJntelligent
Robars
 
an
S
lstems
1999
 
pp858
863
Kanoh
 M
 Ka
 S
 and
toh
 H
 Facial EXpmssi
Using Em tional SpaceSensitiVity
 Communication
Robot ‘“
lfO
t
1
Voeeedingn
 げ  
2
4 
1EEEllSJ
lnternatio
αηce  
en  
 
1
o
 
α
Slste
rs
2004
 
pp
1586159L
Hashimoto
 M
 Yoshida
 Sd Tam Y
 G
GuidanGe wi 廿1 Emotienal
 Presentation of  a Head Rわo
20D7 E品π ME nαl CoOference oηCo Plex
Mediccゴ正
耀6
2007
 
pp1357
1360
10Kob ashi
 H
 HF
 Uchida
 G and  MunChisa
0
   Suddy  on  Face Rob t fbr Acdve Human  herf ua ’
  σ Rotics Sec
f Japa
9 Vol12
 No 1
1P4
  pp155
163
Japanese
11Kobayashi
 H and  HaTa F
 ReaTime 
pynam
c GnQl
  of 
6 Basic
 
Facial
 
Expressions
 
on  
Face 
Rob σ
η
  Robotics Secety  qpan
 VoLl4
 No
5
1996
  pp677
685
Japanese
12Ham
 
T
 
HiramatSu
 
S
 Ts
i
 
T
 
and 
Kobayashi
 
H
  Development 
of  
the
 Fa 
e Robot
 SAYA r Rich
 Faci
  EXPiessions
 
SICETICASE
 
lnteruat
tzti
 Joint
 CoOferelrce
   25
2006
pp5423
5428
13
E
P
 and Fricseri
 WV
 U ge F
   PVentice
hatt
 Jtrc
1975
14Hashimσb
 T Senda
 M
 Yamaz d
 Y Shiiba
 T and
   Kobayasbi
            Development of  the Laive
         H
  RecqPtiniSt SystembytheFacRbO4b
 
JSME  
Anmtal
  α肥 脚 θ    
Roties
 α  
Mec om
cs
   2Al
H45
1
45
3
2004
in Japanese
15Sakamo
 D
 Kanda
 
T
 Ono
 T
 lshigUro
 Hnd  Hag
   N
oid  as  a Teleo i
mi
  Human
1ike Prescnce
troceedi
llgs  q2nd 4C
EE
   傭 e ona ConjTerence on  Hanzan Robon
  
71RI2007
2007
 
pp193
200
16Oh
 Hanson
 D
 KW
 H
 L
 Kjm
 J and  Park 1
   Design of An idH oid  RoAlbHUBO
  
oceeding3  げ 
 2M6  EEE7RSJ  
Inte o
  α泥 ηごθ on  Jntetiigent Ro麿Systems
2006
   pp1428
1433
17Iijimeg T
 ANATOMY  OF  THE  HUMAN  BODY
THE
   GRAPHiC  
BIBLE  
FOR  
CG  
DESIGNERS
物 r
  Cα
mpαratien  Jnc
ρ
0α
pp
28
33
Japancse
18
Chou
 CPmd  Harmafd
 B
 Measumment
 and
   Mocleling of  McKibben Pne c A面 行cial
 Muscle
   IEE 
EI Tttrnsactons  on  RoZo
es  and
lu
O7
τ
 vol 2
   (
1996pp9102
19Sohue  H F
 Tho charactedStics  of  lhe McKibb
  artificmuscl 7αP耀
   Prcxsthetics
 
 
o rSJ
 Nationol 4cadenry
   SciencesNtitionul Resecreh
 
Cα 〃2ei
 Publicatbn
 
874
   (
1961
PP
94n5
20Ekman
 P and  Fries
WV
11ie
 Facial
 Actionoding
   Syst
onsulti
rgPsrcholbgistSIVe
1978
21Saeki
 Y and Sasaki
 M
 Active M¢Uniiers
   7bPress
R990
 
pp
114
117
Japanese
22Choi
 C S
 Takebe
 T ad Ha sh a
 
H
 
Analysis
 of
   Facial Expssions  Using Three
Dimensional
 
Facial
 
Model
   Jonzal伽 百r
lf
 Eletron cs αα
   Communication Ehg初 eers  
D
 VoLJ7牛 [1
 No 6
1991
   pp
766
777
iJapanese
121
N工工
Eleotronio  
Library  
Article
Full-text available
Faces of android robots are one of the most important interfaces to communicate with humans quickly and effectively, as they need to match the expressive capabilities of the human face, it is no wonder that they are complex mechanical systems containing inevitable non-linear and hysteresis elements derived from their non-rigid components. Identifying the input-output response properties of this complex system is necessary to design surface deformations accurately and precisely. However, to date, android faces have been used without careful system identification and thus remain black boxes. In this study, the static responses of three-dimensional displacements were investigated for 116 facial surface points against a discrete trapezoidal input provided to each actuator in the face of a child-type android robot Affetto. The results show that the response curves can be modeled with hysteretical sigmoid functions, and that the response properties of the face actuators, including sensitivity, hysteresis, and dyssynchrony, were quite different. The paper further proposes a design methodology for surface motion patterns based on the obtained response models. Design results thus obtained indicate that the proposed response properties enable us to predict the design results, and that the proposed design methodology can cancel the differences among the response curves of the actuators. The proposed identification and quantitative evaluation method can be applied to advanced android face studies instead of conventional qualitative evaluation methodologies.
Article
Full-text available
This paper reports the findings of a humanoid robot that pretends to listen to humans by effectively using its body properties in a route guidance situation. A human teaches a route to the robot, and the developed robot behaves as a human-like listener by utilizing both temporal and spatial cooperative behaviors to demonstrate that it is indeed listening to its human counterpart. The robot consists of many communicative units and rules for selecting appropriate units. A communicative unit realizes a particular cooperative behavior such as eye-contact and nodding, found through previous research. The rules for selecting communicative units were retrieved through WOZ experiments. An experiment was conducted to verify the effectiveness of the developed robot, and, as a result, the robot with cooperative behavior received higher subjective evaluation, which is rather similar to a human listener. The detailed analysis showed that this higher evaluation was due mainly to body movements as well as utterances. On the other hand, subjects' utterance to the robot was promoted by the robot's utterances but not by the body movements.
Conference Paper
Full-text available
To celebrate the 100<sup>th</sup> anniversary of the announcement of the special relativity theory of Albert Einstein, KAIST HUBO team and Hanson robotics team developed android type humanoid robot Albert HUBO which may be the world's first expressive human face on a walking biped robot. The Albert HUBO adopts the techniques of the HUBO design for Albert HUBO body and the techniques of Hanson robotics for Albert HUBO's head. Its height and weight are 137 cm and 57 Kg. Albert HUBO has 66 DOFs (31 for head motions and 35 for body motions) And head part uses `fubber' materials for smooth artificial skin and 28 servo motors for face movements and 3 servo motors for neck movements are used for generating a full range of facial expressions such as laugh, sadness, angry, surprised, etc. and body is modified with HUBO(KHR-3) introduced in 2004 to join with Albert HUBO's head and 35 DC motors are embedded for imitating various human-like body motions
Article
The concept of a speech driven embodied interaction robots system is proposed for assisting human interaction by generating the motions of robots coherently related to speech. For an essential human interaction model which estimates a listener's nodding on the basis of a speaker's burst-pause of speech, the validity of a moving-average (MA) model is demonstrated in the robustness of prediction. Then, the prototype of the proposed system which consists of 2 InterRobots with both functions of speaker and listener is developed in which two models are incorporated: one is a listener's reaction model in which nodding, blinking and the motions of head, arms and body are estimated by the MA model of the burst-pause of speech to nodding; the other is a speaker's bodily reaction model in which the motions of head, arms and body are estimated by its own MA model of the burst-pause of speech to the head motion. By the sensory evaluation and behavioral analysis in human-robot interaction, the effectiveness of the InterRobot's bodily interaction is demonstrated. The effectiveness of the embodied interaction robots system is also confirmed in remote communication. © 2000, The Japan Society of Mechanical Engineers. All rights reserved.
Conference Paper
In human's communication, natural communication is realized by being compatible in nonverbal communication and verbal communication. We are developing the receptionist system that is equipped with a voice dialogue system and a face robot that can express facial expressions like human beings as a platform. In this paper, we evaluate the response manner of our system.
Article
The authors developed a human-like head robot WE-3 RV (W__-aseda E__-ye No. 3__- R__-efined V__-). It realized the pursuing motion in 3 D space using coordinated head-eye motion with V.O.R. (Vestibular-Ocular Reflex) as well as pursuing a motion in depth direction psing the angle of convergence between the two eyes. Moreover, it can express human like facial expressions using eyebrows, eyelids, lips, jaw, facial color and voice.
Article
In order to develop “Active Human Interface (AHI) ” that realizes heart-to-heart communication between intelligent machine and human being, we've been undertaking the investigation of the method for improving the sensitivity or “KANSEI” communication between intelligent machine and human being. This paper deals with the mechanical aspects of “Face Robot” that produces facial expressions in order to express the artificial emotions as similar as human being. As actuators move the face skin of the face robot, we select the flexible microactuator (FMA) driven by air pressure for the sake of moving the control points of the face robot corresponding to Action Unit (AU) s, and we design the aluminium frame of the Face Robot for disposing the FMA and then we make the skull frame onto the aluminium frame. The skin of the face robot made by silicon rubber covers up the skull frame. Then we undertake psychological recognition test by showing the face images of 6 basic facial expressions expressed on the Face Robot, and the results show us that the correct recognition ratio accomplishes 83.3% for 6 basic facial expressions. This high ratio shows the possibility of Face Robot as a “KANSEI” communication medium between intelligent machine and human being.
Article
In order to develop “Active Human Interface” that realizes “hear-to-heart” virtual communication between intelligent machine and human being, we have already reported the “Face Robot” that has a human-like face and can display facial expressions similar to those of human being by using the flexible microactuators (FMA) . For realizing a real-time communication between them, we think that the face robot needs to express facial expressions at almost the same speed and in same manner as in human being. However we found that it is impossible to do this by using FMA. Then this paper deals with the development of new mini-actuator “ACDIS” for the real-time display of face robot's facial expressions and also their control method. We develop double action piston type actuator. For the measurement of displacement of a position in ACDIS which is essential for controlling the facial expression of the face robot, we equip a LED and a photo-transistor inside the ACDIS; and by measuring the output voltage of the photo-transistor, we can measure the displacement of the piston movement in ACDIS. The opening time of electro magnetic valve is controlled for the displacement control of ACDIS by comparing the present position and velocity with target ones. We undertake the real-time facial expression display experiment and confirm that the human-like-display of facial expression on the face robot is successfully realized.
Conference Paper
This paper describes gaze guidance with emotional motion of a head robot, called Kamin-FA1. We propose to use not only the gaze control of the robot but also the facial expression combining with the head motion to guide a human being's gaze to the target. We provide the information of the gaze target intuitively to human based on the shared attention with the emotional communication robot Kamin-FA1. The robot has a facial expression function using a curved surface display. The curved surface display is composed of a dome screen, a fish-eye lens and a projector. This technique generates a facial expression easily compared with other methods of mechanical facial expression. The robot has a neck mechanism to move the head. We show the effectiveness of this proposed method on gaze guidance as well as presentation of good or bad, safe or dangerous situation by the measurements of human gaze movements and psychological experiments.