知の表現基盤研究部門: ユーモアや脳活動計測等の内面的な要因を扱う研究
【研究題目】「あるあるネタ」によって生じるユーモアの生起メカニズム
【担当者】川合修平(知識情報・図書館学類)，中山伸一(共同研究員)
我々の日常生活に欠かせないユーモアの生起メカニズムを説明する理論として不適合理論と優越感情理論が有力視されてきた．本研究では，ありがちな事柄，ほんの些細な事柄をネタにして笑いを取る「あるあるネタ」と呼ばれるユーモア刺激に注目し，その中には不適合理論や優越感情理論で説明されないものが存在すると考えた．笑いとおもしろさは大きく重なり合う概念であり，おもしろさを生じさせる理論の中に「理解に干渉してくる新奇な情報や重要な情報が，理解の代替的な目的であるおもしろさを引き起こす」という考え方がある．「あるあるネタ」を読んで際にそこで描かれている状況を見たことがあると感じ，気付きが得られた際に生じる「知識の再発見」はユーモアを生じさせると考え， 不適合理論や優越感情理論でユーモアの生起メカニズムが説明されない「あるあるネタ」では，「知識の再発見」がユーモアを生じさせるという仮説と，不適合理論や優越感情理論でユーモアの生起メカニズムが説明される「あるあるネタ」においても，「知識の再発見」 がユーモアの度合いに作用するという仮説を立てた．
仮説を検証するために，「あるあるネタ」の文章を読んだ際に感じた「ユーモアの度合い」，「『見たことがある』と感じた度合い」「『知識の再発見』の度合い」，「不適合理論で説明されるユーモアの生起因が知覚されたか」，「優越感情理論で説明されるユーモアの生起因が知覚されたか」を被験者に評価させた．それらを分析した結果，不適合理論や優越感情理論ではユーモアの生起メカニズムを説明することの出来ない「あるあるネタ」が存在することが示された．また，そのような「あるあるネタ」の文章において，ユーモアの度合いと「知識の再発見」の度合いとの間に有意な相関が見られ，「知識の再発見」によってユーモアが生じることが示された．また，不適合理論や優越感情理論でユーモアの生起メカニズムが説明される「あるあるネタ」の文章では，「知識の再発見」の度合いとユーモアの度合いに相関が見られず，「知識の再発見」はそれらの理論で説明されるユーモアの生起因に比べるとユーモアに対する影響が小さいことが示唆された．
【研究題目】fMRI を用いた情報検索における脳活動データの解析
【担当者】中山伸一(共同研究員)，真栄城哲也(部門研究員)，上保秀夫(部門研究員)
昨年度の8人の被験者を対象とした予備実験の結果から得られた実験条件や検索実験と対照実験の実施順序，表示内容およびレイアウトを実験条件とし，本実験を行なった．検索対象となる文章コレクションは，昨年度構築した文章群を基に，適合性の判定やインデクシングしたものである．実験時に使用する実験システムのインタフェースについても， 予備実験の実施後に改良した。その結果，実験者の負担を軽減でき，より効率的にfMRI実験を実施できるようになった．この実験システムは，同様の条件の思考実験にも利用できる．52人の被験者に対し，脳活動データ実験を実施した．実験時に，脳活動イメージデータの他に，目の状態や動きのデータも取得した．これは，被験者がfMRI装置内で画面に表示される文章を読んでいる状態や，注視点を見ている状態の把握と，データ解析のためである．2通りの異なる実験条件で脳活動データを計測した．2実験の違いは，提示する文章量と，被験者が提示された文章から検索語を考える方法であり，文章を対象とした情報検索時に検索語を考える方法に対応して条件設定をしたものである．これらの2通りの実験条件により，情報検索時の基本的な脳活動パターンが得られ，2通りの実験結果を比較することで，脳活動パターンがより明確に判ると考えられる．今年度実施した52人の被験者毎に，脳活動パターンデータの解析を行なった．また，今後の検索実験で利用できるように，検索対象とする文章コレクションの文章数を増やした．
【研究題目】インフォーマルコミュニケーションにおける共感の作用
【担当者】吉田麻里(知識情報・図書館学類)，上保秀夫(部門研究員)
コミュニケーションは社会に関わっていく上で欠かせないものである．近年，メディア などの発達や社会の変化により，コミュニケーションのかたちが多様化してきている．その中でも，インフォーマルコミュニケーションの重要性が認識されている．インフォーマルコミュニケーションとは，「組織や集団内で行われる，非公式かつ偶発的なコミュニケーション，職場における雑談などのこと」と定義される．組織におけるインフォーマルコミュニケーションは，「組織のフォーマルな階層構造と調和し，組織全体の目標を達成するための不可欠な要素」となっている．先行研究では，インフォーマル空間を作ったり， 思い出により共感を喚起して，インフォーマルコミュニケーションを促進しようとするものがあった．しかしこれらの研究では，会話の量は測られていたが，質については測られていなかった．そこで本研究では，インフォーマルコミュニケーションにおける共感に着目し，その作用を質・量両方の側面から検証することを目的とした．
研究は以下の手順で行った．まず，共感を喚起する要素についての調査を13人に対して行った．4 つの情動(喜び，悲しみ，怒り，恐怖)を伴う架空の人物紹介文を読んでもらい，どの情動を含む紹介文に最も共感できるかを聞いた．また，この調査では事前に共感性についてのアンケートも行った．調査の結果，恐怖を伴う紹介文が最も共感を喚起することが分かった．この結果を実験に利用した．
次に，調査の結果を踏まえて実験参加者12人を集め，会話実験を行った．調査で明らかになった共感を促進するテーマ(怖い思いをした体験)について話してもらう組と，共感を促進しないテーマ(中学高校の先生)について話してもらう組に分け，実験を実施した．会話は初めに自己紹介を 2 分，その後指定したテーマについて13分の，合計15分で行ってもらった．この実験では，会話データの分析の他に，会話後の会話満足度などを聞いた．
実験で得られたデータを分析した結果，以下のことが分かった．共感を促進した組では，そうでない組よりも発話数が多くなっていた．また，共感を促進するテーマについて話してもらった組では，発話の末尾に「～です・ます」といった丁寧な言葉が使われる傾向にあった．
今後の方向性として，先行研究で提案されていたようなインフォーマル空間に，本研究で用いたような質的な視点を取り入れることで，より自然なかたちでのインフォーマルコミュニケーションの性質を，質・量両方の観点から明らかにしていくことが考えられる．
【研究題目】EEGを用いた情報検索における脳活動データの解析
【担当者】中山伸一 (部門研究員)，真栄城哲也 (部門研究員)，上保秀夫（共同研究員）
従来の情報探索行動モデルは主にインタビューや外面的な観察を中心に構築されてきた．しかし情報検索に関わる推論や記憶，意思決定といった脳内での活動を研究することは困難であった．そこで知の表現基盤部門はこれまで，fMRIを用いた情報探索中の脳活動データの解析や実験設計の検討を行ってきた．特に検索語の生成や検索された文書の適合性判定時における脳活動の分析に焦点を当てている．脳活動イメージング手法としてのfMRIは空間分解能が高いため，情報検索中に活動が活発になった部位を詳細に把握できる．一方で被験者にはMRI装置の中で情報検索行動を行ってもらう必要があるなど，柔軟性に欠ける部分もある．
本研究においては，情報検索における脳活動分析を更に進めるために，脳活動によって生じる電気活動を頭皮から記録するEEGを用いる．近年ヘッドセット型のEEGデバイスの開発が進んでおり，従来のEEG装置とは異なり，より自然な状態で脳活動計測ができるようになった．本研究では，そのようなデバイスを利用し，これまで進めてきた実験設計を基にした情報検索におけるEEGによる脳活動データの解析を目的とする．本年度は，emotiv社のEEGヘッドセットを導入し，実験環境の開発に着手した．24年度に実験環境開発を完了し，予備実験に移行する予定である．
【研究題目】学習スタイルによる最適な外国語e-Learning教材の選定
【担当者】梶浦美咲（知識情報・図書館学類），中山伸一（部門研究員）
個人特性により提供すべき教材を最適なものにする事は，教育の効率化の点で重要である．本研究では，個人特性としてFelderの学習スタイルモデルの活動的―内省的に注目し，学習意欲喚起型のe-Learning教材と学習量重視型のe-Learning教材を対象に，教材の適正を学習所要時間の観点で測定することとした．
実験の結果，活動的学習者は，学習量重視型より学習意欲喚起型のe-Learning教材の方を若干有意に短時間で学習する事が示された．一方，内省的学習者は，両教材で学習所要時間に有意な差は認められなかった．合わせておこなった教材に対する評価調査により，内省的学習者は，「学習意欲」の評価において学習量重視型より学習意欲喚起型のe-Learning教材の方を若干有意に高く評価する事が示された．
以上の結果は，活動的学習者，内省的学習者ともに学習意欲喚起型のe-Learning教材が適している事を示唆する．
【研究題目】体験要求の表現分析に関する予備的研究
【担当者】上保秀夫（共同研究員），神門典子（国立情報学研究所）
ソーシャルネットワーク上で観察されるようになった情報というより体験を求める表現の適切な理解や補足は次世代の情報検索技術の開発に重要な示唆を与えると考えられるが，体験要求に関する実証的なデータが非常に限られている．そこで，本研究では体験要求に関する基礎的な研究開発として以下の二つの作業を進めた．
（１）体験要求の表現分析ツール
米国国立標準技術研究所（NIST）が開催しているテキスト検索会議（TREC）は，テストコレクションとしてツイッターに投稿された1600万ツイート（およそ２週間分のデータ）を公開している．我々はこのコーパスを入手し，体験要求が含まれているものとそうでないものをマークアップできるツールを開発した．また部分的ではあるものの表現分類作業を行った．その結果，ソーシャルネットワークならではの課題（人や別エントリーへのレファレンスの多用）やツイッターならではの課題（文脈の欠如）などが表現分析に影響することが分かった他，表現のあいまいさに関して情報要求とは異なった観点から分類する必要があることが示唆された．
（２）ツイート収集／解析ツール
（１）ではコーパスとして配布されているデータを対象としたが，今後も発信される体験要求を収集する為のツールも必要となる．したがって（１）の作業と平行してソーシャルネットワークシステムで発信されるデータの収集システムの構築も行った．現在はツイッターのデータを対象としている．本システムは従来の無差別的な収集ではなく，登録制にしており，同意したユーザのデータのみを収集対象とする設計にした．また収集したデータの閲覧や削除がいつでも行えるような仕組みを提供し，倫理にも配慮した．今後（１）での分析内容を参考に，具体的な解析手法を組み込んでいく予定である．
【研究題目】Web上の情報探索におけるタスクの切り替わりに関する研究
【担当者】福澤糧子（知識情報・図書館学類），上保秀夫（共同研究員）
我々は，しばし意図せず有益な情報に出会うことがある．このような偶発的な現象を表す概念としてセレンディピティがあり，近年，注目の集まっているテーマである．このような偶発的な現象の研究課題の１つは，予測が容易でないこの現象を実験環境の中でどのように捉えるかである．偶発的であるためにその理解は難しい．そこで，本研究では，情報探索の分野でこのような偶発的な現象が，あるタスクに従事している際にきっかけを境として従事しているタスクを中断し，他のタスクを実行する現象であるとされていることから，マルチタスキングを背景とした現象であると考えた．そして，マルチタスクキングの切り替わりのきっかけを理解することが，偶発的な現象の理解につながると考えた．タスクの切り替えを実験環境の中で捉える手法に関する先行研究では，検証されているタスク切り替えの文脈が限られており，さらに，与えられたタスク環境での検証である．よって，マルチタスキングにおける切り替わりを行動分析を通して理解すること，切り替わりとタスクの関係性を自主的な探索により明らかにすることを研究目的とした．
被験者実験を大学生，社会人，48人に対して行った．実験方法は，45分間インターネットを用いて個々のタスクを自由に実行してもらい，タスクの切り替わりも自由に行ってもらった．作業中，タスクの切り替えを行う際には随時，従事しているタスクの重要度や緊急度などについてアンケートに答えてもらった．また，作業終了後，作業中のタスクの切り替わりについてpostsearch interviewを行った．
実験より得られたデータを統計的に分析した結果，以下のようなことが分かった．まず，偶発的な現象が，従事しているタスクを中断して，別のタスクを行う現象であることから，直前のタスクの達成度（途中，達成）によって，切り替わりの文脈に差があるか調べた．結果，○○という興味深い言葉を見つけてや，△△という画像を見て，といったように，作業対象のメディアから影響を受ける傾向にあり，その場合，直前のタスクの緊急度が低い傾向にあることが分かった．また，新しいタスクの発生も偶発的な現象の一端となる可能性を持っているのではないかと考え，従事したタスクの新規性について分析した結果，新しいタスクが発生する場合は，直前のタスクの重要度が高く，緊急度が低い傾向にあると分かった．さらに，タスクの発生について，埋め込まれた情報以外にもタスクを意識する要因が存在することが分かり，それらの要因を基にタスク意識過程も類型化した．
今後の方向性として，今回の実験で得られた知見をもとに，実験環境の設定を見直し，セレンディピティのような偶発的な現象の理解に取り組んでいくことが挙げられる．
【研究題目】表情分析による動画の個人的ハイライト検出
【担当者】上保秀夫（共同研究員）
情報の評価内容は評価する者の様々な背景に影響される．例えば，同じ文献の適合性判断でも専門家と一般人ではその評価が異なることがある．これはどちらの判断が正しいという問題ではなく，むしろその個人差に適応する仕組みをつくることが重要である．本研究では特に個人差の影響が大きいと思われる動画におけるハイライト部分の検出に取り組んだ．従来の技術は動画から抽出される音声や画像情報の分析に焦点を当てており，個人差の対応はあまり考えられてこなかった．本研究では，動画閲覧中のユーザの表情に着目し，個人的ハイライトを検出する技術の開発および評価を行ってきている．本年度は昨年の結果を元に新しい手法の評価を行った．
昨年度の手法では，まず複数の被験者に様々なジャンルのビデオクリップ（1～3分ほど）を鑑賞してもらい，動機されたカメラで動画閲覧中の表情を録画した．その後，表情画像のフレーム毎に表情分析システム（アムステルダム大学との共同開発）をはしらせ，ニュートラル，幸福，悲しみ，驚き，怒り，恐れ，嫌悪の7つのカテゴリに分類した．この分類データを元に，個人的ハイライトを検出するモデルを幾つか構築した．また各ビデオクリップ閲覧後には個人的ハイライト部分を被験者に記録してもらい，これを構築したモデルの評価基準として利用した．
本年度は表情分析システムの分類結果を利用せずに，その分類の入力情報である12のモーションユニット（MU）を着目した手法を考案した．この手法では分析システムが解析する12のMUを場所ごとに3分割し，それぞれの効果を検証した．その結果，口元のMUの個人的ハイライトとの重複率が顔上部のMUの重複率よりも高いことが分かった．したがって個人的ハイライトの検出には口元の解析が有効であることが示唆された．
【研究題目】複合メディア検索 (Aggregated Search) における情報探索行動の解明
【担当者】上保秀夫（共同研究員）
サーチエンジンの扱うメディアが多様化し，利用者がクエリによって意図する情報要求も多様化してきている．しかし依然として利用者の情報要求の表現は短く曖昧である．このような問題に対応する為に近年サーチエンジンでは検索結果に異なるメディア検索の結果を取り入れるAggregated Searchが研究されている．従来のサーチエンジンは単一メディアを対象にしたインタフェースが主流であったが，Aggregated Searchでは一つのクエリに対しウェブ検索，画像検索，ニュース検索，動画検索，地図検索，等の結果を統合して表示する．したがってAggregated Searchは新しいパラダイムの検索と言えるが，情報探索行動の研究は従来の単一メディアを対象にしたものが多い．
したがって本研究ではAggregated Searchにおける情報探索行動を解明する被験者実験を行った．統合されるメディアの効果を検証する為に，ウェブ検索＋画像検索，ウェブ検索＋ニュース検索，ウェブ検索＋動画検索の３つのパターンを表示する検索インタフェースの構築した．被験者には検索結果の閲覧とリンク先の閲覧をしてもらい，適合情報を探す作業をしてもらった．複数メディアの統合には，現在主流であるリスト型統合とパネル型統合を検証した．
48人の被験者に検索作業をしてもらったログを分析した結果，ニュースと画像結果のクリックパターンには類似性が見られたが，動画の特性は異なっていた．このことからAggregated Searchにおける利用者の情報探索行動はメディアによって異なることが分かった．特に動画に対するクリックパターンの解析には他のメディアと異なるモデルを考える必要性があることが示唆された．
【研究題目】テレビドラマの享楽をめぐる認知と感情のメカニズム
【担当者】小川有希子（本学図書館情報メディア研究科），中山伸一（部門研究員），真栄城哲也（部門研究員）
本研究は，物語映像の鑑賞者に生じる心の動きの法則を説明することを目的として，一貫してあるテレビドラマ作品に対する鑑賞者の実験データを分析し，検討を重ねてきた．理解や共感の観点からいくつかの方法論と解析法で細かく検討してきたこれまでの考察を踏まえて，2010年度はより統合的な認知と感情のメカニズムを考案し，その妥当性を検証することを目指した．この統合的なモデルを考案するにあたり，“enjoyment”という新たな概念を導入した．enjoymentとは，生理的・認知的・感情的な側面を下位成分とした，メディアに対する複雑な反応構造の総体を指す概念であり，最近20年間で大きく成長してきた概念である．著者はこれを「享楽」とオリジナルに邦訳した．物語映像の鑑賞過程においては，それぞれの鑑賞者の中で認知的・感情的な2つのメカニズムが並行して起動し，その2つのメカニズムを構成する複数の変数が，逐次的あるいは非逐次的にインタラクションした結果，享楽という複合的な反応を表出させる．これが，前提となる最も大きな仮説である.
享楽が，その考え方のルーツに持つ快楽主義（hedonism）は，人間の行動の究極の目的は快を最大にすることである，と主張してきた．しかし，近年の研究において，悲しい物語といったネガティブな感情に享楽するパラドクスな現象が数多く報告され，論議を呼んでいた．そこで本研究は，なぜパラドクスな享楽が生じるのかという具体的な問題に立脚し，第1実験（2009年までに実施・分析済）で示唆された感情の役割を踏まえて，パラドクスな現象を説明するための因果関係のモデルを作成した．このモデルは，共感の概念から考案した「ポジティブ系（positive system）」・「ネガティブ系（negative system）」という2つの構成概念に，「メッセージの評価（message evaluation）」，および「享楽（enjoyment）」そのものが加わって4つの構成概念を持ち，それぞれの構成概念間に因果関係を仮定したものである．「ポジティブ系」と「ネガティブ系」は「メッセージの評価」の独立変数であり，「メッセージの評価」は「享楽」の独立変数であり，「享楽」は3つの構成概念全ての従属変数である．このモデルを実験仮説として，同一作品から選定した3つの材料に対する鑑賞者のデータを共分散構造分析によって検討した結果，材料1と材料2においては良好なモデルの適合度が得られた．材料3は1指標のみモデルの適合度基準を満たした．4つの構成概念と因果関係を仮定したパスは，材料によって効果に対する役割の大きさは異なったが，どの材料においてもモデルの構造的に必要であり，全ての構成概念とパスが組み合わさって享楽の有機的なメカニズムが形作られることがわかった．
継続して実施してきた本研究の一連の分析結果と，この共分散構造分析による新たな結果から総合的に考察すると，(1) 享楽を生起させる認知と感情のメカニズムの中で中心的な役割を担っているのは，登場人物に対する「共感（視点取得も含む）」である．(2) ネガティブな感情を感じ取りながら享楽というポジティブな状態に最終的に転化させるプロセスで，「メッセージの評価」という認知が効力を持つ，と言えることがわかった．本研究が明らかにすることを目指した統合的なメカニズムは，一定の妥当性をもってその基本構造が検証できたと考えられる．
【研究題目】シューティングゲームに付与される効果音と音楽の効果
【担当者】梶浦久江（本学図書館情報メディア研究科），中山伸一（部門研究員），真栄城哲也（部門研究員）
ビデオゲームにはさまざまな効果音や音楽が付けられている．音の付与はゲームの楽しみを増すと考えられ，我々の行った先行研究では，相応音楽が付与されると，ゲームのＣＭや店頭でのデモ画面を見ている「視聴者」においては，ゲームの楽しみであるフローが有意に上がるという結果を得ることができた．そこで，効果音の付与についても，「視聴者」を対象にして，フローにどのような影響を及ぼしているのかについて，音を構成する基本的な要素である，音の「高さ」と「音色」について検討を行った．音の「高さ」と「音色」が複雑になると，フローは上がった．フローを上げたのは，「高さ」と「音色」が複雑になり，ゲームをやりたいと思う「やる気」を上げたことが関与したと考えられる．また，「音色」の複雑さについては，多少ゲームの操作を楽にした様子を伺うことができた．さらに，楽器音の効果音を付けると，「音色」の複雑さと同様に「やる気」が上がり，多少ゲームの操作性に関与した様子が伺えた．効果音が付与されると，ゲームの「楽しさ」を高めるのに役立つことが示されたことは，ゲーム製作における大きな知見であると考える．しかし，パソコンのクリック音のような単純な純音を付けると，「やる気」は下がり，フローは下がることも分かった．ゲームと密着している効果音であっても，フローを下げるものもあるということである．現状では，ゲームの音は音楽担当者の主観に任せて付与されているが，既に行った我々の音楽付与研究で，ゲームに不相応な音楽はフローを下げたという結果も合わせて考えると，どのようにすればゲームの楽しさを増すことができるのかというゲームデザインの本質に立って考えれば，ゲームにどんな音を付与したら良いのかについて，客観的に検討して行く必要性があることを示唆したと捕らえることができる．
【研究題目】物語映像の鑑賞過程における気象構築Transportationのメカニズム
【担当者】小川有希子（本学図書館情報メディア研究科），真栄城哲也（部門研究員），中山伸一（協力研究者）
本研究は，物語映像の鑑賞過程において生じる人間の様々な心の働きを解き明かすことを目的として進行している．2009年度は，理解とTransportationの関係について検討した．理解するとは，表象を構築することであると考えられている．そこで，Zwaan et.al．(1995)の状況モデルのevent-indexing modelの考え方を利用し，5次元のインデックス情報を付与した物語映像の状況の中から，鑑賞後に正しいものを抽出し(recall)，並び替える(sorting)という表象再構築作業によって，理解度を測定する実験を試みた．以下，recallとsortingの2指標を指して「正しい再生」と呼ぶ．一方Transportationは，物語世界に心を惹かれた状態を説明する概念である．正しい再生とTransportationの度合いは連動すると予測される．そこで，実験参加者のrecallを呼出率によって，sortingを順位相関係数によって数値化し，それぞれの高群と低群の間でTransportationの度合いに差があるかどうかを，Transportation 4項目で検討した．
全実験参加者(144名)の呼出率は1～.188，順位相関係数は1～.393，の範囲をとった．そこで呼出率は，.94以上(誤答数1個以下)の23名を呼出率高群(A群)，.69以下(誤答数4個以上)の24名を呼出率低群(B群)とした．順位相関係数は，.96以上の24名を順位相関係数高群(C群)，.68以下の23名を順位相関係数低群(D群)とした．また，呼出率.94以上，順位相関係数．90以上の21名を，両指標高群(E群)とした．Transportation 4項目は，(1)観ているとき，私は現実の出来事が心に浮んだ(逆転項目)，(2)私はドラマの結末が知りたい，(3)観ているとき，私は自分の気持ちが変わっていっていることに気づいた，(4)ドラマは私に感情的な影響をもたらした，である．A～E群の，Transportation 4項目に対する平均値の差をt検定で検討した．C群とD群の間には4項目全てで有意差が見られなかったが，A群とB群の間には(1)と(3)と(4)で5%水準，(2)で1%水準の有意差が見られた．また，B群とE群の間には(1)と(3)で5%水準，(2)で1%水準の有意差が見られた．D群とE群の間には(3)で5%水準の有意差が見られた．
正しい再生とTransportationが連動するという予測に基づき，呼出率と順位相関係数の単独，および両者を満たす高群と低群の差を検討した．結果として，recallの正確さがTransportationと連動する可能性が高いことがわかった．一方，sortingの正確さは，単独ではTransportationと連動する関係が見出されなかった．しかし，B群とE群の間にも3項目で有意差がみられたことから，sortingの役割も無関係ではないことがわかった．recallとsortingのそれぞれがTransportationに果たす役割の大きさを，引き続き検討していく必要がある．また，本研究が今回行った方法以外に物語映像の理解を巧妙に検出する方法はないか，という点を引き続き考えていく必要がある．
【研究題目】定量的な特徴に着目した笑いを生むやりとりの解析
【担当者】伊藤由梨乃（本学図書館情報専門学群），中山伸一（協力研究者），真栄城哲也（部門研究員）
本研究の目的は，笑いを生むやりとりの表現特性を明らかにし，具体的な作成方法を提示することである．なお，本研究では，笑わせることを目的として作られたやりとりである漫才・コントに対象に限定し，参加者数2人の場合を扱う．これらを対象に，人が表現・言葉のやりとりを笑うとき，その笑いが呼び起こされる原因は何であるかをやりとりの分類および定量的な分析により明らかにした．
これまでに，笑いの生まれるやりとりの分類はいくつか発表されているが，本研究で行うやりとりの分類には，分類項目が網羅性に欠けることから，独自の分類体系を新たに作成した．
漫才やコントを，局所的および大局的の2種類の側面から解析する．前者は，笑いを生むやりとりを，その要因に着目し分類する方法である．後者は，1つの漫才やコントの中で笑いの生じる時間間隔や発言の長さのように数量的な分析方法である．局所的な解析は，「笑いが生まれる理由」という視点でやりとりの分類を行う．まず，漫才・コントの中からネタの中で笑いが発生した部分を内容を理解するために必要な台詞も含めて「1つのやりとり」として抽出を行う．一方，1つの漫才またはコントの大局的な解析として，1つ1つのやりとりの内容以外に漫才・コントの面白さの優劣を決定する要素があると仮定し，面白い漫才と面白くない漫才の比較と分析を行う．さらに，1つ1つのやりとりの内容以外に漫才・コントの面白さの優劣を決定する要素があると仮定し，面白い漫才と面白くない漫才の比較と分析を行った．審査員による得点で順位を決定する漫才大会「オートバックスM-1グランプリ」を対象に，1位を獲得したネタを面白い漫才，最下位のネタを面白くない漫才とした．過去8大会で使用された16本の漫才（面白い漫才8本，面白くない漫才8本）を対象に，数値化可能な10個の比較項目を設定し，解析する．また，昨年12月に行われた第9回「オートバックスM-1グランプリ」に出場組8組の漫才について，それぞれの過去のネタを開催前に解析を行い順位を予測し，提案した比較項目の妥当性を検証した．
合計46本の漫才・コントから1，001個のやりとりを抽出し，それらのやりとりから70項目（上位概念16項目，下位概念54項目）から成る独自の分類体系を新たに作成した．また，漫才大会の過去8回分の漫才を比較・分析した結果，面白い漫才と面白くない漫才には，9項目において有意な差が見られた．さらに，比較のために設定した10項目を用いて，昨年12月に行われた第9回大会の出場組8組の漫才を開催前に解析し順位を予測したところ，予測と実際の順位の差の平均は1.25，さらに順位相関係数 0.81と強い相関を示したため，その有用性が確認できた．この解析から得られた結果から，面白い漫才を作成するために遵守するべきこととして以下の9項目を導出した． (1) 1回でも1人で続けて長い台詞を話してはならない，(2) ゆっくり喋ったり動きに多く時間を使わない，(3) 1つの台詞にかける時間を短くする，(4) 笑いの間隔を1回でも20秒以上空けてはならない，(5) 笑いの間隔のほとんどを10秒未満にする，(6) ネタが始まってから最初の笑いが起きるまでの時間は長くても短くてもよいが，最後に笑いが起きてからネタが終わるまでの時間を短くする，(7) 笑いを生むやりとりは，数を増やすよりも大きな笑いを生むものを配置する，(8) 全体的な笑いの流れとして，前半に大きな笑いを生むやりとりを置かず，中盤で笑いの間隔を大きく空けず，最後の笑いは大きな笑いを生むものにする，(9) 笑いは主にツッコミの台詞の内容ではなくボケの発言や行動で生み出す．
【研究題目】表情分析による動画の個人的ハイライト検出
【担当者】上保秀夫（客員研究員）
情報の評価内容は評価する者の様々な背景に影響される．例えば，同じ文献の適合性判断でも専門家と一般人ではその評価が異なることがある．これはどちらの判断が正しいという問題ではなく，むしろその個人差に適応する仕組みをつくることが重要である．本研究では特に個人差の影響が大きいと思われる動画におけるハイライト部分の検出に取り組んだ．従来の技術は動画から抽出される音声や画像情報の分析に焦点を当てており，個人差の対応はあまり考えられてこなかった．本研究では，動画閲覧中のユーザの表情に着目し，個人的ハイライトを検出する技術の初期開発および評価を行った．
手順は以下のようなものである．まず複数の被験者に様々なジャンルのビデオクリップ（1～3分ほど）を鑑賞してもらい，同期されたカメラで動画閲覧中の表情を録画した．その後，表情動画のフレーム毎に表情分析システム（アムステルダム大学との共同開発）をはしらせ，ニュートラル，幸福，悲しみ，驚き，怒り，恐れ，嫌悪の7つのカテゴリに分類した．この分類データを元に，個人的ハイライトを検出するモデルを幾つか構築した．また各ビデオクリップ閲覧後には個人的ハイライト部分を被験者に記録してもらい，これを構築したモデルの評価基準として利用した．
この研究から以下のことが示唆された．まず，被験者に記録してもらったハイライト箇所を動画別にみると，意見の一致度が高い動画もあったが，ほとんどの動画ではハイライト箇所は散らばっていた．このことから個人的ハイライトを検出する技術の重要性が改めて実証的に示唆された．次に，表情カテゴリごとに重み付けを行ったモデルとカテゴリの変化速度に着目したモデルを組み合わせたモデルが一番良い性能だったことから，両要素が個人的ハイライト検出に重要であることが示唆された．しかし全体的には検出性能にはまだまだ改善の余地があり，今後は分類されたカテゴリに加え，表情の動きそのものに着目したモデルを構築するなどして，性能の向上を目指す予定である．
【成果公表】
- 梶浦久江,中山伸一:「ブロック崩しゲームを見ている視聴者のフロー体験に与える効果音の影響」『図書館情報メディア研究』,vol.10,no.1,pp.1-10,2012.
- Fujikawa, K., Joho, H., and Nakayama, S.: “Constraint can affect human perception, behaviour, and performance of search”. In: Proceedings of the 14th International Conference on Asia-Pacific Digital Libraries (ICADL 2012), pp. 39-48, Taipei, 2012.
- Fujikawa, K., Joho, H., and Nakayama, S.: “Tempo of search actions to modeling successful sessions”. In: Proceedings of the 34th European Conference on Information Retrieval (ECIR 2013), pp. 718-721, Moscow, Russia, 2013 .
- M. Imazu, S. Nakayama, and H. Joho, “Effect of Explicit Roles on Collaborative Search in Travel Planning Task,” Proceedings of the 7th Asian Information Retrieval Societies (AIRS 2011), pp.205-214, Dubai, UAE, 2011.
- H. Joho, J. Staiano, N. Sebe, and J. M. Jose, “Looking at the viewer: analysing facial activity to detect personal highlights of multimedia contents,” Multimedia Tools and Applications, 51(2), pp. 505-523, 2011.
- 小川有希子,「テレビドラマの享楽をめぐる認知と感情のメカニズム －登場人物に対する共感が生み出すパラドクスな享楽の検証と考察－」,認知科学, 18(1), pp.79-99, 2011.
- 梶浦久江,中山伸一,「音楽と効果音がブロック崩しゲームのフロー体験に与える影響」,デジタルゲーム学研究,4(1), pp.13-18, 2010.
- 梶浦久江,中山伸一,「ブロック崩しゲームにおけるプレーヤーとゲームを見る人のフロー体験に与える影響」,デジタルゲーム学研究,4(2), pp.13-22, 2010.
- T. Maeshiro, S. Nakayama, Y. Ito, “Quantitative Analysis of Japanese Comic Dialogues for Human Interaction Design,” International Conference on Humanized Systems 2010, 2010.
- S. Sushmita, H. Joho, M. Lalmas, and R. Villa, “Factors Affecting Click-Through Behavior in Aggregated Search Interfaces,”In: Proceedings of the 19th ACM International Conference on Information and Knowledge Management (CIKM 2010), pp.519-528, Toronto, Canada, 2010.
- 小川有希子,物語映像の鑑賞過程における共感とTransportationの関係 －登場人物に対する共感的内言から探る認知的変容の実相－,日本心理学会第74回大会発表論文集p.666, 2010.
- 鈴木敬江,中山伸一,真栄城哲也,「経験談における笑いを引き起こす要因」,電子情報通信学会 総合大会,2011.
- Joho, H., Jose, J. M., Valenti, R., and Sebe, N. “Exploiting Facial Expressions for A･ective Video Summarisation”. In: Proceedings of the ACM International Conference on Image and Video Retrieval, CD-ROM, Santorini, Greece: ACM, 2009.
- Arapakis, I., Moshfeghi, Y., Joho, H., Ren, R., Hannah, D., and Jose, J. M.“Enriching User Pro?ling with A･ective Features for the Improvement of a Multimodal Recommender System”. In: Proceedings of the ACM International Conference on Image and Video Retrieval, CD-ROM, Santorini, Greece: ACM, 2009.
- 伊藤由梨乃,中山伸一,真栄城哲也,「定量的な特徴に着目した笑いを生むやりとりの解析」電子情報通信学会総合大会,2010年3月16日～19日
- 伊藤由梨乃,中山伸一,真栄城哲也,「笑いを生むやりとりの構造解析」情報処理学会第72会全国大会,2-545 - 546,2010年3月9日～11日
- 伊藤 由梨乃,情報処理学会創立50周年記念（第72回）全国大会情報処理学会推奨卒業論文,2010年3月8日