修正日：2013年02月21日（作成日：2013年01月22日）

第4章 実験

　本章では、本研究の一環として実施する「スパゲッティの試食評価実験」について述べる。

概要

目的

　本研究の第一義である「可食化」の提案にあたり、その有効性を検証するため当実験を執り行う。 従来型の「可視化」と比較した時の「可食化」の優位性を立証し、論旨主張の根拠にすることを目的とする。

構成

　上記の目的を果たすため、可視化と可食化の比較を行う。 従来用いられてきた手法である「可視化」と比較して優位な評価を得ることができたなら、その「可食化」の有効性も示すことができよう、と考えたのである。 ただし、その比較や評価は人間の感覚に基づくものであり、つまり人間による評価を要する。そこで、当実験では被験者にご協力いただき、可視化及び可食化に関する評価実験を行うことにした。

　まず、可食化の実例として、ソフトウェアプログラムをスパゲッティとして表現することを示す。 そのスパゲッティを試食してもらい、被験者自身が感じ取った「スパゲッティの良し悪し」を評価してもらう。 次に、可視化の実例として、プログラムのメトリクス結果を従来の方法（一覧表示）で提示する。 その計測結果を通して、被験者自身が感じ取った「プログラムの良し悪し」を評価してもらう。 双方の詳しい手順は次節で述べるとして、この二部構成の後、被験者には「可視化」と「可食化」のそれぞれに対する評価を求める。 その評価結果を統計的に分析・検定し、「直感的な理解・認知」における可食化の優位性を示すことが、当実験の目標である。

　当実験は、実施に関する問題点を洗い出すための予備実験と、それら問題点を改めて実施する本実験とで構成する。 なお、「当実験」とは、本章で述べる一連の実験を指し、また「本実験」とは、予備実験に対する本番の実験を指すものとする。

対象の限定

　序論では、可食化に対して、次のようなねらいを定めていた。

可食化が有効な情報表現手段であることを実証し、その新たな活用の可能性を見出すこと。

　可食化が「情報表現手段」として有効であることを示したい、と述べたのだが、やや抽象的な表現であり、その対象は広域に渡る。 広く一般に「有効である」と述べることができるのならば、この表現でも良いのだが、その実証もまた広域を網羅する形で行なわなければならず、いささか現実的ではない。 そのため、より限定した対象への有効性を述べようと考え、その対象を「直感的な理解・認知」に絞り込んだのだ。 つまり、当実験では、直感的な理解・認知における「可食化」の有効性を検証することになる。

手順

「可食化」の例題提示とその評価

　開発したメトリクスツールを用いて、ソフトウェアプログラムをスパゲッティとして可食化し、被験者にはその試食を通してアンケート記入をお願いする。 被験者に試食してもらうスパゲッティには四種類あり、それぞれを個別に評価してもらうのだが、その違いは、先の章で述べた「スパゲッティの指標」の値の違いである。

#（対応するプログラム）オリーブオイル量待ち時間ゆで時間ばらつき
一皿目（01_Normal）適量【良い】0分【良い】0分【良い】
二皿目（02_BadComment）なし【悪い】0分【良い】0分【良い】
三皿目（03_BadLPF）適量【良い】1分47秒【悪い】0分【良い】
四皿目（04_BadIndent）適量【良い】0分【良い】6分18分【悪い】

　以上で、可食化に関する実験の手順が完了する。なお、この可食化の写像元となる「対応するプログラム」は、付録資料[5]として添えてある。

「可視化」の例題提示とその評価

　比較対象として挙げた「可視化」に関する例題として、ソフトウェアプログラムのメトリクス結果を従来型の一覧表示により提示し、プログラムの良し悪しを評価してもらう。 提示するメトリクス結果を二種類用意し、それぞれに対して「良いプログラム」「どちらとも言えない」「悪いプログラム」の三者択一の質問を行い、 その評価に至った理由を自由記述欄に記載してもらう。

図4-1 一覧表示型のメトリクス結果（一つ目）
図4-1 一覧表示型のメトリクス結果（一つ目）
 図4-2 一覧表示型のメトリクス結果（二つ目）
図4-2 一覧表示型のメトリクス結果（二つ目）

　以上で、可視化に関する実験の手順が完了する。

総括的な評価

　上記の例題を終えた後、「直感的な理解・認知」という観点から「可食化」及び「可視化」を評価してもらう。 具体的には、それぞれの手法に対して十点満点の評価を求め、また、その点数で評価した理由を自由記述欄に記入してもらう。 ただ、可食化の場合は「スパゲッティの良し悪し」を評価してもらうのであり、その写像元である「プログラムの良し悪し」については触れていない。 そこで、両者への評価を前に、図4-3を被験者に示すことで、可食化の評価対象を「スパゲッティ」から「プログラム」に変更してもらう。 つまり、可食化及び可視化の評価対象を、共に「プログラム」に揃えた上で評価してもらうことにする。

図4-3 プログラムとスパゲッティの対応関係
図4-3 プログラムとスパゲッティの対応関係

実施

予備実験

　2013年1月15日、被験者1名にご協力いただいて予備実験を執り行った。 その中で気付いたことや被験者から頂戴したご指摘のうち、重要な事項のみ以下に説明する。

　この予備実験での失敗・気付きを活かし、有意義な本実験になるよう配慮する。

本実験

　2013年1月16日、被験者7名（うち1名途中退席）にご協力いただいて本実験を執り行った。 問題が生じないように配慮していたが、被験者からご指摘を頂戴した。

結果

「可食化」の実験項目

　ここでは、可食化の各実験項目で得られた被験者による評価結果について述べる。 合計で四種類のスパゲッティを試食してもらったが、それぞれに対して良し悪しの七段階（とても良い・良い・少し良い・どちらとも言えない・少し悪い・悪い・とても悪い）からの択一で評価を求めた。 このデータは順序尺度であるから、その代表値として中央値ならびに四分位偏差を採用する。その際、各指標値に対して以下のように便宜上の数値を割り当てる。

1234567
とても良い良い少し良いどちらとも言えない少し悪い悪いとても悪い

　各実験項目について、それぞれ中央値と四分位偏差などを求め、またグラフ（箱ひげ図）も提示する。

　また、四種類の試食を終えた後に「スパゲッティ料理名」に対する評価を求めた。これも同様に七段階（とても短い・短い・やや短い・どちらとも言えない・やや長い・長い・とても長い）からの択一で評価してもらった。 このデータも順序尺度であり、中央値と四分位偏差を採用する。以下は、便宜上の数値の割り当てである。

1234567
とても短い短いやや短いどちらとも言えないやや長い長いとても長い

　先程と同様に、中央値や四分位偏差などを算出し、対応するグラフ（箱ひげ図）を示す。

「可視化」の実験項目

　次に、可視化の各実験項目で得られた被験者による評価結果について述べる。 従来の一覧表示で提示（可視化）するメトリクス結果を見て、プログラムの良し悪しを三段階（良いプログラム・どちらとも言えない・悪いプログラム）の択一で評価してもらう。 このデータは順序尺度であり、代表値として中央値ならびに四分位偏差を採用する。 各指標値に対する便宜上の数値は、以下のように割り当てた。

123
良いプログラムどちらとも言えない悪いプログラム

　提示するメトリクス結果は二種類ある。それぞれについて中央値・四分位偏差・グラフ（箱ひげ図）を提示する。

「可視化」と「可食化」の評価

　可視化及び可食化の実例をひと通り提示し終えたところで、最後にそれぞれの手法に対する十点満点の評価を求める。 実際のアンケート用紙には、次のような設問文を記載している。

ソフトウェアプログラムの問題点や改善点を発見する上で、メトリクス結果の可視化および可食化はそれぞれ、どれくらい「直感的な理解・認知」を得られる手法でしょうか。

図4-16 「可視化」と「可食化」への評価
図4-16 「可視化」と「可食化」への評価
 図4-17 可食化-可視化の差得点
図4-17 可食化-可視化の差得点

考察

　以上の結果に基づいて考察を行う。

「可食化」の実験項目

「可視化」の実験項目

「可視化」と「可食化」の評価

総括

　ほとんどの被験者が同様の意見を呈していたのだが、その長短を含めて分かりやすくまとめられた意見があるので、そのまま引用したい。

可視化の方はパッと見ても標準が分からないので全然良いのか悪いのか分かりませんでした。“初学者”という対象を考えると、数で見る結果より、直接感じられる可食化が良いと思います。可食化は、人によって感じ方が違ったり、難しいところも多いと思いますが、直感的な理解にはとても効果的だと思います。

　可視化（数値化）は、基準を与えなければ良し悪しを判断することができない。言い換えれば、基準を与えさえすれば（その指標の意味を理解していなくとも）その良し悪しを正確に判断できるのだ。 しかし、それは可食化とて同じことである。基準となるスパゲッティを知らなければ、結局のところ良し悪しを判断することはできない。 また、嗜好や体調によっても感じ方は異なり、安定した情報提示が必要となる場面では使い物にならないであろう。誤認識を生み出しかねない。

　しかし、例えば不案内な分野（上の「初学者」で言えば「プログラミングの分野」）を理解しなければならない場合、最初から厳密・正確な把握が必要だろうか。まずはその概観を把握すべく、大雑把な理解に留めることもあろう。 その際に、いくら厳密で正確な指標値を見せられたとしても、その指標の意味を理解していなければ良し悪しも判断できず、何も意味を成さない。 そこで可食化を持ち出せばどうだろう。指標の意味や数値（指標値）の良し悪しを理解できなくとも、より身近な「食べ物」という存在を介して、大雑把に理解すれば良いではないか。

　もちろん、今回の実験で指標同士の干渉が問題になったように、どのような状況でも一概に有効であるとは決して言えないが、それら制約を解消して利用するならば、可食化によって直感的な理解・認知を得られたこともまた事実である。 従って、当初の論旨と比較するとやや限定的ではあるが、直感的な理解・認知において「可食化」は有効な情報表現手段であると言えよう。