環境中間支援会議・北海道では、環境学習施設の可能性を考えるシリーズの第６回として、奥本先生を講師にお招きし、「実践に使える質的調査と量的調査」についてお話しいただきました。

開催概要

日時　令和２年１月23日（木）14:30～16:30
場所　札幌市エルプラザ公共４施設２階　会議室１・２
参加者　44名（うち関係者11名）
プログラム
・講演「実践に使える質的調査と量的調査」
・質疑応答・意見交換

講師　奥本　素子さん
（北海道大学高等教育推進機構 オープンエデュケーションセンター
　科学技術コミュニケーション教育研究部門（CoSTEP）准教授）
1980年、福岡生まれ。博士（学術）。博物館を中心にインフォーマルラーニングに
ついて、教育工学的手法にのっとり研究を進めている。また業務においては、生涯学習、サイエンスコミュニケーションなどに携わっている。

☆科学技術コミュニケーション部門CoSTEPについてはこちらをご覧ください。

講演内容

はじめに

講演資料はこちら

人は、周りにいる人々から母語や考え方、生活習慣など様々なことを学んでいる。学習は学校だけではなく、対話や地域コミュニティ・暮らしの中で行われている。このような学びはインフォーマルラーニングと呼ばれ、気が付いたら考え方等が身についているといった無意識的な学びである。日常生活の延長線上に学びがあることで、多様な人とのつながりができたり、その人達にも学習の機会を提供することができる。

評価について　量的評価

調査の形は様々で、評価者にも多様性がある。一般的にはイベント参加者が評価者と想定されるが、自分たちが評価を行う自己評価や、資金提供者から評価される第三者評価もある。第三者評価の場合は、利用者からの評価と視点が異なる。どの評価もそれぞれ見えてくるものが異なるので、正解はない。
一般的な評価手法は、施設内での来館者の動きを観察すること。来館者が展示を見て感じたことは、インタビューによって言葉で詳細に聞くことができる。また、売り上げや入場者数など、活動全体で評価する場合もある。またアンケートは、大人数を対象にした際に便利な手法である。
評価には、自由記述やインタビューをして詳細を聞く「定性的評価」、満足度を数に換算して聞く「定量的評価」などいくつか種類がある。いつ評価するというのも様々であり、次の改善のために途中経過でとる「定性的評価」と、最終的に目標に対してどれだけ達成できたかの確認のためにとる「総括的評価」がある。
また、AとBを比べながら、評価する割合が決まっている「相対評価」と、他者と比べることができない「絶対評価」がある。
評価でインパクトを与えたい場合は、評価者は何を目標として活動しているのか、そのために自分の施設はどのような評価を行うと良いか、見極めが必要である。たいていのアンケートでは満足度を問う項目があるが、評価者からは満足度が高い回答しか返ってこない場合が多い（勉強会に来る人は、よほどのことがない限り短い時間を使って低評価はしないと思われる）。
評価者が勉強会に参加して達成したい目標がある場合、その評価者の目標に沿って評価や質問項目を組み立てる必要がある。
皆さんは、自分たちの活動の目標を立てて、目標に沿ってどんなことを実施したのかを評価されると思う。アンケートは自分たちのイベント活動の目的を明確にする必要がある。誰に来てほしいか、何を工夫したか、何を伝えたいかを明確にしないと、ねらいが達成されたかが明らかにならない。参加者がイベントに参加したことで、どんなことができるようになると自分たちの活動の評価になるのか、整理しながら評価を行うと良い。
マーケティングの観点から、どんな人がイベントに来場したか知るためには、来てほしい対象者と質問項目を関係づける必要がある。例えば、子どもがいる母親を対象として職業を問う質問を入れても、実際のところ子供のいる・いないは判断できない。学生でも子供がいる場合もあるし、専業主婦でも子供がいない場合もある。このように年齢や性別など一般的な特徴を聞くことで大まかな傾向は分かるが、個人の情報（その人の知識量、関心、性格、モチベーションの傾向など）を知ることができないので、一般的な特徴と中身の特徴を組み合わせながら、大まかな傾向と絶対聞きたい項目をうまく組み合わせて聞いていくことが重要である。
最後に、活動評価として、工夫した点がある場合は、工夫した項目とリンクさせて評価してもらうと良い。質問項目は具体的に書くほど、自分たちの工夫が正確に評価できる。最終目標は、イベントや施設の目的によって様々である。最終的な目標として、参加者にイベントで得てほしいものは何かを明確にすると、どんなことを工夫すればよいか最終的に目指すものが見えてくるので、それを評価することが重要である。

アンケートについて

アンケートの聞き方について、小学校１年生が作ったアンケートを例に挙げる。お菓子を買いに来たきっかけに関して【わくわくして買いにきたか／たまたま通りかかって来たか】の２項目で聞いている。どちらが良いというわけではない項目を名義尺度という。この場合は比較ができないので、よくなったか悪くなったかが評価できない。一方、お菓子に関して【おいしい／おいしくない／ふつう】の質問項目は、【おいしい／ふつう／おいしくない】の順番に並べる方が良い。これを順序尺度という。この場合、５段階評価の数字に置き換えて項目を作ると、数的処理ができて平均値を出すことができる。
また、アンケートには単数回答、複数回答、自由回答がある。単数回答は択一で割合やクロス集計の作業ができるメリットがある。一方で理由が複数ある場合に答えにくいというデメリットもある。複数回答は当てはまるものを全て選ぶ形式なので回答に偏りがでてしまうデメリットがあるが、回答傾向のばらつきを抑えるには、最も関心のあるもの「３つまで」選ぶ形にすると良い。自由回答は回答者の考えが詳しく分かるメリットがあるが、記入しない人が多く回答に偏りが出てしまうデメリットがある。
アンケートをとる際に対象者へ多く質問したい！と思うかもしれないが、回答数は10問～15問以内で、A４用紙１ページやA4用紙の表裏に入る範囲がベスト。多く質問をすればするほど詳しく聞くことができるが、人が答えられる範囲でどれだけ質問を絞ることができるかが評価のコツである。

CoSTEPについて

CoSTEPでは、紀伊国屋書店本店で２か月に１回、サイエンスカフェを実施している。このイベントは活動評価のひとつとして、北大の研究者とCoSTEPのスタッフが対話する形式で、難しい最先端の研究事例を分かりやすく参加者へお伝えしている。
サイエンスカフェのアンケートでは参加回数を聞く質問を設けているが、【初めて／２回目／３回以上】という項目にしている。以前は４回目、５回目の項目も設けていたが、アンケートの集計結果から３回以上はリピーターにしてよいと判断したため省略した。また年齢は、一般的なアンケートでは10歳刻みが多いが、人の年齢の区切りは10歳台ではない。15歳未満は義務教育以下で、16～25歳は学生層、66歳以上はリタイヤ組という区分になっている。10代の中には義務教育と高等教育が、20代では社会人と学生が混ざっているので、16～25歳にすると学生の層として傾向がつかめる。また日本では65歳からが定年なので、66歳以上にすると定年層がわかる。属性も関係できるような年齢を知りたいときはそのように設定すると良い。
CoSTEPアンケートの質問項目は「10項目はデフォルトで５項目はイベント特有な質問」に設定している。そうすることで、相対評価で前のカフェに比べてどうだったか、また全体のカフェに比べてどうだったか比較できる。アンケートはCoSTEPの１回のカフェにつき50～100人しかとることができないが、同じ項目を使用することで2000人規模のデータになり、統計を出すことが可能になる。結果、満足度と難易度の相関が全くないことや、内容が難しくても満足度が高いこと、内容が易しくても満足度が低い場合もあることが分かった。自由記述欄には、難しいという言葉がお客さんにとってデメリットになっていないことが理由として挙げられた。このように相関していないことが発見された際に、自由記述が自分たちの結果を解釈するときに役立つ。

評価について　質的評価

質的評価は、因果関係を知りたい時に重宝する調査手法である。今まで常識だと思っていたことと違うことが出てくることが質的研究である。質的研究は、今なにが起こっているのか、体験の中で何が起こっているのか、これまで経験した中で〇〇という経験がどれだけ影響したのか、等様々な時間軸でとらえることができる。また対象もある個人、二人以上、集団や文化など様々である。

札幌市青少年科学館での質的研究

札幌市青少年科学館では、湿度温度を調整して雪の結晶をつくるスノーデザインラボというハンズオン型展示がある。この展示を親子で使用してもらうと、何回トライしても同じひし形の結晶ができる結果になった。実は雪の結晶の形は、極端な条件にするとすべて同じ形になるというトリックがあり、観察や聞き取りの結果、お客さんが展示の中で情報端末と操作端末の区別が分からない状態ということが分かった。そこで「雪の結晶の秘密はこちら」という貼り紙を追加したところ、反応が変わり、情報端末を見て実際に使ってもらえる様になった。
質的研究はこのように、誰が何につまづいていて、何を工夫すると次に進めるのか、具体的な改善点を探る時に効果的である。
質的調査は、事例数は少なくて良いので、対象者をよく観察してどこで躓いているかをしっかり見ること。質的調査の場合、失敗や躓きは次の改善点なので困っている場面は大変よい観察ポイントである。観察に慣れてきたら、録音録画機材を使って見返せるようにすることをおすすめする。自分が観察して見えたことと、違った気づきが客観的に見えてくることがある。質的評価は最初からビデオをとって何回も繰り返し見るのは難しいので、フロアに出てお客さんと話したり観察していくと改善のメカニズムが具体的になると考えられる。

意見交換

講演終了後、参加者の皆さんには講演の振り返りとして、まずは個人ワークでピンクの付せんには質問を、青い付せんには講演の感想を記入していただきました。また、２テーブルごとに今日の講演について意見交換をしていただきました。

質疑応答

　各テーブルで出された質問について、奥本先生へ順に聞きました。以下、Q＆Aです。

Q.　質的調査についてより詳しく聞きたい。

A.　施設の改善が目的であれば、施設のフロアで来館者がどんな内容について話しているか、また仕掛けにどのように触っているのかを観察することから始めると良い。質的調査のポイントとして、先入観を持たないで観察することが重要。質的調査ではビデオを撮って、複数の目で、特に学生やアルバイトなど施設についてよく知らない人と一緒に見ることをおすすめする。また、質的調査は子供向きの調査である。小学生２人が美術館の展示を見た時の様子を調査対象にした時は、一人にICレコーダーを身につけてもらい、２人の会話を録音した。小学生２人のおしゃべりを聞くことで、展示を見て何を理解して発見できているかが分かる。そのような気付きのエピソードは質的調査において重要である。

Q．来館者にアンケートにより多く回答してもらうような工夫はないか？

A. 子供を対象とした調査をする時は、シールに感想を書いてもらうようにしている。子供はシールが貼りたい、と感想を書いてくれるので多くアンケートを回収できる。　あるバス会社では、ビンゴカード形式で、自分の思っている満足度をビンゴの項目にし、合致する穴をあけていく工夫をしている。このような工夫をするだけで、非常に回答のモチベーションは上がる。
工夫が難しい場合は、質的調査をするのはおしゃべりをするだけなので、来館者に負担をかけない形で、アンケートの形ではなくインタビュー形式にする。

Q. 定性評価の示し方について詳しく聞きたい。

A. エピソードで示す方法もあるし、そのあとどうなったかという経過を提示すると良いかもしれない。単なる学習がその場で終わらないよう、日常や学習につながっていくことを示すと、評価が高まる。

Q. つながった後の評価をどう示せばよいか。

A. アンケートの最後に「３か月後回答に協力してくださる方はお電話かメールアドレスなど連絡先をお知らせください」と記入欄に書くとよい。そのようにすると追跡調査を事後の調査としてできる。

Q. アンケートを書いてもらう工夫として、どれくらいの量をとればいいか。テクニックは何かあるか。

A. アンケートを回答してもらいたいときの工夫はすごく難しい。入場者数や回答の割合によってアンケートの価値が決まる。たとえば100人渡して100人回答があったら、そのアンケートは活動全体をみることができるアンケートになる。一方で、1000人中100人が回答したアンケートだと、回答バイアスがあったことが分かる。自分たちの館にきた人、そしてアンケートに回答してくれた人の割合を出すとアンケートの信頼度として重要になる。ただ、自由にアンケートを置いておくと、なかなかアンケートに答えてもらえないというのが実情。工夫としては、学校や集団単位で全員に答えてもらうよう主催者や担当にお願いすると、代表者全体の意見ではないが、団体全体が答えてくれたという結果は抽出できる。

Q. イベントの時、どう答えてもらうか　

A. イベントの入場者と回答者の割合を出すことが重要。出入り自由のイベントだと、二つのアンケートを組み合わせるという方法もある。全員が答えられるような「どこから来たか」等シールを貼るタイプの簡単なアンケートをひとつ用意したり、用紙のアンケートを用意したり、入口で簡単に年齢・どれくらい遠くから来たかを聞くこともできる。

Q.　参加者で、アンケートを書いてもらう工夫をしている点があれば聞きたい。

A. ・景品と引き換え
・イベントの事前と事後でアンケートをとる

Q. 質的調査の数の目安について、判断材料はあるか。

A.ある一つの活動について何人調査しても同じパターンしか出てこないとなれば、質的調査が十分とれたという状態。
まず１名からとってみて、どんな人かを分析する。その次に違うタイプを取ってみる方法もあるし、同じタイプの人だったらどう違うかというように分析して、比較しながら次の観察対象を見つけていくというのが質的調査のやり方。ステップバイステップで観察していくと良い。

Q. 公共施設のアンケートの中で、おもしろい指標で調査があれば教えてほしい

A. 目的がどれだけ達成したかによって質問項目があるので、難しい。ただ満足度を「満足しましたか？」という質問で聞くよりも「あなたは今日の体験をだれに話しますか？」や「誰かに話そうと思いましたか？」ということを聞き方をすると、この体験が個人にとどまらず、他の人にも広がると想起させる質問になると思う。

Q. 誘導になるのではないかという感情や主観を排除することは、どうするとよいか。

A. 最初からポジティブな質問をしない。例えば、【Q. 満足しましたか？→A. はい／いいえ】ではなく、【どう思いましたか？→A. 満足／ふつう／不満足】の形でとるほうが良いと言われている。

Q. 質問文で「満足しましたか？」ではなく「どう思いましたか？」と聞くということか。

A. ケースバイケースで、そのような聞き方が適さない場合もあるので、感情バイアスを排除するのは大変難しい。アンケートは人間の心理と似ていて、職員が見ている前で不満や不愉快等という回答はしにくい。質的調査で観察ポイントとなる来館者の失敗・躓きは、来館者本人も気づいていないバイアスになっている。多角的にみていくことが重要。

Q. アンケートを回答してもらう工夫に関連して、アンケートに回答してくれた方にポストカードをプレゼントしている。そのような物をもらうと高評価な回答をする傾向になる研究はあるのか。

A. そのような研究はないが、回答者バイアスとして、その物がほしいという方が回答しがちというバイアスはかかる。回答の中身に影響したかどうかは、答えてくれた人と答えてくれなかった人との回答を比較しないと分からない。CoSTEPでは回答する時間を設ける工夫をしている。回収率は８割だったり７割だったりだが、時間と場所を設けることは、答えてもらう環境づくりとして重要である。

Q.来館者数は減っているがアンケート結果を見ると満足度は高いという状態であるため、来館者の減少の理由について知りたい。アンケートが適しているか分からないが、ヒントになる方法があれば教えていただきたい。

A. 自由記述の質問項目を自由記述にすると、なんでもお好きなことを書いてくださいとしてしまうと、満足した面白かったとしかかれない。
リピーターになってほしい場合は、「もう一度来たいと思われる点はどこか？」や「どの展示が面白かったか？」「不満点や改善点を教えてください」など負の部分を抽出したり、具体的に書いてくださいと伝える。次につながる項目や具体的に聞きたい項目、改善したい項目を具体的に用意する。どの展示がおもしろかったかと聞かれると回答をきちんとしてくれる。

Q. 森さんへ、質的調査を実施した感想をお聞きしたい。

A. （札幌市青少年科学館　森さん）
札幌市青少年科学館の展示の評価をしたいということで奥本先生と研究させていただいた。当施設は札幌市教育委員会の管轄であり、小学校４年生が市内の学校では校外学習で必ず訪れるプログラムになっている。なので小学校中学年を対象に展示物の設定をしている。しかし、現場で働いている感覚としては、実際に土日に訪れる来客層は未就学児や小学校低学年が多く、年々その傾向が強くなっている。展示の対象年齢と実際に使用する児童の対象年齢に差があるので、展示を使用した際のつまづき（画面に手が届かない、画面が高い、操作方法がわからない等）への対応として、どう改善したら良いか分からなかった。
今回、実際に会話を記録して２回実験を行った。最初は何の情報も提示しないで展示を体験してもらった。展示を体験しているときの会話を分析して、改善方法を考えた。その後同じ親子に２回目に展示を体験してもらう際に、立札や操作資料を渡す等改善をしたところ、つまづきは解消された。
（奥本先生）海外では、ファミリーパックといって子供向けのインストラクションだけではなく、親向けのインストラクションがパッケージで用意されている。親御さんが手助けしてあげたら子供も楽しめるというもの。それに近い形の改善ができないかと森さんと考えた。
もうひとつは、大型機材を導入するとその機材が故障したときに費用の関係で修理できない場合がある。機械全部を取り替えるのではなく、紙の説明書を加えることで対応できるのではないかと実践した。

Q. 施設の設置目的に沿って来客者にインパクトを与えること、エピソードを引き出して説明すること等は効果的だと思うが、客観性をどこまで説明するかアドバイスをお願いしたい。

A. 実際に質的評価自体がインパクトを増している段階なので、量的評価に価値観を置いている評価者も多いと思うが、年々変わっている。質的評価で評価を出して、施設のエピソードをサイト記事に挙げる等エピソードでその施設のインパクトを語っていくというふうな形が増えている。
質的エピソードで語ることで「地域のコミュニティに役立っている」「環境施設だけど雇用促進につながっている」等面白いエピソードがあると、アピールできる場が増えてくる。自分たちの部分を学習面だけで考えずに、多角的にも色んな影響があるかも、と考えると良い。そこが面白いと思ってくれる他の評価者もいると思う。
学校の先生が感動して学習施設の教育委員会に許可を得て、自分の教材を美術館にいれてもらったことがあった。第３者から評価してもらうことで、評価や反響が異なることが分かった。