心理学における再現性問題（基礎心フォーラム）
6月2日に開催された平成30年度第1回基礎心理学フォーラムでの資料が公開されています。非常にタメになる＆面白い内容でした。メモ＆共有しておきます。
池田功毅先生 「再現可能性問題は心理学教育をどう変えるか？」
https://www.slideshare.net/kokiikeda/ss-100062357?from_action=save
小杉考司先生 「新しい統計学とのつきあいかた」
https://www.slideshare.net/KojiKosugi/20180602kosugi
渡邊芳之先生 「和文学会誌は再現性問題にどのように立ち向かうか」
https://researchmap.jp/?action=cv_download_main&upload_id=162978
池田功毅先生 「再現可能性問題は心理学教育をどう変えるか？」
https://www.slideshare.net/kokiikeda/ss-100062357?from_action=save
小杉考司先生 「新しい統計学とのつきあいかた」
https://www.slideshare.net/KojiKosugi/20180602kosugi
渡邊芳之先生 「和文学会誌は再現性問題にどのように立ち向かうか」
https://researchmap.jp/?action=cv_download_main&upload_id=162978
学会参加のすゝめ （学部生のうちに）
大学院は研究をするところです。
もちろん，実質，資格を取るだけのために大学院に進むも人もいるでしょう。しかし，それでも，大学院は研究をするところと位置づけられています。
じゃあ，研究ってなに？
っていう疑問を，手っ取り早く解決するには，学会あるいは研究会に参加すると良いです。もちろん，論文をたくさん読むことも重要ですが，研究者にとっては，論文はもはや過去の遺物です。
これから大学院に進学するみなさんは，最新の研究動向，研究を取り巻く環境などについても，十分に調べ，準備しておくべきです（このブログでも何度も取り上げていますが，お金や就活の問題もありますし）。
また，進学する研究室を選ぶ際にも，学会への参加は非常に意義があります。そこで面白そうな研究を見つければ，進学を考えてもよいでしょう。研究をしっかりやりたいのであれば，大学のネームバリューよりも，面白い研究をやっている先生に指導してもらうことを重要視しましょう（同時に，先生の人柄のチェックも重要です）。
だけど，どこ行っていいのかわからない！ということもあるでしょう。その際の基準は，まずは，「行きやすいところ」「幅広いところ」がいいです。興味ドンピシャの学会・研究会ではなくても，自分の幅を広げるため，と割り切って参加することも大事です。一般的に，学生の参加費は安いので，近場であれば，費用対効果は十分なハズです。
日本心理学学会，基礎心理学会，臨床心理学会。。。などの大きな名前がついたところは幅広く，自分に関連のある研究も，関連のない研究も見つけることができるでしょう。
また，若手の運営している研究会に参加するのもお勧めです。たとえば，東京近郊であればSociety for Tokyo Young Psychologistなどがあります（宣伝： https://styp.wordpress.com/）。その他，関西，東海…など，地域ごとにいろいろと存在します。（自称）若手が運営している場合には，学部生は特に歓迎され，希望すればたくさん情報をくれると思います。みんな仲間を増やしたいのです。
地域の名前が付いている場合には，若手が主催しなくても参加しやすい雰囲気かと思います。そのため，日程的に都合がつくのならば，”若手”にこだわらなくてもいいかもしれません。
もちろん，実質，資格を取るだけのために大学院に進むも人もいるでしょう。しかし，それでも，大学院は研究をするところと位置づけられています。
じゃあ，研究ってなに？
っていう疑問を，手っ取り早く解決するには，学会あるいは研究会に参加すると良いです。もちろん，論文をたくさん読むことも重要ですが，研究者にとっては，論文はもはや過去の遺物です。
これから大学院に進学するみなさんは，最新の研究動向，研究を取り巻く環境などについても，十分に調べ，準備しておくべきです（このブログでも何度も取り上げていますが，お金や就活の問題もありますし）。
また，進学する研究室を選ぶ際にも，学会への参加は非常に意義があります。そこで面白そうな研究を見つければ，進学を考えてもよいでしょう。研究をしっかりやりたいのであれば，大学のネームバリューよりも，面白い研究をやっている先生に指導してもらうことを重要視しましょう（同時に，先生の人柄のチェックも重要です）。
だけど，どこ行っていいのかわからない！ということもあるでしょう。その際の基準は，まずは，「行きやすいところ」「幅広いところ」がいいです。興味ドンピシャの学会・研究会ではなくても，自分の幅を広げるため，と割り切って参加することも大事です。一般的に，学生の参加費は安いので，近場であれば，費用対効果は十分なハズです。
日本心理学学会，基礎心理学会，臨床心理学会。。。などの大きな名前がついたところは幅広く，自分に関連のある研究も，関連のない研究も見つけることができるでしょう。
また，若手の運営している研究会に参加するのもお勧めです。たとえば，東京近郊であればSociety for Tokyo Young Psychologistなどがあります（宣伝： https://styp.wordpress.com/）。その他，関西，東海…など，地域ごとにいろいろと存在します。（自称）若手が運営している場合には，学部生は特に歓迎され，希望すればたくさん情報をくれると思います。みんな仲間を増やしたいのです。
地域の名前が付いている場合には，若手が主催しなくても参加しやすい雰囲気かと思います。そのため，日程的に都合がつくのならば，”若手”にこだわらなくてもいいかもしれません。
ヴントと内観法
心理学入門の第1章「心理学の歴史」で触れられている話ですが，WEB上ではあまり解説しているところがないので，せっかくなのでヴントの名誉のために周知しておきましょう。
1879年にドイツの心理学者W.ヴントは心理学実験室を，ライプツィヒ大学に設立します。この出来事をもって，学問あるいは科学としての心理学がはじまったと言われています。ただし，アメリカではW.ジェームズがもう少し先に心理学実験室をつくっています。
ご存知のように，この時代より少し前に，精神物理学測定法がウェーバーおよびフェヒナーによって確立され，ヒトの感覚と，物理世界との関係を数学的に（定量的に）記述する手段が提供されていました。ヴントはそのような手法を用いて，「心理学」を創始したのです。ちなみにフェフィナー自身は心理学者を名乗っていませんでしたが，「精神物理学は，心理学に基礎づけられるとともに，心理学に数学的基礎を与えるものでなければならない」と言っております。
さて，「そんな精神物理学の手法を借りたヴントは，研究において内観法を重要視していました！」
っていう，意味の分からない説明が，過去の教科書において，ずっとされてきました。私自身も学部生時代にそんな記述を読んで，なんでだよ！と突っ込んだものですが，その時はペーペーですし，そんなこともあるのだろう，と，信じていました。
しかし，やはり違ったんですね。
Clegg, Self-observation in the social sciences, 2013
Costal, Conscious Cogn, 2006
Schultz & Schultz, A history of modern psychology, 2012
あたりに詳しいですが，ヴントはまず内観法を重要視していませんでした。実験心理学全体としても，内観法が主流になったことは一度もないと言われています。そりゃそうです。内省に頼った方法を批判して出てきたのが，「心理学」なのですから。
しかし，ヴントが内観をまったく用いなかったかというと，そんなことはありません。刺激に対する感じ方の変化などを，内観によって計測していました。。。このときの内観は自由記述ではありません。てことは，これは今でもやっていることですね。ただし，ヴントの実験のうち，そのような手法よりも反応時間を用いた実験などのほうが多かったことが明らかとなっています。
ちなみに，反応時間というと，ドンデルスの減算法が1860年代に提唱されていますので，やはりそのような”定量的”な方法に飛びつくのが自然でしょう。
心理学初期における内観法についての誤解が生まれた原因として，ヴントの一番弟子であるE.ティチナーがアメリカでヴントと異なった立場から内観法を紹介したこと，さらにティチナーの弟子で心理学史学者のE.ボーリングがティチナーの内観法をヴントのものとして紹介したことの2点が挙げられています。
つまり，ティチナーとその弟子が悪いんですね。まったく迷惑なことです。できるだけ，オリジナルの文献に当たることが大切っていういい教訓ですね（そういう私もヴントの文献は読めないし，読んでいないので偉そうなことは言えませんが）。
※ 上記の文章は心理学入門（板口・相馬）の一部文章を改変して掲載しています。
最近のベイズの話
今年の日心はベイズが人気だったようで。
私は残念ながら参加できませんでしたが，あるワークショップの資料が公開されていました。面白そうな企画だったので，読ませてもらいました。私はベイズについてはほぼド素人で，多少無責任なのですが感想をメモしておきます。
ベイズ統計をどう教えていくか −心理統計教育の中への取り入れについて考える
https://drive.google.com/drive/folders/0B-xBxU9fn5ngTHZ3YWthc0REME0
まず，教育，教える側からの観点というのが非常に重要ですね。とりあえず，そのスタンスはみんな見習って欲しいものです。
＞小杉先生のやつ
ベイズのメリットとして，『「ないない」から「あるある」へ，一点張りではないので，幅をもって自身の強さを表現』とあります。それはいいんですが，「幅をもたせること」で，なんのいい事があるのかがやはりわかりません。嘘つくとかつかないとかじゃなくて，研究における直接的なメリットを教えてほしいなあと思うところです。
＞岡田先生のやつ
資料だけではどんな話だったのかイマイチわからないのですが，結局難しい，って思った。
＞寺尾先生のやつ
もうなんか，難しい，って思った。
＞森元先生のやつ
スライドのデザインが強烈。当たり前だけど，どの手法にも一長一短ある。しっかり用途に応じた手法を見極めないとね，というお話。直接は関係ないけど，心理学研究の再現性のはなしは，それに対する反証論文がでていたはず。
＞椎名先生のやつ
資料だけではいろいろ掴めないけれど，たぶん妥当な批判なのかな。
＞山田先生のやつ
まとめなのかな？
ああ，まともな感想になっていませんね。ごめんなさい。。
でも，一番問題なのは，文学部の学生は，p値や統計的仮説検定でも苦労しています（そして半分以上は理解できない）。なのにもかかわらず，そんな人たちがもっと！苦手意識を感じてしまう「確率の式」どーん，という感じのベイズ統計を，きっちり頑張ったり，理解できるのかなあ。という懸念です。少なくとも私は，確率の式には未だに非常に大きな抵抗感があります。ま，シグマに対してもそうですが。
あと，研究者でも導入に対して意見が割れているのに，それを有無を言わさず必修の授業で教えるなんて，結局，都合のいい信者を増やすだけのような気がして嫌だなあ。と思うのです。もちろん，教員の意見を学生に伝えてはいけないわけではないですが。
少なくとも，選択科目でやればいいだけですよね。自分の意見が支持されるかどうかは，学生の判断やフィードバックをきちんと見ればいいだけだと思う。
心理学のための統計学を教える際には，心理学の研究をするために必要な基礎的な知識を教授するべきだと思うのです。社会に出て使うヒトなんて稀なんだから。
私は残念ながら参加できませんでしたが，あるワークショップの資料が公開されていました。面白そうな企画だったので，読ませてもらいました。私はベイズについてはほぼド素人で，多少無責任なのですが感想をメモしておきます。
ベイズ統計をどう教えていくか −心理統計教育の中への取り入れについて考える
https://drive.google.com/drive/folders/0B-xBxU9fn5ngTHZ3YWthc0REME0
まず，教育，教える側からの観点というのが非常に重要ですね。とりあえず，そのスタンスはみんな見習って欲しいものです。
＞小杉先生のやつ
ベイズのメリットとして，『「ないない」から「あるある」へ，一点張りではないので，幅をもって自身の強さを表現』とあります。それはいいんですが，「幅をもたせること」で，なんのいい事があるのかがやはりわかりません。嘘つくとかつかないとかじゃなくて，研究における直接的なメリットを教えてほしいなあと思うところです。
＞岡田先生のやつ
資料だけではどんな話だったのかイマイチわからないのですが，結局難しい，って思った。
＞寺尾先生のやつ
もうなんか，難しい，って思った。
＞森元先生のやつ
スライドのデザインが強烈。当たり前だけど，どの手法にも一長一短ある。しっかり用途に応じた手法を見極めないとね，というお話。直接は関係ないけど，心理学研究の再現性のはなしは，それに対する反証論文がでていたはず。
＞椎名先生のやつ
資料だけではいろいろ掴めないけれど，たぶん妥当な批判なのかな。
＞山田先生のやつ
まとめなのかな？
ああ，まともな感想になっていませんね。ごめんなさい。。
でも，一番問題なのは，文学部の学生は，p値や統計的仮説検定でも苦労しています（そして半分以上は理解できない）。なのにもかかわらず，そんな人たちがもっと！苦手意識を感じてしまう「確率の式」どーん，という感じのベイズ統計を，きっちり頑張ったり，理解できるのかなあ。という懸念です。少なくとも私は，確率の式には未だに非常に大きな抵抗感があります。ま，シグマに対してもそうですが。
あと，研究者でも導入に対して意見が割れているのに，それを有無を言わさず必修の授業で教えるなんて，結局，都合のいい信者を増やすだけのような気がして嫌だなあ。と思うのです。もちろん，教員の意見を学生に伝えてはいけないわけではないですが。
少なくとも，選択科目でやればいいだけですよね。自分の意見が支持されるかどうかは，学生の判断やフィードバックをきちんと見ればいいだけだと思う。
心理学のための統計学を教える際には，心理学の研究をするために必要な基礎的な知識を教授するべきだと思うのです。社会に出て使うヒトなんて稀なんだから。
多重性の問題について２
さて，前の記事に書いた，2番目の多重性問題の弊害について詳しく解説します。
まず，「なぜ弊害が大きいか」というと，それはずばり，
「繰り返し数が（尋常じゃなく）多くなりがちだから」
です。検定の多重性は，検定を繰り返すほど，タイプ1エラー（あるいは第一種の過誤）をおかす確率が高くなります。
2番のような状況，すなわち「とりあえずたくさんの指標を測定し，それらの変数間で相関係数（相関行列）を計算したり，あるいは2対の比較（t検定）を繰り返すような」状況を具体的に考えてみましょう。
例1：
たとえば，ある基準で分けた2つのグループになんらかの差があることを考えて，それぞれのグループに質問紙を行います。質問項目は40個くらい。それぞれの質問項目について，2群で比較しちゃいましょう。お，いくつかの項目に有意差が出たぞって？そりゃそうです。
5%水準では，「まったくランダムな2群」を集めたとしても，20回に一回は差が検出されるのです。有意水準の補正をしない状態では，差がありそうだと目をつけたグループ間に，40個のうちいくつかの項目で有意差が出るのなんて当たり前ですね。
例2：
グループ間の差じゃなくて，項目そのものに興味がある場合もあるでしょう。よし，あるグループにおける，40個の質問項目の相関係数を求めて，関係性を調べましょう。お，いくつかの・・・（略）
40項目の2対の組み合わせは，40×39÷2＝780ペアです。有意差ペアがたくさん出ないとむしろやばいですね。
このような検定の使い方は，仮説が明確にある場合にはそもそも生じにくいですが，仮説の有無にかかわらず，有意確率補正なしにはやってはいけません。有意確率補正があればやっていいです。あと，相関係数だけダラっと出して，検定かけないのであれば，どう考察するかは置いておいて，問題はありません。
”とりあえずたくさん指標を取ってみよう”系の研究にありがちなので気をつけましょう。
多重性の問題について１
検定の多重性という問題があります。ちょっと調べなおしたのでメモ。
検定の多重性とは，「検定を繰り返すと，第一種の過誤をおかす確率が上昇してしまう」というものです。第一種の過誤とは，「間違って犯人を逮捕（有意だと判断）してしまう」エラーを指します。
このような検定の多重性問題に対処するため，各検定における有意確率の補正などを中心とした様々なアプローチが用いられています。ただし，ジレンマなのが，そのような補正をおこなうと，今度は，第二種の過誤をおかす確率が上昇してしまうのです。第二種の過誤とは，「犯人を見逃す（有意だと判断できない）」エラーのことです。
こういったこともあり，有名なBonferroni法だけでなく，いくつもの対処方法（多重比較方法）が提案されてきました。。
と，ここまではよくある解説のとおりです。
さて，今回ここで問題にしたいのは，検定の多重性，といったときに，
1. 水準間の繰り返し検定による多重性
2. 似たようなの測定指標の検定の繰り返しによる多重性
3. それぞれ関係のない検定を繰り返す多重性
4. 検定の条件を調べるために種類の異なる検定を繰り返す多重性
といった，異なる性質のものが含まれているということです。順番に確認していきましょう。
1番は，比較的多くの人々が気づきやすく，実際に対処されている多重性問題です。これは，分散分析後に，要因の主効果が有意であり，かつその要因の水準が3水準以上の場合によく実施されるものです。使う手法を間違えていることはよく見られますが，比較的しっかりと意識されています。
2番が，ありがち，かつ最も問題になるパターンで，とりあえずたくさんの指標を測定し，それらの変数間で相関係数（相関行列）を計算したり，あるいは2対の比較（t検定）を繰り返すようなものです。いくつかの指標を測定すること（多重測定とよばれる）自体は，悪いものではありません。似たような指標が似たような振る舞いをすることを確認するのは，特定の文脈においては，重要なことです。しかし，往々にして非常に多くの検定の繰り返しが生じるため，全体としての危険率は見過ごせないくらいに増大してしまうことが多いのが実情です。
3番は，単一の論文あるいは実験のなかで，目的の異なる検定をいくつかおこなうことです。1論文あたり1検定で済むのが，スマートかもしれませんが，中々そんな状況はありません。ただし，これを多重性にカウントするかどうかは，難しいところで，議論があります。
4番は，正規性の検定をおこない，その結果によって，検定方法を選ぶようなパターンです。仮定を確認するのは重要なことですが，このような目的のために検定をおこなってしまうと，やはり多重性にひっかかってしまうので，あまりよくありません。理論的に考えて予め仮定の崩れに対処する，あるいは，仮定の崩れに頑健な検定手法を選んで使用することが推奨されます。
ということで，もっとも弊害の大きい2番に関して，詳しく議論したいのですが，長くなりそうなので，続きはまた今度。
相関係数の大きさの基準
ギルフォードの基準： 英語表現メモ。
相関係数は効果量の一種として解釈されるべきであり，数値そのものは有意とかに関係ありません。このような相関係数の大きさの基準として，日本では，Guilford (1956)がよく引用されます。オリジナルは1942です。英語での説明を検索したいときには，「Rule of Thumb, Correlation coefficient」という用語を使うのがよいでしょう。
相関係数 表現
.7 - 1 High （高い）
.4 - .7 Moderate （中程度）
.2 - .4 Low （低い）
.0 - .2 Negligible （無視できる）
※マイナスの場合も同様
ただし，ギルフォードの基準をアホみたいに大事にしているのは日本だけです。相関係数に限らず，効果量の基準は他の研究者も多く提案しており，「状況によって適切に解釈すべき」という態度が正解です。ただし，決して「都合のいいように解釈する」ことにならないように気をつけましょう。
[2018.2.2 追記]
海外（という括りが正しいのかわかりませんが）では，
1.0 Perfect linear relationship
0.7 Strong linear relationship
0.5 Moderate linear relationship
0.3 Weak linear relationship
0.0 No linear relationship
上のほうが一般的な気がします。
一般的なウェブサイトにもこっちの方が載っている気が。
相関係数は効果量の一種として解釈されるべきであり，数値そのものは有意とかに関係ありません。このような相関係数の大きさの基準として，日本では，Guilford (1956)がよく引用されます。オリジナルは1942です。英語での説明を検索したいときには，「Rule of Thumb, Correlation coefficient」という用語を使うのがよいでしょう。
相関係数 表現
.7 - 1 High （高い）
.4 - .7 Moderate （中程度）
.2 - .4 Low （低い）
.0 - .2 Negligible （無視できる）
※マイナスの場合も同様
ただし，ギルフォードの基準をアホみたいに大事にしているのは日本だけです。相関係数に限らず，効果量の基準は他の研究者も多く提案しており，「状況によって適切に解釈すべき」という態度が正解です。ただし，決して「都合のいいように解釈する」ことにならないように気をつけましょう。
[2018.2.2 追記]
海外（という括りが正しいのかわかりませんが）では，
1.0 Perfect linear relationship
0.7 Strong linear relationship
0.5 Moderate linear relationship
0.3 Weak linear relationship
0.0 No linear relationship
上のほうが一般的な気がします。
一般的なウェブサイトにもこっちの方が載っている気が。
