今回は統計キーワード編のラスト仮説検定です！
仮説検定？
なんのために今まで色んな分析や細々した計算をしてたのか？
つまりは仮説検定のためです。
仮説をたてて検証し、最後にジャッジするのです！
表の中では、これも「検定」にあたるのじゃ。
帰無仮説とか、第１種の過誤なんかのワードを抑えておきましょう。
①対立仮説
帰無仮説と対立仮説がありますが、先に対立仮説を理解した方がいいと思います。
対立仮説とは、最終的に主張したい説です。
例えば、あなたが薬の研究者で、膨大な時間とお金を掛けてようやく新薬を開発したとします。
さて、この薬が本当に効くのか効かないのかを公的に科学的に証明しなくてはなりません。
あなたが最終的に主張したい仮説は当然、
「この新薬は、この病気に対して効く」です。
これが対立仮説です。
なんか対立仮説という言葉の響きが、反対仮説のように聞こえてしまいそうでややこしいのですが、真っ直ぐな主張のことです。
要は「俺主張仮説」みたいなもんです。
主張は、「肯定文」であった方がいいと思います。
「この世にお化けはいない！」という主張は証明が出来ないです。
「この世にお化けはいる！」という主張をしましょう。(主張は何でもいいけど）
対立仮説をよく省略してH1といいます。
ではこのH1が正しいと証明したい時にどうすればいいでしょうか？
有効だということを強く主張する！
なんだろう…。なんかそういうデータとかあるんですか？
②帰無仮説
対立仮説H1を証明する為に、登場するのが帰無仮説です。
先程、対立仮説H1で「この新薬は、この病気に対して効く」と主張しました。
このH1を統計的に証明する方法とは、
「この新薬は、この病気に対して効果がない」
ということを否定することです。
この仮説を帰無仮説(省略形=H0)といいます。
言いたいことの逆のことを否定出来れば、言いたいことが言えるわけです。
つまり、今度は逆にこの薬が効かないという前提で話を進めていくのです。
薬が効かないのであれば、薬を服用しても何も症状が変わらないことになります。
何も変わらないはずなのに、大量データからは「どうもおかしい…なんか元気になってる人多くね？」という結果が頻出すればどうでしょうか。
どう考えても、「全く効かないというのが無理がある」と判断せざる得ないかもしれません。
その時に初めて、「この新薬は、この病気に対して効果がない」という帰無仮説を否定できます。（帰無仮説を棄却するといいます）
帰無仮説(H0)を棄却出来れば、対立仮説(H1)を採択出来ます。
つまり大元の主張である、
「この新薬は、この病気に対して効く」
ということを声を大にして叫べるわけです。
ポイントとして、帰無仮説(H0)は＝０や＝理想値と仮説します。
この薬が効果が０であるという仮説であれば簡単に否定なり容認なりを判定することが出来ますが、この薬の効果が０以下であるとか、－0.5～＋0.5であるとか、範囲を持ってしまうと計算が不可能になります。(－0.5はいいけど－0.32の場合はどうなの？とか無限にいえる）
なので帰無仮説(H0)＝0、帰無仮説(H0)＝1/2とか常に断定的です。
イカサマサイコロを見分けるような時には、帰無仮説は理想値つまり1/6であるという断定仮説を行います。(1/6でなかったなら、イカサマサイコロであると主張できます）
一方対立仮説(H1)は帰無仮説以外という主張なので、対立仮説(H1)≠0、対立仮説(H1)＜０といった広い範囲の仮説になります。
帰無仮説を棄却し、対立仮説を採択する！(メガネくいっ）
一度言ってみたいセリフですね😆
③悪魔の証明
ところがもし、帰無仮説(H0)を棄却できない場合。
つまり、「この新薬は、この病気に対して効果がない」というH0が、うんデータ見る限り、どうもそんな感じだね。となる場合です。
となると、当然最初の対立仮説(H1)を主張出来なくなります。
正確にいうと、「この新薬は、この病気に対して効果があるとはいえない」となります。
ここで重要な点は、「効果が無いとは断定していない」ということです。
帰無仮説(H0)を棄却出来た場合は、声を大にして対立仮説(H1)を主張することができますが、帰無仮説(H0)を棄却出来ない場合は、対立仮説(H1)を完全否定出来るわけではありません。(統計試験にも出題されがちの論点)
帰無仮説(H0)を棄却出来ない場合は、「何もわからない」という解釈でOKです。
・新薬が病気に効かない → 検定 → うんまぁそうみたいね → ✕新薬は病気に効かない！ ○効くかどうかよくわからない
・ダイエット効果が０ → 検定 → うんまぁそうみたいね → ✕ダイエットに効果無し！ ○効果があるかどうかよくわからない
・お化けはいない → 検定 → うんまぁそうみたいね → ✕お化けは存在しない！ ○お化けがいるかどうかわからない
そもそも存在しないものは証明しようがないですよね？お化けなんか絶対にいないっていっても、明日出現する可能性が1000億分の1でもあれば、宇宙の物理法則が変われば、お化けの定義が変われば、と仮定は無限に生まれるからです。
無限の仮定を全部シラミ潰しに否定することは不可能です。これを悪魔の証明と言います。
帰無仮説(H0)が棄却できないときは、どうもよくわからないという結論が正解になります。
「悪魔の証明」って言いたいだけやろ。
④有意水準
３．の帰無仮説を棄却出来るか否かが重要な分岐点になるのですが、ではその棄却するかどうかの基準はどこで判断すればいいのでしょうか。
それが「有意水準」です。前にもお伝えしましたが、世の中に100％こうだ！って言えることはありません。
例えば、何十年も前から風邪薬として出回っている市販薬なども、もしかしたら効果がないかもしれません。もしかしたら「たまたま」効果が生じた事例が100億回続いただけかもしれません。でもそんなことをいっていたら何もできません。
なのでほんのちょっと「妥協」します。
95％や99％の信頼確率があるのであれば、とりあえず認めようということです。
その確率基準が「有意水準」です。「信頼区間」ともいいます。
再度、帰無仮説(H0)を考えます。
「ダイエットの効果は0である」としました。
ただ30人の体重ビフォーアフターを測定比較したところ、平均2kg痩せていたとしてます。
これについて95％有意水準で検定します。
つまり「ダイエット効果が0であるにも関わらず、30人がたまたま平均2kg痩せる確率ってどれくらいよ？」ということです。
計算によって、どうも3％程度(レアな現象)という確率を得られました。
ということは「ダイエット効果が0であるにも関わらず、30人がたまたま平均2kg痩せる確率は3％程度」なので、97％くらいはたまたまではないということが言えます。
この場合、95％有意水準を超えているので、帰無仮説(H0)を棄却することが出来ます。
最終的に、95％有意水準において帰無仮説を棄却し、ダイエット効果がみられる。という結論を出すことが出来ます。
もし計算によって、たまたま2kg痩せる確率は25％程度という大きな数字が得られたとします。(調査対象がもし全員100kg超えの人達だと体重増減のブレが大きいので有り得そうですよね）
その場合、95％有意水準を超えることが出来ません。
従って、95％有意水準において帰無仮説は棄却出来ず、ダイエット効果があるかは疑問である（たまたまじゃない？）。という結論になります。
ありえるかありえないかって感覚的にも多少わかりますよね。それを計算して5％以下かどうか(どれくらいレアな現象か）を確認しているわけですね。
⑤第1種、第2種の過誤
有意水準を設けたことで「過誤」が生じる可能性があります。
もし100％確実な水準で検証したのなら間違う可能性も0ですが、そんなことは出来ないので95％水準で結論したわけです。
その代わりに、その結論が間違っている可能性が生じるわけです。
正しいパターンと間違いが起こるパターンは必ず4つになります。
１．○帰無仮説が誤っており、帰無仮説を棄却する
２．✕帰無仮説が正しいのに、帰無仮説を棄却してしまう
３．✕帰無仮説が誤っているのに、帰無仮説を棄却しない
４．○帰無仮説が正しくて、帰無仮説を棄却しない
マトリックスにするとこうです。
新薬開発の例で考えてみます。
新薬の「効果が有る」というのが事実だったとします。
「新薬の効果が無い」というのが帰無仮説(H0)ですから、このH0は誤りなわけです。
だからこれを棄却出来た場合は、正解（1.）です。
さらに新薬の効果があることも主張できて最高です。
もしH0が誤りなのに棄却出来なかった場合、つまり受け入れてしまった場合です。
本当は薬に効果があるのに、不運にも薬の効かない特異体質の人ばかりで臨床試験してしてしまったような場合でしょうか。
これはH0は誤りなのにH0を受容。第2種の過誤（3.）にあたります。
次に新薬の「効果がない」というのが事実だったとします。
「新薬の効果が無い」というのが帰無仮説(H0)ですから、このH0は正解です。
だからその通り受容した場合は、正解（4.）です。
もちろん新薬の効果があるという対立仮説(H1)を主張出来なくので、残念な結果ではあります。ただし検定としては正しいということです。
しかしもしH0が正しいのに棄却してしまった場合、対立仮説を誤ったまま主張することになってしまいます。
つまり「本当は薬は効かない」にも関わらず、「薬が効く」と主張してしまいます。
これを第1種の過誤（2.）といいます。
人生を捧げて、研究した開発者からするとこういった「過誤」を起こしてしまう気持ちもわからなくはないですね…。
ウイルス検査における、偽陽性（本当は問題ないのに病気と判定される）や偽陰性（本当に病気なのに、問題無しと判定される）もこの話に通じます。
なお、第1種の過誤を生産者危機といい、第2種の過誤を消費者危機といいます。
これは、この誤ちを犯すと消費者に被害が出るから～とか説明されますが、どんな帰無仮説を唱えるかで話が複雑にこんがらがってしまいます。
製造メーカーが、生産した商品に本当は品質異常がなかった(許容範囲内)のに、たまたま検査した部品にだけ異常が見つかって、全てロットアウト（廃棄処理）したのなら確かに生産者危機といえます。
だけど上の新薬の例だと、研究者のエゴばっかりに第1種の過誤を起こしてしまうと、被害を受けるのは薬の消費者でもあり、あれ？どっち？って感じになってしまいます。
第1種過誤＝生産者危機、第2種過誤＝消費者危機、「一生ニ消し」と機械的に覚えておけば十分です。
⑥検定力
◆検定力＝１－第２種の過誤率
◆試行を繰り返すと高くなる
これだけ覚えとけばいいかも。
先程の事例でいくと、第2種の過誤とは本当は薬の効果があるのに、不幸にも薬の効果が無い(あるかわからない）と判断してしまったミスですよね。
本当は正しいのに間違うミスって、試行回数を増やすと減らせそうじゃないですか？
だって本当は正しいんですから。
つまり、第２種の過誤は何回も検証すれば減っていきます。10％→1％とか。
なので、試行回数を増やすと検定力は上がっていきます。
第2種の過誤率が10％なら、検定力は0.9。
第2種の過誤率が1％なら、検定力は0.99。
一方で、第1種の過誤は有意水準に依存します。
有意水準そのものといってもいいです。
なぜなら、有意水準を超えたからこそ帰無仮説を棄却したからです。
例えばガッチガチに有意水準を高めて99％とします。
これなら第1種の過誤を起こす割合は1％です。非常に低いです。
基本的に第1種の過誤を起こす確率は低い（レア）です。
しかし、薬が効かないとした帰無仮説の信頼性が2％などとなった時、ほぼほぼ薬は効くはずのデータが取れているのに有意水準が99％である以上、「そんなこともあり得る」として帰無仮説を棄却出来ません。
なかなか厳しいです。というか非生産かもしれません。
薬の効能の信頼性を高く求めるあまり、新薬が一切普及せずその間に病気でどんどん人が死んでいったら本末転倒です。
だから有意水準が高ければそれでいいというものでもありません。
逆に有意水準が60％とかだったら、第1種の過誤を起こす割合は40％です。
これではガバガバ過ぎて、効果の無い薬がばんばん世に出回ってしまいます。
トレードオフな関係ですね。
ちなみに今度は繰り返し試行をすることで第1種の過誤は高くなります。
仮に事実として薬に効果が無くて、有意水準99％の水準だとしても、1000回も試験すればもしかしたら「たまたま」効果があるようなデータが取れるかもしれません。
あとは他の999回のデータを無かったことにすれば、意図的な第1種の過誤の完成です。
スタッ○細胞はありま～～す。
おいやめろ。でも健康食品とか怪しいのもあるよな。
【平成27過去問】
アが正解。知っていれば楽勝です。
イは✕。1.96を超えた時(95％水準で98％とかになった時）に帰無仮説を棄却できる。
ウも✕。データ数で除するのでなく、√データ数で除する。
エも✕。月次はデータが少なすぎてｚ検定は無理。
はい、統計編終了です。いかがでしたか？
いやー、キーワードの大枠理解だけでも大変じゃぞこれ。
まぁ振り返ってみると確かに…。これで全く意味不明の問題が出たら泣きますね。
選択肢を一つでも絞れればいいけどね。
ところで「確率」の話はやってないようじゃが。
はい、もう省略しちゃいました。私は「確率」大好きなんですけど、あまり出題されないようなので…。
おいおい、出たら責任取ってくれんのか？おっ！？
うるせー！交通事故ならポアソンってだけ覚えとけ！
