そろそろ（宣言によると）更新時期なのでネタを探してみました。
今回は統計的検定における有意ということについてです。
今週は学部生さんに何十回と検定を説明しました。
説明の仕方が悪いのか、なかなか納得してもらえなかったり・・・(^_^;)。
心理学の研究やその他いろいろなところで
統計的検定を行っているものを目にします。
検定についていろいろ思うところはあるのですが、
今回はその中の１つを取り上げてみたいと思います。
今、一番気になっているのは「有意傾向」という言い方です。
これは10%水準で有意であったときに用いられる言い方のようです（どこで言われはじめたのでしょうか・・・）。
心理学では有意水準を1%, 5%, 0.1%を慣例として
用いています。
そもそも、統計的検定とは、
ある仮説（帰無仮説or検定仮説）の下で
その事象が起こる確率がどの程度かを求め、
そこから帰無仮説が正しいかどうかを判断するものです。
その事象が帰無仮説の下で滅多に起こらないのであれば、
「帰無仮説が誤りである」という判断を下し対立仮説を採択するわけです。
これが統計的検定の基本的な考え方です。
つまり、帰無仮説が誤りであるかどうかは、
帰無仮説の下でその事象が起こる確率がどの程度で、
それはその仮説が誤りであるとする根拠となるほど
滅多に起こらないことかどうかという１点を検討すればいいわけです。
従って、1%水準であるか5%水準であるかは
単なる基準であって、どちらが良いとか大きな差があるとかという訳ではありません。
ただ、研究をしていると、
5%より1%が、1%より0.1%の方が良い（うれしい）
という感覚は確かにあるのですが、
そもそもの統計的検定の考え方としては、
有意確率の量的な程度を評価するという
観点はないのではないかと思います。
1%水準であろうと5%水準であろうと
帰無仮説を棄却するということには変わりはありません。
さて、それでは有意水準が10%の場合
有意傾向があるというのはどうなのでしょうか。
まず、10%という確率が滅多に起こらないことであるのかどうか
という点が、これを認めるかどうかという
議論の争点になると思います。
（これはよく議論されることだと思います）
僕がもう一つ気になるのは「傾向」という言葉です。
この言い方をするとどうしても
有意確率を評価している気がしてなりません。
たとえ10%に有意水準をおいたとしても、
あくまで帰無仮説の下でその事象が起こる確率が
10%以下かどうかのみを検討するべきだと思います。
そこから「傾向」ということを言うのは
やはり問題があるような気がします。
例えばですが、
5%で有意差があった時よりも、
1%で有意差があったときの方が
差がある傾向が強いのかというと
そうではありません。
とりあえずは、有意傾向などと言わずに、
はっきりと
「10%水準で有意であった」
といった方がいいような気さえします。
（当然、10%でも良いといっているわけではありません）
学部生さんのレポートを見ていると、
p< .0000 や p< .003 と書いているものがあったりします。
また、
Xという変数では1%水準で有意差が認められた。
またYという変数では5%水準で有意差が認められた。
従って、Yという変数の方が差がある
という記述があったりします。
これも検定を誤解？？しているために起こるものだと思います。
結論というわけではありませんが、
統計的検定は
「1%水準で判断する」「5%で判断する」ということを
はっきりさせた上で行うべきだと思います。
極端にいえば、どれだけ有意確率が低い値を示していたとしても、
「5%水準で有意であった」というのが
カッコイイ気さえします（笑）。
有意傾向 という言い方・・・
やはり好きにはなれません。
いろいろ批判もあるような気はしますが、
最近考えたことです。
