仮説検定

Pythonを使用した仮説検定に関する簡単で簡潔なチュートリアル

画像:http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

このブログでは、Pythonの統計手法を使用した仮説検定の簡単なチュートリアルを紹介します。 仮説検定は、私たちが慣れ親しんでいる科学的手法の一部であり、おそらく私たちが教育の初期に学んだものです。 ただし、統計では、多くの実験が母集団のサンプルに対して行われます。

「一般に、一連の観察結果から提案された説明について何がわかるかを決定するには、推論を行うか、または統計学者が言うように、Reason With Uncertaintyを使用する必要があります。 不確実性による推論は統計的推論の中核であり、通常、帰無仮説有意検定と呼ばれる方法を使用して行われます。」 -オーブン。

このブログの例として、KaggleにあるEuropean Soccer Dataセットを使用して、仮説検定を行います。 データセットはここにあります。

ステップ1

観察する

最初のステップは、現象を観察することです。 この場合、それは次のようになります:許可された平均目標に防衛攻撃の影響はありますか?

ステップ2

調査を調べる

成功するための良い考え方は、仕事を賢くすることです。 行うべき1つの良いことは、あなたの観察に関連する研究がすでに存在するかどうかを見ることです。 もしそうなら、それは私たちの質問への回答を助けるかもしれません。 既存の研究や実験に気づくことは、実験をより適切に構成するのに役立ちます。あるいは、質問に答えるだけで、最初から実験を行う必要はありません。

ステップ3

帰無仮説と対立仮説を形成する

対立仮説は私たちの知識に基づく推測であり、帰無仮説は単に反対です。 対立仮説が2つの変数間に有意な関係があると述べている場合、帰無仮説は有意な関係がないと述べています。

Null仮説は次のようになります。防御攻撃力が65以上のチームと65未満のチームでは、目標に統計的な違いはありません。

対立仮説:防御攻撃力が65以上のチームと65未満のチームで許可される目標には、統計的な違いがあります。

ステップ4

私たちの仮説が片側検定か両側検定かを決定します。

片側検定

「0.05の有意水準を使用している場合、片側検定では、すべてのアルファが対象となる1方向の統計的有意性を検定できます。」 片側検定の例は、「65未満の攻撃性評価を持つサッカーチームは、65未満の評価を持つチームよりも統計的に有意に多くの目標を可能にする」です。

両側検定

「0.05の有意水準を使用している場合、両側検定では、アルファの半分が1方向の統計的有意性をテストし、アルファの半分が他の方向の統計的有意性をテストできます。 これは、0.025が検定統計量の分布の両端にあることを意味します。」

両側検定では、両方向の統計的有意性を検定します。 私たちの場合、統計的有意性を両方向でテストしています。

手順5

有意水準の閾値を設定する(アルファ)

(アルファ値):帰無仮説を拒否しても問題ない限界のしきい値。 アルファ値は、0〜1の間に設定した任意の値にすることができます。ただし、科学で最も一般的なアルファ値は0.05です。 アルファが0.05に設定されているということは、結果がランダム性に起因する可能性が5%以下であっても、帰無仮説を拒否しても問題ないことを意味します。

P値:このデータにランダムに到達する計算された確率。

p値を計算し、それが0.03になった場合、これは「私が見ている結果は実際にはランダム性または純粋な運によるものである可能性が3%ある」と解釈できます。

Learn.coからの画像

私たちの目標は、p値を計算し、それをアルファと比較することです。 アルファが低いほど、テストは厳しくなります。

手順6

サンプリングを実行する

ここに、soccerというデータセットがあります。 このテストでは、データセットにteam_def_aggr_ratingとGoals_allowedの2つの列のみが必要です。 これらの2つの列にフィルターを適用して除外し、防御的攻撃性が65以上のチームと防御的攻撃性が65未満のチームの2つのサブセットを作成します。

仮説テストの要約として:

許可された平均目標に対する防御攻撃の影響。 帰無仮説:防御攻撃力が65以上のチームと65未満のチームでは、目標に統計的な違いはありません。代替仮説:防御攻撃力がより大きいチームでは、目標に統計的な違いがあります65以上または65未満のチーム。両側検定アルファ:0.05

これで、統計テストを実行できるサンプルの2つのリストができました。 そのステップの前に、2つの分布をプロットしてビジュアルを得ます。

手順7

2標本T検定を実行する

2標本t検定は、2つの母平均が等しいかどうかを判断するために使用されます。 これには、statsmodelsというPythonモジュールを使用します。 統計モデルについてはあまり詳しく説明しませんが、こちらのドキュメントをご覧ください。

手順8

評価と結論

設定したアルファはa = 0.05だったことを思い出してください。 テスト結果からわかるように、p値はアルファよりも小さくなっています。 帰無仮説を棄却し、95%の信頼で対立仮説を受け入れることができます。

読んでくれてありがとう! 仮説テストの詳細については、ここで仮説テストに携わったGitHubのこのグループプロジェクトをチェックしてください。

リソース:

オーブン、マシュー。 YourStatsGuruから取得した「統計と「科学的方法」」。 https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

SASの概要。 UCLA:Statistical Consulting Group。 https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/から(5月にアクセス2019年)。

エンジニアリング統計ハンドブック。 https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm