pvalue explanation

Py4Etrics · Oct 8, 2023 · 357d5f7 · 357d5f7
1 parent 0028ce1
commit 357d5f7
Showing 1 changed file with 21 additions and 62 deletions.
diff --git a/17_Panel.ipynb b/17_Panel.ipynb
@@ -1859,18 +1859,14 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "heading_collapsed": true
-   },
+   "metadata": {},
    "source": [
     "## 標準誤差の問題"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
     "(式３)の固定効果モデルを考えよう。パネル・データの場合，次の2つの問題が発生する場合がある。\n",
     "* 残差の不均一分散\n",
@@ -1895,8 +1891,7 @@
   {
    "cell_type": "markdown",
    "metadata": {
-    "heading_collapsed": true,
-    "hidden": true
+    "heading_collapsed": true
    },
    "source": [
     "### 分散の確認"
@@ -2030,19 +2025,15 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "heading_collapsed": true,
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
     "### 対処方法"
    ]
   },
   {
    "cell_type": "markdown",
    "metadata": {
-    "heading_collapsed": true,
-    "hidden": true
+    "heading_collapsed": true
    },
    "source": [
     "#### 説明と計算"
@@ -2149,19 +2140,14 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "heading_collapsed": true,
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
     "#### `p`値について"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
     "一方で，`linearmodels`でクラスター頑健推定を使う場合，`p`値の計算については以下で説明する点について覚えておくと良いだろう。次の変数を定義しよう。\n",
     "\n",
@@ -2176,9 +2162,7 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "outputs": [],
    "source": [
     "# 自動計算のp値\n",
@@ -2196,9 +2180,7 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
     "同じ値だということが分かる。\n",
     "\n",
@@ -2208,29 +2190,23 @@
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "outputs": [],
    "source": [
     "res_fe_clus1.entity_info"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
     "データセットはbalanced dataset（$n_1=n_2=\\cdots=n_G$）であり，それぞれの個体には`8`の観測値があることが分かる。また`total`は個体の総数を表しているので，次の変数を作成しよう。"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "outputs": [],
    "source": [
     "G = int( res_fe_clus1.entity_info['total'] )\n",
@@ -2241,48 +2217,33 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
     "この値を使い`p`値を計算してみよう。"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "outputs": [],
    "source": [
     "2 * ( 1-t.cdf(res_fe_clus1.tstats['married'], dof_stata) )"
    ]
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
-   "source": [
-    "小数点第3位までは`linearmodels`と同じ値となっている。若干ではあるが，Stataの結果と異なる事になることを覚えておくと，後になって戸惑うことを避けることができるだろう。"
-   ]
-  },
-  {
-   "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
-    "では，どちらが正しいのだろうか。実は，理論的には曖昧になっている部分がある。元来，クラスター頑健推定は大標本（$N\\rightarrow\\infty$）に適用されるが，この場合，$n\\rightarrow\\infty$もしくは$G\\rightarrow\\infty$，もしくは両方と考えることができる。従って，$N\\rightarrow\\infty$と近似できるのであれば，`t`分布ではなく標準正規標分布を使うことができる。更には，上の計算では両方とも`t`分布を使っているが，自由度が`30`以上になれば標準正規標分布との誤差は非常に小さな値になる。"
+    "小数点第3位までは`linearmodels`と同じ値となっている。若干ではあるが，Stataの結果と異なる事になることを覚えておくと，後になって戸惑うことを避けることができるだろう。\n",
+    "\n",
+    "では，どちらを使えば良いのだろうか。第一に，クラスター頑健推定は大標本（$N\\rightarrow\\infty$）の下で有効となり，個体数$G$が十分に大きい必要がる。$G$が小さい場合に使うと，問題を悪化させる可能性が高い。第二に，自由度が`30`以上の`t`分布の場合，標準正規標分布との誤差は非常に小さな値になる。"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "outputs": [],
    "source": [
     "print(f'linearmodelsの自由度：{dof}')\n",
@@ -2291,11 +2252,9 @@
   },
   {
    "cell_type": "markdown",
-   "metadata": {
-    "hidden": true
-   },
+   "metadata": {},
    "source": [
-    "データを$N\\rightarrow\\infty$と近似できるのであれば，検定結果に大きな差は出ないのではないだろうか。"
+    "２つのケースとも，自由度は大きいため，上の計算が示すように，`p`値の差は大きくない。データを$N\\rightarrow\\infty$と近似でき，且つ，個体数$G$が十分に大きいと判断される場合，自由度の違いは検定結果の大きな差として現れないだろう。もちろん，ボーダーラインの場合もあり得るが，その場合は，慎重を期すために$G-1$の自由度を使ってはどうだろうか。"
    ]
   }
  ],