remcat: 研究資料集

(TANAKA Sigeto)

データ改ざんに甘い社会で統計の信頼性を云々することの無意味さについて

毎月勤労統計調査のサンプルが不正に減らされていた問題について、『wezzy』 に記事を書きました:

「毎月勤労統計調査」は90年代以前から改ざんされていた?: データ改ざんに甘い社会
田中重人 (2019-02-07) https://wezz-y.com/archives/63479

記事の基本的な観点は、リード文に書いてある通り:

この事件の別の側面として、対象事業所数や誤差率など、調査精度をあらわす数値の偽装という問題があります。この観点からみたときに何が見えてくるのか、これまでにわかっている情報から整理してみました。

https://wezz-y.com/archives/63479

とりあげている具体的な問題は、大きくつぎの3つにわかれます。

  • 1990年代以前からの調査対象削減
  • 2002年以降の抽出率データ改ざん
  • 2004年以降の誤差率データ改ざん

このなかでいちばん規模が大きいのは2番目の「抽出率データ改ざん」なのですが、これは2週間前に https://remcat.hatenadiary.jp/entry/20190125/maikin2003 に書いた話題とおなじです。

2003年調査の実質的な抽出率を計算してみたところ、30-99人規模の事業所の全体でみると、本来調査すべきであった事業所のうち、およそ9割で調査していなかったと推測できます。〔……〕当時の事業所統計によると、「卸売・小売業、飲食店」の30-99人規模の事業所は全国に6万程度あったようです。『毎月勤労統計要覧』記載の抽出率表ではここから1/128抽出することになっていたので、約500事業所を調査しないといけなかったはず。しかし、実際に調査したのはわずか20くらいだった、ということを誤差率の数字は示唆しています。

https://wezz-y.com/archives/63479/2

この件に関して重要なのは、2003年までそうだったというだけではなく、その後もつづいていた (おそらくは現在もつづいている) ということです。

なお、特別監察委員会報告書は、このように「実質的な抽出率」を操作していたのは2003年までとしています。しかし実際には、2004年にも、30-499人規模の事業所の誤差率は2002年とおなじレベルでした。〔……〕2017年までの誤差率の推移を見ても、30-499人事業所の誤差率はずっと高いままで、29人以下規模の事業所の誤差率の水準を大きく上回っています。以上のことから、現在の毎月勤労統計調査でも30-499人規模事業所は減らされている、とみるのが合理的です。

https://wezz-y.com/archives/63479/2

(話が前後しますが) 1番目の話題は、1990年代から標本規模を不正に減らしていた (にもかかわらず、調査対象は約3万3200事業所、という嘘の報告をつづけてきた) ことです。これはすでに厚生労働省が認めているのですが、いつはじまったかは、誤差率の変動を追跡してもよくわかりません。開始時点は1980年代かそれ以前にさかのぼる可能性があります。

3番目の話題は、東京都の500人以上規模の事業所は全数調査といっておきながら、実態は抽出調査だったというものです。これは昨年末に朝日新聞がすっぱ抜いて広く知られるようになりました。注目が集まっているのは、統計処理を怠ったため、平均給与の推計値が過少だったということなのですが、今回の記事の論点はそこではなく、これは実は誤差率表の改ざんである、というところです。

『毎月勤労統計要覧』の誤差率表には、500人以上規模事業所の欄がありません。そのかわり、「規模500人以上は全数調査である」という注釈がついています。これはつまり、規模500人以上については誤差率はすべてゼロであるので、記載を省略する、という意味です。
〔……〕
しかし、2004年以降は全数調査ではなくなったのですから、標本誤差は発生していたはずです。本来なら、500人以上規模についても、誤差率の表にその欄を設けていちいち誤差率を書かなければならなかったのです。
〔……〕
調査全体の誤差率も改ざんされています。これは、500人以上規模の事業所は全数調査なので誤差はゼロ、ということを前提にして誤差を総計しているからです。本当は500人以上規模の事業所についても誤差を足し上げていかなければならないところ、そこをすべてゼロだとみなして合計を求めていたわけです。当然、調査全体について総計して算出される誤差率は、実態よりも小さい値になります。

さらに、2007年には、誤差率の計算方法が変更されました。平均給与の高い層の誤差率をより大きく重みづけて調査全体の誤差率を計算する方法です (それまでの計算方法による数値を「標本誤差率」と呼んできたのに対して、これ以降は「標準誤差率」ということばを使っています)。大規模な事業所には、給与が高いところが多いでしょう。500人以上規模の事業所は誤差ゼロとなっていることがより大きく重みづけされ、全体の誤差率を引き下げることになります。
〔……〕
2016年までの誤差率表は、調査全体の誤差を約半分に見せかけるよう改ざんしたものでした。これは、500人以上規模の事業所の標本誤差をゼロとみなして誤差を計算してきた結果なのです。

https://wezz-y.com/archives/63479/3

以上のように考えれば、1990年代以前に標本規模をごまかしていたところから大問題だったのです。今世紀に入ってから手口が複雑化し、巧妙になっているわけですが、基本的には、調査の精度に関する情報を改ざんして誇大宣伝していた事件であるといえます。

これらはいずれも、調査の精度を実際よりも高く見せていたということです。毎月勤労統計調査は、この四半世紀以上の間、改ざんした数値を使って調査の精度を偽装し、実態よりも価値の高い調査であるかのように見せかけてきたのです。

https://wezz-y.com/archives/63479/3

事件の真相を解明するなら、まずは、本当に調査した事業所はいくつだったのか、抽出率表や誤差率表を正しく書き直せばどうなるのか、ということを調べるべきです。そこが確定しないと、そもそもどういう事件であったのかということ自体が実はよくわからないことになります。そのうえで、データを改ざんしたことの責任をきちんと問うべきでしょう。

にもかかわらず、全数調査でも抽出調査でも精度はたいして変わらないとか、復元処理が適切に行われてさえいれば何も問題はなかった、といわんばかりの議論が噴き出しているのは、私たちの社会がいかに改ざんに甘い社会であるかを如実に示しています。このことが、記事の最後の部分「データ改ざんに甘い社会」の主題です。

問題が発覚した後、厚生労働省の特別監察委員会が調査をおこないました。その結果が1月22日に報告されたのですが、その内容は耳を疑うものでした。監察委員会は、上記のような問題を基本的には事実として認めながら、それらは「改ざん」ではないと結論付けたのです (27ページ)。つまり、調査対象の数を実際より大きく見せかけることも、標本誤差を実際よりも小さく見せかけることも、改ざんではないというのです。この委員会には経済学者などの学識経験者も入っていました。そういうメンバーのいる委員会から、調査の規模を過大に報告したり誤差が過小に出るように数値を加工したりするのは「改ざん」にあたらない、との見解が出てきたのは衝撃的です。

https://wezz-y.com/archives/63479/3

今般の事件で、統計の信頼性が揺らいでいるといった声がメディアにはあふれています。しかし、ここまでデータ改ざんに甘い社会にあって、統計の信頼性だけを云々するのは、すごく滑稽なことです。どんな調査をしたかについては嘘をついてもいいといっておきながら、調査の結果として報告される平均給与などについてだけは、「正しい数値」を報告しろというのですから。

あたりまえのことですが、わからないことがあるから調査しているのです。結果が本当に正しいかどうか (たとえば真の「平均給与」と一致しているか) は究極的にはわかりません。ただ、調査のやりかたや、その途中段階のデータがこまかくわかれば、調査結果のどの辺があやしそうかの見当をつけることができます。あるいは、そういうデータをもとに議論して、現時点でとりあえず信頼できそうな「正解」の範囲について合意を形成する――そしてそのような合意に基づいて、とるべき政策について議論する――ことができます。本来、「統計に対する信頼」とは、このような調査過程に対する批判と議論を地道に積み上げていって、はじめてえられるもののはずです。

個人的な意見としては、毎月勤労統計調査にかぎらず、事業所や世帯などの調査対象数の正確な値を公表していない調査は、全部無効にしてしまうべきと思います。調査のいちばん基本的な資料が隠蔽されているということなのですから。研究上あるいは政策立案上そうしたデータが必要だというなら、歴史的な史料として、報告書などに記載された数値を (史料批判をおこなったうえで) 利用すればよろしい。どうしても政府統計として提供したいというなら、調査の過程をすべて公表することが基本的な姿勢であるべきです。