Sunday, Monday, Tuesday, Wednesday, Thursday, Friday, Saturday, 11-18-2012
US News という雑誌がいろんなランキングを毎年発表する。大学とか大学院とか病院とか。ま、いろいろ。かなり影響力があるランキングだ。うちの癌センターも、僕が働き始めた頃は 15位くらいにランクされていて、2010年までに10位 "10 by 10" というのを目標に掲げていた。いつのまにか 10 by 10 を聞くことはなくなった。最近ランクを見てないなぁ、と思ったら25位から30位のあいだにいるようだ。
このランキングの詳細をよく見てみたのだけど、かなりあやしい。意義は理解できるのだけど、システムとして機能していない。
こんなランキングを気にしなくていい、と言いたいところだけど、だめだめなランキングな割に影響力が大きいので、全く気にしない訳にはいかない。「ヴァンディーの癌センター、昔は15位だったのに今は30位だよ」という見られ方をするので、癌センターのクオリティーは全く変わっていないのに、評判が悪くなってしまう。
キーワードは「評判」 reputation。
--- --- ---
このランキングがどうやって計算されているか、かなりちゃんと報告されている。全てが明白という訳ではないけれど、100ページくらいのリポートを読めば、どういう指標を使ってどんな計算をしているのか、だいたいわかる。
最近のリポート (2012 - 2013) の説明は ここ (pdf)。
5,000くらいの病院のうち、ベッドが100以上とか、いくつかの条件を満たす 2200 くらいの病院がランキングに含まれているようだ。
ランキングは、18の指標に基づいて計算されている。患者の生存期間スコア（0-10）とか、患者の安全スコア（0-3）とか、手術後の出血阻止スコアとか、看護婦と患者の比とか、などなど。こういう指標が18個もある。それぞれについて、どういうデータを集めてどういう計算をしているか、その指標が何を表しているのか、というのが125 ページに渡って説明されている。
癌は12個のカテゴリーのうちのひとつ。心臓科、耳鼻科、婦人科、腎臓科、泌尿器科など、それぞれのランキングが発表されている。僕が見たのは癌だけ。ま、信ぴょう性の無さは他もいっしょだろうけど。
一瞥したら、18もの深慮された指標があるんだから立派なランキングなんだろうと思われがちだ。詳しく見てみた。トップ50の病院について、総合点と18のスコアが発表されている。
18のスコアから総合点をどう計算するかは発表されていない。50ものデータがあるんだから、それは推測できる。単純に回帰解析をしてみた。
すると、18の指標のうち 1つだけで総合点がほぼ決まっていることが判明した。
Y軸が最終的なスコア。トップが100点になるようになっている。X軸がとある指標。相関は 0.96。
さらにこの X と Y の関係を見ると、X の平方根をとれば相関はもっと高いはずだと気づく。X=0 だった３つのデータを除いて Xの平方根とYの相関を計算したら0.99だった。もうほかのデータの入り込む余地はない。
つまり、生存率がどうこうとか、安全スコアがどうこうとか、いろいろいろいろ点数化して計算しているけれど、この指標ひとつだけで総合点、つまり順位がほぼ決まる。他の指標ははっきり言ってどうでもいい。
このグラフによるとトップ5は抜きん出ている。トップ15に入るには団子状態から抜けださなくてはいけない。
この指標が何かというと・・・ reputation。つまり、評判。いろいろ客観的な指標を使っているにも関わらず結局主観的な「評判」だけで順位が決まっていると言っても過言ではない。
そんな訳で、どうやってこの評判スコアが決まっているか見てみた。
医者にアンケートで「あなたの分野で最高の治療を施す病院を5個あげて下さい」と聞く。それがデータだ。過去3年分のデータがカウントされるらしい。
誰にアンケートを送りつけるかは医者目録に登録されている約85万人からランダムに選んでいるらしい。全ての州から選ばれるということだ。
みんながみんなアンケートに答えるという訳ではない。過去三年の応答割合 (response rate) が載っているが、癌の分野は40%というところだ。それで得られた回答数は 74 (2011年）。アメリカ全体で74人。74人の医者がそれぞれ上位5位までの病院を答える。それで、評判スコアが決まる。
--- --- ---
ヴァンディーはこの年（2011年）26位だった。1位だった MD Anderson と比べてみると Survival (生存）スコアは 9-10 で負け、合併症スコアは 2-3 で負けだけど、安全スコア (2-1)、出血阻止スコア (2-1)、看護婦スコア (2.1 - 2.0) では勝っている。ベッドの数 (4178 - 1322) は大きく負けているけど、残りの指標はみんな引き分け。こういうスコアは最終ランキングにほぼ影響なし。評判スコアが MD Anderson が78.9、ヴァンディーが 3.1。これで総合順位が1位と26位だ。MD Anderson の癌センターがトップなことに異論はないけれど、このスコアの付け方であっちが1位、こっちが26位は納得できないよね。
--- --- ---
そんな訳だけど、このランキングはかなり影響力がある。ヴァンディーもまた10代に戻りたいんだと思う。何を変えればいいか？もっとクオリティーの高い治療を提供すればいい、という訳ではない。そこにあまり伸びしろはないし、クオリティーを上げたところで最終ランキングにほぼ影響がない。アンケートに当たった医者が「癌の治療と言えば・・・」と考えた時にヴァンディーを思い浮かべるようにすればいいのだ。そんな訳で、近年ヴァンディーはテレビコマーシャルを全国区で流したり、そういった努力をしている。
癌センターのお偉いさん方に生物統計グループ（僕じゃないけど）がこのランキングの解析を頼まれたのは事実だから、最近のPR戦略に走る一つの要因になっているかもしれない。
--- --- ---
世の中にはいろんなランキングがあふれている。US News とか Buisiness Week だとか、一見ちゃんとしている人がやっていそうな気がする。でも鵜呑みにしてはいけない。少なくとも US News のランキングはどうしようもなく低レベルだ、ということだ。
コメント
いいね!
相変わらず鋭いですね。為になりました。
実はうちのグループがこんな解析をしていることが US News にもばれているらしく、かえって目をつけられているんじゃないかと心配している人がいました。