百醜千拙草

何とかやっています

研究評価とインパクトファクター

2010-07-23 | Weblog
アカデミアでは研究の資金は多くは政府からきており、だからこそその血税に由来する金は有意義に使われるべきであると誰もが考えると思います。しかし、有意義な研究とは何か、有意義な金の使い方とは何か、それを決めるのは困難です。臨床に近くて期待されるものがはっきりしている研究なら意義を言うのは易しいかも知れません。しかし、過去を振り返れば、かつて有意義と評価された研究は、遂行時点ではその研究者自身にもよく意義がわからなかったものの方が多いわけです(たとえばGFPの発見とか)。加えて、研究の意義はそれを評価するものの立場によってかわります。世の中の流行、目前の問題、などなど、結局は人間が各々の立場の様々な価値判断基準に沿って判断することです。

一つの研究の意義そのものを評価することでさえ難しいのに、加えて研究の多様さというものがより問題を複雑にしていると思います。生物学に限ってみても、基礎分子生物の研究と臨床応用に近いような分野の研究を比べて、どちらがより有意義か、と問うことはナンセンスです。リンゴはリンゴと、オレンジはオレンジと比べなければなりません。そうは言っても、結局は限られた税金がソースの研究資金ですから、比べられないものをムリに比べてでも優先順位をつけなければならなくなる場合も多くあります。

そのために論文を数値化し、その数値によって、仕事の質の指標とし、ひいてはそれを以て、職や研究資金の配分を決めるというようなことが従来、行われてきました。このプラクティスは昔から様々な問題を生み、批判されてきていますが、結局、他にもっと良い方法もないというのが実情なのだと思います。この論文至上主義でもっとも悪いのは、インパクトファクターの高い雑誌に論文を載せることがあたかも研究の目的であるかのように錯覚され、それに沿って研究が組まれて、そしてしばしば論文を通すためにウソの解釈なりデータが有名雑誌の紙面に載るということがおこることだと思います。論文が職や研究費に直結しているわけですから、論文を雑誌に載せるために不正を働く連中も出てくるのはむべないところです。7/8/2010号のNature のNatureのNewsでは、盗作の問題に触れてあって、盗作論文を見つけるソフト(CrossCheck)で調べたところ、盗作が載ることで有名な雑誌では最大23%の盗作が見つかってrejectされたという記事があります。これは、論文至上主義が起こした「本末転倒」であるとも言えます。つまり、「何のために研究をするのか」という本来の目的がおろそかにされ、そのための手段(職を得たり研究資金をえたりするために論文を出版する)そのものが目的化してしまっているということだと思います。

この辺は新聞報道やジャーナリズムでも同じ問題があると思います。新聞は売れそうな記事を書きたいわけで、そのためにしばしば事実の曲解、捏造が行われます。文字になった時点で、それは現実世界を取捨選択した抽象となるわけですから、報道やジャーナリズムはどう転んでも、事実をそのまま伝えることはできません。それを如何に中立の立場で事実に基づいた最も妥当と考えられる解釈に至か(解釈しないと文字になりませんから)が本来、報道、ジャーナリズムが忘れてはならない良心です。しかし、売らんがため、記者の欲のため、その良心はしばしば捨てられます。残念なことに研究分野でも同じです。研究費をとって職を得る、喰わんがため、あるいは虚栄心を満たすために、研究者の良心を捨ててしまう人がいます。

今、1982年に出版されたノンフィクション作家、柳田邦男さんの「事実からの発想」という対談集を読んでいます。因みに私は柳田さんの「ガン回廊の朝」を学生時代に読んで感動し、放射線科に進もうかと思った覚えがあります。そのころから私は歴史小説を除いてノンフィクション以外の小説は殆ど読まなくなりました。この本は、柳田さんが他の主にノンフィクションの作家と対談したものです。その対談を読んでみて、ノンフィクション作家と研究者の活動には大変近いものがあるなあ、と改めて思いました。ノンフィクション作家は、膨大な取材をし、その事実を積み上げることによって、事件の全貌、その解釈を提示します。研究も同様です。仮説を立て、実験を行い、多くのデータを吟味して、最も正しいと思われる解釈に行き着く、その時点で初めて論文を書く事が可能になります。正しい解釈のために、多くの取材が必要です。対談の中で沢木耕太郎さんは、ある著書において、「自分の見たものしか書かない」ことを徹底したと言っています。自分の見たものだけで正しい解釈に行き着くには大変な労力がかかります。良心のあるノンフィクション作家は寡作にならざるをえません。「汝の父を敬え」、「汝の隣人の妻」で有名なアメリカのジャーナリスト、Gay Taleseとの対談の中では、タリーズは、「汝の隣人の妻」でもっとも労力が必要だったのは、実名を使って出版しようとしたため、本の登場人物との実名使用の交渉だったと言っています。これがノンフィクション作家の良心というものでしょう。本を出して売れればそれで良いというのなら実名にこだわる必要もないと思います。実名であろうが仮名であろうが本のメッセージに変わりはありません。しかし、それを譲ってしまうとノンフィクションでなくなってしまう、そう考えたのではないでしょうか。研究においてもそうです。事実だけを積み上げて理論なり解釈に至らねばなりません。そのために細部に気を配る必要があります。研究論文でも、論文を読めばそういう目に見えない地道な点を押さえてあるかどうかはわかります。一方、解釈さえ正しければ実験のデータそのものは余り意味がないと考えるような研究者も残念ながら少なくないようです。これが本末転倒と私が呼ぶところのものです。事実を軽んじた解釈には何の価値もありません。その数々の細部を含む事実を積み上げるところに努力が必要で、それがあって初めて解釈が意味を持ちます。

インパクトファクターの話に戻ります。論文の質を見るのに各論文の引用回数を計算したりするわけですけど、これは結構手間です(そもそも、引用されるから良いというわけでもありません)。それで、雑誌のインパクトファクターをそのサロゲートに使うわけです。高いインパクトファクターを持つ雑誌に論文が載れば、よい論文と見なそうというわけです。インパクトファクターも引用回数を元に算出されますから、雑誌社としてもなるべく多くの読者が興味を持つような話題性に富んだトピックを選びたがります。ですので、インパクトファクターの高い雑誌に載ることは必ずしも掲載論文そのものの質を反映はしません。(私の分野などは生物学ではマイナーな分野なので、そもそもそういうハイインパクトファクターの雑誌には余り縁がありませんが) そうは言っても、実際に、インパクトファクターを用いた論文評価の方法は現実的に使用されているわけです。日本では特にこのインパクトファクター崇拝が強いように思います。何年か前、ある教官職に応募した時、論文の載った雑誌のインパクトファクターを計算して足した数を書く欄があって、正直、あきれてしまいました。結局、こういうものに頼らずに研究者の研究の価値を評価できる選考委員は日本には多くないということでしょうか。日本では教官は雑用や教育に忙しく、自分の分野以外の研究を知ったり、理解したりするための時間がないのかも知れません。

7/8日のNatureのCorrespondenceの一つの投稿記事に興味深いことが書いてありました。Acta Crystallographica Aという雑誌の昨年度のインパクトファクターが49.93であったということでした(7300余りの雑誌のうち堂々の第2位です)。Natureでさえ30ぐらいですし、レビュー雑誌でさえ30を越えるのは稀でしょう。この雑誌の名前から想像できるように(Actaがつく雑誌は総じてマイナーで評価が低い傾向にあります)この雑誌のインパクトファクターは過去4年で2.38を越えた事がありません。2009年の49.93というスコアは、どうも2008年に掲載された72本の論文のうちの一本、Sheldrick GMによる”A short history of SHLX”という論文(名前からするとレビューのようです)のよるもののようです。この論文は、なんと、5624回引用されています。因みにこの雑誌の他の論文の引用回数は3以下だそうです。いくらレビューとは言え、5624回も引用されるような論文がこのようなマイナーな雑誌に載るのは希有なことであると思います。そして、日本のようなインパクトファクター至上主義だと、この雑誌にたまたま載った二流論文でも、この一本のスーパー論文のために不適切な過剰評価を受けるということになってしまいます。
コメント (3)    この記事についてブログを書く
  • Twitterでシェアする
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« 敵を間違えるな (reprise) | トップ | 去る人 »
最新の画像もっと見る

3 コメント

コメント日が  古い順  |   新しい順
最強ヒモ生活www (おしゃぶりクソ野郎)
2010-07-24 17:02:25

またまた例のエ ロ セ レ ヴに8万で買ってもらってきた!!
やっぱあのネットリ絡みつくオ ○ ヌ コの味は忘れられねぇわwwww

しかも帰りに高級寿司までオゴってもらったしな!!
マジどんだけ尽くされちゃってんのよオレwwwww
http://3k89g6g.irap.rameee.com/
Unknown (Unknown)
2010-07-26 03:44:57
SHELX、ですね。
X線回折データから結晶構造を計算するソフトウェアの論文(開発の歴史も含んだレビュー)です。
そのため、このソフトを利用して研究した論文には引用される事態となり、引用数が伸びたようです。

レビューと原著論文は別扱いで計算すべきでは (百醜千拙草)
2010-07-27 05:11:49
情報ありがとうございます。やはり、引用回数の計算ではレビューと原著論文は別々にするべきですね。

コメントを投稿

Weblog」カテゴリの最新記事