Wirtschaftswissenschaftsjournalisten schimpfen gerne über die Publikationspraxis in den besten ökonomischen Journalen: der Selektionsprozess sei zum Teil zufällig (stimmt), Papiere mit europäischen Daten oder Fragestellungen hätten es schwerer (stimmt, aber nicht für Econ J oder JEEA, und die sind ebenfalls sehr gut), heterodoxe Ansätze hätten es schwer (stimmt), usw.  Aber eins muss man ökonomischen Spitzenjournalen lassen: ihre Ansprüche an die Qualität der Arbeiten sind sehr hoch.

Martin Spiewak von der ZEIT liefert ein Beispiel, warum das wichtig ist und warum die Entscheidung des Handelsblatt-Rankings für VWL, Zeitschriften wie Science auf eine Stufe mit dem AER oder QJE zu stellen, ein vermutlich aus der Vorliebe für Verhaltensökonomie entstandener, aber dennoch schlechter Scherz ist.

Es geht um eine Studie des Physiknobelpreisträgers Carl Wieman über die Methoden der Uni-Lehre. Er und seine Kollegen lassen zwei Gruppen (die nicht zufällig ausgewählt wurden) in der 12. Woche eines Kurses von unterschiedlichem Personal unterrichten: eine von einem erfahrenen Professor, der eine normale Vorlesung hält, die andere von zwei Wieman-Doktoranden, die allerlei interaktive Techniken der Lehre verwendeten. Die Fragen des Tests am Ende dieser 12. Woche, mit dessen Ergebnissen die Wirkungen geschätzt werden, wurden von den Doktoranden erstellt (ha!), und beim Test erschienen in der Doktorandengruppe 211 Studenten, in der Professorengruppe nur 171. Aus meiner Erfahrung sind es nicht die Besten, die in Vorlesungen gehen und solche nicht verpflichtenden Test mitmachen. Das Ergebnis (Quelle: New York Times):

Lange Rede, kurzer Sinn: die Ergebnisse sind riesig, aber empirisch-methodisch im Prinzip unhaltbar. Publiziert wurde diese Studie in Science. Im AER oder QJE käme sie noch nicht mal am Sekretariat vorbei, geschweige denn am editor. Und auch in den besseren field journals würde sie vermutlich als unzureichende Fallstudie sofort zurück geschickt. Ob es für Education Economics (Handelsblattpunkte: 0.1) reichen würde, kann ich nicht beurteilen.

Was macht man nun daraus? Wie Martin Spiewak die Schlussfolgerung ziehen: Schafft die Vorlesungen ab, weil ja eine Studie eines Nobelpreisträgers gezeigt hat, dass sie nutzlos sind? Ich stimme in der Sache zwar völlig mit ihm überein: die Vorlesung ist in meinen Augen so ziemlich die unsinnigste Form der Unilehre; die passive Aneignung von Wissen, die dadurch gefördert wird, ist bestenfalls unschädlich. Daher würde ich mehr und robuste Forschung auf diesem Gebiet enthusiastisch begrüßen. Aber Wissenschaftsjournalismus muss hier anders aussehen, kritischer, zum Beispiel wie in der New York Times zum gleichen Thema.

Zurück zu den ökonomischen Zeitschriften: sollten Ökonomen dies nicht auch kritisch sehen? Schließlich sind die Ergebnisse von Wieman als Indiz interessant! Das meint zumindest David McKenzie vom Blog “Development Impact” (für Leute mit Interesse an Development Economics ein absoluter Pflichtblog!):

The experience certainly is interesting, and by sharing it, is likely to motivate others to try it – hopefully in experimental trials with many more classes and subjects to learn whether/how this works best. This got me to start thinking about what we miss in Economics by not having a formal outlet to share results like this, … it is hard to argue that we shouldn’t be sharing this information.

Vielleicht hat er Recht, der VWL fehlen in der Tat respektierte Journals, die methodisch zwar löcherige, aber dennoch interessante, stimulierende Papiere veröffentlichen. Dennoch warnt er – völlig zu Recht, wie man am ZEIT-Artikel sehen kann:

Of course, I worry about the media hyping of such a story. … [The title] becomes “It’s not teacher, but method that matters” in the AP, and the public quotes of Professor Wieman are much stronger than those in the article. … I do feel uneasy about having press releases about such a slight study – it may be worth sharing with other educators at this stage to encourage more study, but I’m not sure it meets the bar of being worth broadcasting to the World.

Meine Theorie ist, dass genau hier ein Grund liegt, warum ökonomische Journale nicht sind wie Science und viele andere naturwissenschaftliche Journale: Ergebnisse in ökonomischen Journalen können unmittelbar von einer unzureichend ausgebildeten Öffentlichkeit und Presse missbraucht werden. Wenn, wie in den Naturwissenschaften, hauptsächlich andere Forscher die Adressaten sind, hätte ich auch kein Problem, Papiere vor der Veröffentlichung weniger streng zu prüfen.

So aber entsteht zwangsläufig eine strenge Hierarchie an Journalen, wie wir sie in VWL beobachten und verselbständigt sich. Vielleicht ist dies in VWL einfach nötig.

PS: Herr Spiewak, wenn Sie wirklich gegen Vorlesungen und andere unsinnige Lehrmethoden an der Uni anschreiben wollen (und bitte tun Sie das!), dann bitten Sie doch mal Paul Ramsden um ein Interview…

PPS: Das Handelsblatt-Ranking hat für den deutschen VWL-Standort viel Positives bewirkt, dafür kann man Olaf Storbeck und Kollegen nur dankbar sein. Es enthält aber eben leider auch ein paar Fehler, die man korrigieren sollte, wie die Einstufung von Nature und Science, oder die Selektion von politikwissenschaftlichen Journalen (American Political Science Review 0.6, American Journal of Political Science 0.0? Hab ich was übersehen?). Zumindest umstritten ist die Einstufung des European Economic Review (EER). Zur Information: das EER war früher die Zeitschrift der European Economic Association. In 2003 wurde es umbenannt in Journal of the European Economic Association (JEEA). Das (de facto neue) EER nach 2003 hat also mit dem alten nichts gemein, außer dem Namen, die Reputation ist zum JEEA gewandert:

The EER  is no longer  EEA’s official journal after Jan 1, 2003 and all of the original editors have resigned.   The EEA has created a new association journal: the Journal of the European Economics Association published by MIT Pres, with a distinguished board of editors.

Es ist eben immer ein Problem, wie man mit rein statistischen Methoden (wie das Handelsblatt sie zur Bewertung von Journalen verwendet) solche Fälle behandeln soll, oder ganz neu gegründete Journale wie die American Economic Journals (wo 0.2 Punkte vermutlich zu wenig sind), ganz zu schweigen von Journalen anderer Fachrichtungen. Wenn ich also im Handelsblattranking ein Problem sehe, dann, dass viele an deutschen Unis mangels Erfahrung und eigenen Bewertungskriterien sich zu sehr darauf verlassen.