Millenniumsdörfer, Teil II

Nach dem letzten Eintrag zu MDs nun der aktuellere Teil der Diskussion. Michael Clemens and Gabriel Demombynes (via Chris Blattman) haben in einem interessanten Papier die Evaluierung des MD Projektes analysiert. Sie zeigen zunächst, dass eine einfachere vorher/nachher Betrachtung schon simpelsten wissenschaftlichen Kriterien (z.B. einfaches Difference-in-Differences, gibt es dafür ein deutsches Wort?) nicht stand hält. Obwohl sie selbst zugeben, dass ihre Diff-in-Diff Betrachtung selbst höchst zweifelhaft ist.

Dann kritisieren sie die Evaluationsstragtegie des MD Projektes: keine zufällige Auswahl der MDs, keine adäquate Auswahl und Datenerhebung in Konrolldörfern, ein viel zu kurzer Zeithorizont sowie einige technische Aspekte. Sie zeigen zudem, wie eine Evaluierung möglich wäre.

Die Verantwortlichen der MDs (u.a. Jeffrey Sachs) antworten hier. Sie sagen, dass es bei den MDs nicht darum ginge, Einzelinterventionen erneut zu testen, das wäre alles schon gezeigt worden. Der Fokus sei vielmehr auf dem Lernen der Menschen vor Ort. Zudem kritisieren sie die fälschliche Wiedergabe ihrer Evaluation und die simplen Diff-in-Diffs. Allerdings scheinen mir die Argumente der Verantwortlichen eher bemüht. Sie wiederholen, dass die Effekte der Interventionen der MDs allesamt erwiesen wären, und es keine Kontrollgruppen gäbe. Zudem verurteilen sie geradezu, dass Clemens und Demombynes gerne eine Langzeitevaluation hätten, bevor sie ein Projekt wie die MDs hochfahren und auf ein ganzes Land anwenden, oder gar einen Kontinent. Gerade dieser letzte Punkt ist typisch: schon immer glaubten Entwicklungsökonomen und -politiker den Stein der Weisen bereits zu haben, den man nur noch anwenden müsste (siehe z.B. Easterly und Rodrik hier). So hat die Entwicklungshilfe Jahrezehnte verschwendet, um von einer Ideologie und Überzeugung in die andere zu stolpern. Und Sachs und seine Mitstreiter scheinen genau da weiter zu machen.

Chris Blattman hat eine andere Sicht der Dinge: man könne bei den MDs am besten lernen, wie man öffentliche Dienste implementiert und Verbesserungen erzielt, prozedurales Wissen also, das kaum wissenschaftlich ist, aber sehr nützlich, ählich zu Fallstudien.

Ich würde noch ergänzen, dass die MDs ein PR-Projekt sind: sie zeigen Entwicklungsskeptikern, dass es möglich ist, mit Geld etwas zu bewegen (solche Skeptiker gibt es in den USA zu Hauf), sie zeigen aber auch anderen Menschen im betroffenen Land, was alles möglich ist, auch mit weniger Geld. Das hätte Konsequenzen für die Politik und die Beamten des Landes, die noch allzu oft mit Entwicklungsgeldern anstellen, was sie wollen. Trotzdem finde ich, ohne eine vernünftige Kosten-Nutzen-Analyse ist der PR Effekt und das prozedurale Wissen, das man gewinnt, das Geld nicht wert. Da wäre es anderswo besser aufgehoben. Enticklungspolitik aber ist vor allem Politik. Milleniumsdörfer

Wie evaluiert man „Millennium Villages“?

Im Internet hat eine interessante Diskussion um die Millenniumsdörfer (MD) begonnen. Schon vor langer Zeit hatte Chris Blattman in seinem Blog darauf verwiesen, wie schwer es ist, das Millenniumsdorfprojekt zu evaluieren.

In Kürze, das Problem ist, dass wir nicht wissen,

  1. ob diese Dörfer der beste Weg sind, (knappe) Hilfsgelder auszugeben.
  2. ob sich dieses Programm auf ein ganzes Land, oder gar einen ganzen Kontinent ausdehnen lässt.
  3. ob das Gesamtprojekt besser ist als die Summe seiner Teile.

Dies wirklich zu evaluieren, ist schwer bis unmöglich. Der erste Teil betrifft eine Kosten-Nutzen-Analyse, für die man allerdings eine Kontrollgruppe untersuchen müsste und wo die Zuteilung in MDs und Kontrolldörfer zufällig erfolgt. Noch nicht mal eine Kontrollgruppe wird bei den MDs untersucht. Warum bleibt erstmal unklar.

In 2. und 3. wird es noch schwieriger. Wenn ein Projekt in einer kleinen Auswahl Dörfer gut funktioniert, gilt dies auch wenn wir das Programm auf alle Dörfer ausdehnen? Gerade ein Projekt wie die MDs, auf das die Welt schaut, wird die Regierung eines Landes versucht sein, diesem Projekt zum Erfolg zu verhelfen und seine Beamten und Lokalpolitiker entsprechend instruieren. DAS ist dann aber kein Erfolg der MD Initiative, sondern ein politischer Nebeneffekt einer UN Intervention. Dieses Problem ist kaum zu lösen.

Der dritte Punkt ist auch nach Meinung von Blattman die vielleicht interessanteste Frage in der Entwicklungspolitik zur Zeit: gibt es Interaktionen zwischen verschiedenen Maßnahmen? Ist also das MD Projekt größer als die Summe seiner Teile (Landwirtschaft, Bildung, Gesundheit etc.)? Man bräuchte sehr viel Geld, um diese Frage statistisch zufriedenstellend zu beantworten

Möglich wäre also eine Gesamtevaluation nach Punkt eins, aber auch daraus lernt man nicht wirklich viel. Blattman dazu in einem späteren Eintrag:

Also, even if we looked at control villages, and saw an impact, what we would learn from it? “A gazillion dollars in aid and lots of government attention produces good outcomes.” Should this be shocking?

Ich glaube hier ist er zu skeptisch: eine Evaluation würde zumindest eine positive Obergrenze im Sinne einer Kosten-Nutzen-Analyse ergeben, also den bestmöglichen Effekt dieser MDs. Wenn dort schon herauskommt, dass der Effekt bescheiden ist, brauchen wir nicht weiter zu machen. Wenn ein deutlich positiver Effekt gezeigt werden kann, muss man sich klar machen, dass es eine Obergrenze ist — aus oben genannten Gründen.

Das war nur die Einleitung, in einem späteren Eintrag geht es dann um den neuesten Teil der Debatte.

Follow

Get every new post delivered to your Inbox.

Join 54 other followers