Nicht alles, was zählt, kann gezählt werden

7. August 2010, Neue Zürcher Zeitung
Nicht alles, was zählt, kann gezählt werden
Ein Plädoyer wider die Magie der Zahlen – und ein Vorschlag zur Forschungsförderung

Zahlen sind unentbehrlich und nützlich, Zahlen können aber auch trügen – etwa solche, die bei der Evaluation von wissenschaftlichen Leistungen ins Spiel kommen. Wie könnte man in der Forschungsförderung dem Unberechenbaren besser Rechnung tragen?

Dimitrios Kolymbas

Es heisst: Wer die Wahl hat, hat die Qual. Denn oft weiss man nicht im Voraus, welche die bessere Wahl ist. Nur selten kommt einem da die Intuition zur Hilfe, wie bei Paris, als er die schönste Göttin auswählte. Eine schlechte Wahl führt nicht nur zu einem schlechten Ergebnis, sondern verbaut auch die Möglichkeit zur besseren Alternative. Darüber hinaus präjudiziert sie künftige Entscheidungen. In seiner Not, die richtige Entscheidung zu treffen, greift der Mensch gerne auf Zahlen zurück, denn sie erwecken den Eindruck der Objektivität, Exaktheit und Berechenbarkeit. Diese suggestive Wirkung der Zahlen wurde bereits von Propheten, Philosophen und Dichtern genutzt, um die Prägnanz ihrer Visionen zu unterstreichen.
Umfragen

Mit dem Aufkommen der Naturwissenschaften ist die Bedeutung von Zahlen gewachsen. War früher die Festigkeit eines Pfeilers allein durch das Gefühl des Baumeisters zu beurteilen, so wurde sie später eine messbare Grösse, die in Zahlen ausgedrückt werden kann. Gewiss sind physikalische Grössen nicht....


7. August 2010, Neue Zürcher Zeitung
Nicht alles, was zählt, kann gezählt werden
Ein Plädoyer wider die Magie der Zahlen – und ein Vorschlag zur Forschungsförderung

Zahlen sind unentbehrlich und nützlich, Zahlen können aber auch trügen – etwa solche, die bei der Evaluation von wissenschaftlichen Leistungen ins Spiel kommen. Wie könnte man in der Forschungsförderung dem Unberechenbaren besser Rechnung tragen?

Dimitrios Kolymbas

Es heisst: Wer die Wahl hat, hat die Qual. Denn oft weiss man nicht im Voraus, welche die bessere Wahl ist. Nur selten kommt einem da die Intuition zur Hilfe, wie bei Paris, als er die schönste Göttin auswählte. Eine schlechte Wahl führt nicht nur zu einem schlechten Ergebnis, sondern verbaut auch die Möglichkeit zur besseren Alternative. Darüber hinaus präjudiziert sie künftige Entscheidungen. In seiner Not, die richtige Entscheidung zu treffen, greift der Mensch gerne auf Zahlen zurück, denn sie erwecken den Eindruck der Objektivität, Exaktheit und Berechenbarkeit. Diese suggestive Wirkung der Zahlen wurde bereits von Propheten, Philosophen und Dichtern genutzt, um die Prägnanz ihrer Visionen zu unterstreichen.
Umfragen

Mit dem Aufkommen der Naturwissenschaften ist die Bedeutung von Zahlen gewachsen. War früher die Festigkeit eines Pfeilers allein durch das Gefühl des Baumeisters zu beurteilen, so wurde sie später eine messbare Grösse, die in Zahlen ausgedrückt werden kann. Gewiss sind physikalische Grössen nicht mit absoluter Genauigkeit zu messen, es gibt immer Messfehler. Eine Wiederholung der Messung ist da hilfreich. Es lässt sich sogar mathematisch zeigen (nach dem sogenannten Gesetz der grossen Zahlen), dass der Mittelwert aus sehr vielen Messungen dem «wahren» Wert desto näher kommt, je mehr Messungen man heranzieht.

Es gibt aber auch Zahlen, die keinen messbaren Grössen entsprechen, wie zum Beispiel die für die Intelligenz eines Menschen und die Sicherheit einer Konstruktion verwendeten, sowie Zahlen, die zur Beantwortung von nicht beantwortbaren Fragen ins Feld geführt werden wie: «Gibt es ein Leben nach dem Tod?» Heutzutage werden solche Fragen einfach durch Umfragen – scheinbar – beantwortet. Je grösser die Anzahl der Befragten ist, desto näher wähnt man sich dem wahren Ergebnis – in einer falschen Auslegung des Gesetzes der grossen Zahlen. Dieses Gesetz greift hier nicht, denn eine Befragung ist keine Messung.

Auch wenn man über die Naivität solcher Untersuchungen und Aussagen schmunzeln mag: Sie werden öfter herangezogen, als man gemeinhin glaubt – und ihr Einfluss ist enorm. Es geht dabei um Bewertungen: Wie gut ist der Student X, wie gut ist das Restaurant Y, wie gut ist die Firma Z? Man muss aber bedenken, dass es auch Güter gibt, deren Wert allein darin besteht, dass sie von möglichst vielen Menschen als «gut» bewertet werden, wie etwa Aktien. Wenn indes der Wert einer Aktie proportional zu ihrer Wertsteigerungsrate ist, so liegt eine positive Rückkopplung vor, und die führt bekanntlich zu einem exponentiellen Wachstum – was aber in unserer endlichen und schnellen Welt recht bald ein Ende findet (in einem Kollaps).

Nun, die Masse der Anleger mag sich irreführen lassen, «Mundus vult decipi». Wie verhalten sich aber politische Entscheidungsträger? Der moderne Staat verteilt immer mehr Subsidien zur Förderung von Kunst, Wissenschaft, Gesundheit, Sport und auch Sicherheit. Um diesen üppigen Kuchen buhlen viele Werber, und es fragt sich, wer wie viel bekommt.

Niedergang und Stromlinienförmigkeit

Betrachten wir die wissenschaftliche Forschung! Forschungsförderer müssen die ihnen anvertrauten Subsidien verteilen. Aber an wen? Ein Beamter im Forschungsministerium dürfte – beispielsweise – in Sachen Astrophysik inkompetent sein und kann daher kaum Forschungsanträge beurteilen. Zumal sich die Forschung auf das noch Unerschlossene, das Unbekannte bezieht. Soll man Kolumbus Geld geben, damit er Amerika entdeckt? Die Aufgabe erscheint als schier unlösbar, und man greift daher auf Umfragen zurück, die in der Sphäre der Forschung «Evaluationen» heissen. Ihr an sich logisches Grundprinzip hat sich in Zeiten der Massenforschung (der «plebiscience» nach Clifford Truesdell) verwässert und artet immer öfter zu einer Farce aus.

Wissenschafter werden – als «peers», als Gleichgestellte und Ebenbürtige – fast täglich aufgefordert, Forschungsanträge, Manuskripte oder gar ganze Fakultäten von Kollegen zu evaluieren. Angesichts der Vielfalt der heutigen Forschung ist es aber nicht selten so, dass man sich in den zu evaluierenden Gebieten kaum auskennt. So mancher Evaluator überträgt diese lästige und zeitraubende Arbeit an junge Doktoranden. Jedenfalls kommen am Ende meist berühmte – und daher bereits üppig geförderte – Wissenschafter zum Zuge. (In dieser «Logik» hätte Kolumbus eine Unterstützung erst bekommen, nachdem er Amerika entdeckt hatte.) Wenn man nämlich ohne Sachkompetenz etwas beurteilen muss, dann verfällt man leicht dem Trugschluss, «Kosten» (lies: Subsidien) mit «Wert» gleichzusetzen, wie Truesdell bemerkt hat.

Gestützt auf trügerische Zahlen, wie zum Beispiel die Höhe des verfügbaren Budgets oder die Anzahl der Divisionen, wurde so mancher Krieg vom Zaun gebrochen, der dem Kriegsherrn bittere Enttäuschung einbrachte. Wohl kam aber noch kein Feldherr auf die Idee, seine Entscheidungen auf Umfragen unter seinen Soldaten zu stützen. Die Niederlage wäre ihm gewiss, genauso wie der Niedergang der Wissenschaft durch die diversen Evaluationen, die Ökonomisierung der Universitäten, die Pflege der «Eliten» und anderes mehr vorgezeichnet ist – nur dass dieser Niedergang viel langsamer eintritt. Daher wähnen sich die Wissenschaftsminister noch im Erfolg und baden zufrieden im Sumpf der diversen Indikatoren, bis es irgendwann einmal zu spät sein wird.

Die auf Umfragen gestützte Wissenschaftsförderung unterstützt erwiesenermassen die mittelmässige und stromlinienförmige Forschung. Es genügt nämlich ein kleiner Einwand eines Gutachters, damit ein Förderungsantrag abgelehnt wird. Diejenigen, welche obskure Mittel wie Evaluationen und Rankings benutzen (und gutes Geld dafür ausgeben), geben vor, deren Schwächen zu kennen – und beharren dennoch darauf, auf sie nicht verzichten zu können: «Man kann jedes Ranking kritisieren, aber man darf es nicht ignorieren.» Die Logik und Konsequenz solcher Aussagen erinnert an einen Alkoholiker, dem man die Schädlichkeit des Trinkens erklärt. Er nickt verständnisvoll – und trinkt weiter.

In der Welt der Zahlen wirken Weisheiten wie «Weniger ist mehr» absurd, dort gilt nur die Forderung nach dem Mehr – eine Forderung, die nach Watzlawick eine Formel des Verderbens bzw. des Unglücklichseins ist. Eine Abhilfe wäre, Entscheidungen weniger auf trügerische Zahlen zu gründen, den vorerwähnten Rückkopplungskreis zu durchbrechen, dem Phantom der Objektivität weniger nachzujagen und mehr Eigenverantwortung zu wagen. Dabei muss man nicht einmal auf Zahlen verzichten; es bieten sich gewissermassen unprätentiöse Zahlen an, die ehrlicher als die wie auch immer begründeten Indikatoren und trügerischen Masszahlen sind. Es sind dies die sogenannten Zufallszahlen. Sie könnten helfen, einzelne Wissenschafter zufällig auszuwählen und zu fördern. Die Kulturgeschichte kennt derlei Auswahlverfahren: Im antiken Athen wurden einige politische Ämter durch Los vergeben.

Das Los entscheidet

Für das Zufallsprinzip sprechen gewichtige Gründe: Wissenschaftliche Theorien durchlaufen eine ähnliche Entwicklung wie biologische Arten. Paradigmenwechsel entstehen in der Wissenschaft zufällig wie Mutationen – und müssen den Kampf gegen Falsifizierung bestehen. Sind sie besser als die Vorgängermodelle, so werden sie überleben und allmählich akzeptiert werden. Dafür ist aber ein Klima nötig, das auch Neulingen Platz an der Sonne lässt. Man denke an die Ursache der Artenvielfalt, wie sie Darwin auf den Galapagosinseln bewundert hat, nämlich günstige Bedingungen für viele. Auch in der Mathematik ist es bekannt, dass «genetische Algorithmen», welche die biologische Evolution nachahmen, indem sie Zufälligkeit zulassen, besser geeignet sind, optimale Konfigurationen zu finden.

Es wäre also durchaus denkbar, möglichst viele Forscher, die ein Mindestmass an Produktivität vorweisen können, nach dem Zufallsprinzip mit (nicht allzu üppigen) Fördermitteln auszustatten. So könnte man Forschungsanträge zunächst nach formalen Kriterien wie Klarheit, Verständlichkeit und Glaubwürdigkeit hinsichtlich der Methoden aussieben (gewiss auf subjektive Weise) und danach durch Los diejenigen auswählen, die gefördert werden sollen. Entscheidungen um der «Objektivität» willen ausschliesslich anhand von zahlenmässigen Indikatoren treffen zu wollen, bedeutet, das Prozedere Automaten zu überlassen – und das ist kontraproduktiv und sogar gefährlich. Es gilt eben: «Not everything that counts can be counted, and not everything that can be counted counts.»

Dimitrios Kolymbas ist ordentlicher Universitätsprofessor und Leiter des Arbeitsbereiches für Geotechnik und Tunnelbau der Universität Innsbruck. Vorletztes Jahr ist bei Springer sein Buch «Tunnelling and Tunnel Mechanics: A Rational Approach to Tunnelling» erschienen.