(Wissenschaftliche) Rankings

Da ich darum gebeten wurde (in der Diskussion zu ‚Zeitschriftenartikel und -ranking erschienen‘) und auch selbst etwas dazu geforscht habe, gehe ich heute allgemeiner auf Rankings, insbesondere wissenschaftliche Rankings, ein. Grundsätzlich kann man alle möglichen Personen wie auch Organisationen und Dinge nach allen möglichen Kriterien ranken. Der Pluragraph liefert z. B. zahlreiche Teilrankings wie dieses zur AfD, wo ich weiterhin auf dem 13. Platz stehe (siehe ‚Über 1.000 Freunde und Pluragraph‘). Über die Zahl der Follower und Likes als Kriterium kann man natürlich streiten. Außerdem zeigt sich hier die Bedeutung des Einbezugs von Personen. Ich kenne AfD-Mitglieder, die einen Platz vor mir hätten, wenn sie denn dort eingetragen wären. Eine ganz andere Art des Rankings ist die Fußballbundesliga, bei der Vereine nach ihren erspielten Punkten gerankt werden. Die Einführung der Drei-Punkte-Regel führte hier zu grundlegenden Veränderungen, insbesondere weil die einzelne Partie dadurch kein Konstantsummenspiel mehr ist, sondern beide Mannschaften zusammen durch den Sieg einer Mannschaft mehr Punkte bekommen als bei einem Unentschieden.

In der Wissenschaft werden vor allem Wissenschaftler, wissenschaftliche Zeitschriften und wissenschaftliche Einrichtungen wie Universitäten gerankt. Dabei geht es in der Regel um Forschungsrankings, weil sich die Lehrleistung bzw. deren Qualität (noch) schwerer messen lässt. Am ehesten kommen studentische Lehrevaluationen zum Einsatz, die aber eher die Beliebtheit der Dozenten als deren fachliche und didaktische Fähigkeiten einschätzen (siehe z. B. „Web-Based Student Evaluations of Professors: The Relations between Perceived Quality, Easiness, and Sexiness“). Es gibt da natürlich Zusammenhänge, doch diese müssen nicht nur positiv sein. Wer immer nur Höchstwerte bei diesen Evaluationen erhält, könnte vermutlich anspruchsvoller sein und (noch) mehr vermitteln, während ganz schlechte Einschätzungen ebenfalls den Lehr- bzw. Lernerfolg beeinträchtigen dürften.

Bei den Forschungsrankings für Wissenschaftler geht es in der Regel um deren gewichtete Publikationen (manchmal auch um Drittmittel, die aber eher ein Input als Output des Forschens sind). Die Gewichte können aus Zeitschriftenrankings stammen (wie beim „Handelsblatt BWL-Ranking 2014 – Beste Forschungsleistung“), wobei es sich dann um Durchschnittswerte handelt (die meisten Artikel selbst in Top-Zeitschriften werden gar nicht oder nur ganz selten zitiert, während auch in weniger angesehenen Zeitschriften einige Artikel viel häufiger zitiert werden) oder direkt berechnet werden, typischerweise über Zitationen, also wie oft die wissenschaftlichen Publikationen eines Autors von anderen zitiert wurden (siehe z. B. „Ein Forschungsleistungsranking auf der Grundlage von Google Scholar“). Idealerweise wird um die Zahl der Koautoren und Selbstzitationen bereinigt, was aber oft nicht der Fall ist. Bei den Zeitschriftenrankings können ebenfalls Zitationen herangezogen werden, um sogenannte Impactfaktoren zu berechnen, etwa die Zahl der Zitationen für alle Artikel der letzten zwei Jahre geteilt durch die Anzahl dieser Artikel (wie beim Social Sciences Citation Index SSCI). Alternativ kann die Reputation der Zeitschriften abgefragt werden wie beim VHB-JOURQUAL. Ein Ranking von Institutionen wird typischerweise über die Bewertung von ihren Wissenschaftlern oder deren Publikationen bestimmt (oder beidem zusammen wie beim Academic Ranking of World Universities der Shanghai Jiao Tong Universität), wobei insbesondere die Berücksichtigung von Größeneffekten ein Problem ist. Wenn z. B. die Werte einfach addiert werden, haben große Institutionen einen großen Vorteil, während ein Durchschnittswert eher kleinere Einrichtungen begünstigen könnte.

Es stellt sich die Frage, wie sinnvoll solche Rankings sind. Im Einzelfall können Zitationen etwas ganz anderes messen als die wissenschaftliche Qualität, wenn z. B. eine Arbeit negativ erwähnt wird. Insgesamt sind jedoch die verschiedenen Indikatoren alle stark miteinander korreliert. Wer viel in hochrangigen Zeitschriften publiziert, wird auch viel zitiert, während das Ansehen von Zeitschriften meistens eng mit ihrem Impactfaktor verknüpft ist. Das Problem sind also nicht die Zitationen an sich, die man als eine Art Währung in der Wissenschaft betrachten kann, sondern Fehler in ihrer Interpretation. So sind die Zitationskulturen in verschiedenen (Teil-)Fächern verschieden und außerdem von der Sprache und Region abhängig. In der Medizin und den Naturwissenschaften sind z. B. die kurzfristigen Impactfaktoren viel höher als in den Sozial- und Geisteswissenschaften, wo auch viel ältere Werke noch zitiert werden. Englische Aufsätze werden eher zitiert als deutschsprachige, wie auch US-Themen von mehr Wissenschaftlern erforscht werden als spezifische Fragen kleinerer Länder. Eine große Gefahr ist deshalb die naive Orientierung an Rankings, ohne solche Unterschiede zu berücksichtigen. Dann werden nur noch ganz bestimmte Wissenschaftler und Forschungsrichtungen gefördert, die international sehr gängig sind.

Eine weitere Frage ist die, wozu man überhaupt detaillierte Rankings über alle Wissenschaftler eines Faches benötigt. Bei Berufungsverfahren genügt es, die konkreten Bewerber in eine Reihenfolge zu bringen, wobei selbst diese nur für die Spitzenplätze wichtig ist. Eine echte Alternative zu Rankings, die alle Wissenschaftler, Zeitschriften oder Institutionen in eine Reihenfolge bringen und dabei fälschlich suggerieren, dass der Unterschied zwischen dem 57. und 58. Platz irgendeine Bedeutung hätte, ist die Bildung von Kategorien, z. B. Akademiker, die studiert haben, Promovierte und Habilitierte bzw. Professoren. Bei den Fachzeitschriften ist vor allem wichtig, ob sie überhaupt wissenschaftlich sind und dann über ein blindes Begutachtungsverfahren verfügen, bei dem die Autoren die Gutachter nicht kennen (früher wurde oft ein doppelt-blindes Verfahren gefordert, bei dem auch die Gutachter die Autoren nicht kennen, was sich aber oft im Kreise echter Experten, die sich untereinander kennen, kaum erfüllen lässt). Bei den Institutionen könnte man z. B. zwischen reinen Forschungseinrichtungen, Universitäten, Fachhochschulen und Berufsakademien unterscheiden. Auch solche Kategorien sind natürlich nicht perfekt. Einzelne Studenten können klüger sein als ihre Professoren, wie auch einzelne Fachhochschulen forschungsaktiver sind als manche Universität. Trotzdem bieten sie eine gewisse Orientierung, was Rankings bestenfalls auch gelingt.

2 Gedanken zu „(Wissenschaftliche) Rankings

  1. Nach diesen Informationen stellt sich doch mehr die Frage, was kommt zu erst, das Ranking oder das zu suchende Ergebnis, nämlich die Fragestellung.

    Beispiel Bundesliga. Wer gewinnt öfter.

    Fragt man jedoch, welcher Verein verfügt über die meisten Gelder, dürfte das Ranking anders aussehen. Wenn man dann die Vereinsgelder in Relation zu Toren oder Siegen setzt, wiederum ein anderes Ranking.

    Genauso das von Ihnen verlinkte Pluragraph Ranking. Wenn man die Twitter Meldungen oder vereinzelten you tube Meldungen, unberücksichtigt läßt und eben nur die von allen angewendeten Meldungsportale nimmt, ergibt sich auch ein anderes Ranking.

    Unterschiedliche Input in einem Ranking output verfälscht also auch.

    Der Ranking Beobachter wird nicht immer hinterfragen, wie kommt ein Rankging zu stande, sondern lediglich die Aussage, Rang xx bewerten.

    Im wissenschaftlichen Bereich ist es mir als interessierten akademischen Laien noch dubioser.

    Die Input Werte sind schon von der Benennung her unbekannt und daher auch die Bedeutung.
    Ob man die diversen Wissenschaften in einem Ranking überhaupt werten sollte, halte ich für bedenklich.

    Spannend wäre es jedoch mal zu erfahren, welche Forschungsgelder die unterschiedlichen Wissenschaften verschlingen, vielleicht auch im Vergleich mit anderen EU Ländern oder der Welt.

    Diese ganze Gender Forschungen stehen ja im kritischen Blick. Was wird da an Geld ausgegeben Wieviele Prof beschäftigen sich mit Gender ? Wieviele mit BWL oder Physik ?

    Kurz formuliert, die akademische Welt mit ihrem verstandenen Bildungsauftrag in einem Ranking, also Vergleich anderer EU Länder oder Wirtschaftsnationen wie China, Shanghai, USA oder Indien wäre schon spannend.

    Als interessierter Bürger mit gemäßigtem Bildungsgrad sind eben solche Blogbeiträge wie von Ihnen Herr Dilger zum Thema Wissenschaft begrenzt verständlich. Ein Ranking könnte also schon helfen notwendige Forderungen für bessere Forschungsmöglichkeiten zu erläutern.
    Dann aber bitte leicht verständlich.

  2. Ein Ranking gibt es schon bei einem Turnir, Regatta oder Rennen. Leicht verständlich, es handelt sich um Wettbewerb und Glück muss man auch haben.
    Ein Ranking gibt es bei Aktien, hier gibt es schon mehrere Kriterien und für Prognosen ist es auch nicht sehr hilfreich.
    Wenn ich lese, dass Herr Steinmeier, Frau Merkel und Herr Schäuble die drei best plazierten deutschen Politiker sind (an einem bestimmten Stichtag etc.), hilft mir es überhaupt nicht eine bestimmte Politik zu verstehen. Menschen sind verückt.
    Ranking der besten deutschen Ökonomen! Ich halte viel von Herrn Sinn und nichts von Herrn Bofinger aber dafür brauche ich kein Ranking.
    Es gibt auch Ranking für Staubsauger etc. Ich glaube ein guter Ruf und eigene Erfahrung sind wichtiger als publizierte Rankings. Ich halte viel von Stanford oder Texas A&M oder Herriott-Watt aber ich weiss Stanford ist wissenschaftlich stärker, anderen sind mehr praxisorientiert, usw.

    Ist es nicht eine Phantomdiskussion? Auch in der Schule oder Militärakademie gibt es Ranking. Leistungen werden verglichen, es wird selektiert. Es gibt seriöse, absurde, Rankings. Ein Ranking suggeriert eine Aussagekraft , einen Qualitatsvergleich. Leider sehr abstrakt und unzuverläsig.

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s