Messung und Bewertung von Forschungsleistungen in Österreich

Externes Gutachten von Karl-Heinz Leitner

Version 08. Juni 2013

Austrian Institute of Technology

Donau-City-Strasse 1

1220 Wien

1

1. Einleitung

Das vorliegende Gutachten geht der Frage nach, wie österreichische Universitäten ihre

Forschungsleistungen erfassen, messen und bewerten.

Die Bewertung und Messung von Forschungsleistungen ist vor dem Hintergrund der

Rahmenbedingungen und Instrumente, die der Gesetzgeber mit dem UG 2002 gelegt hat und

das BMWF durch seine aktuelle Politik verfolgt, zu interpretieren. Gemäß UG gibt es folgende

Instrumente, die von besonderer Bedeutung für die Bewertung von Forschungsleistungen sind:

Leistungsvereinbarungen: Mit Hilfe der Leistungsvereinbarungen werden über eine Periode

von drei Jahren Globalbudgets für Universitäten allokiert, deren Höhe an Ziele und Leistungen

gekoppelt ist. 2012 erfolgten die Verhandlungen für die dritte Leistungsvereinbarungsperiode

2013-2015. Für die Forschung ist hier vor allem der Abschnitt B relevant, in dem die

Forschungsleistungen der Universitäten und deren Forschungsschwerpunkte dargestellt werden

und sodann Vorhaben und (möglichst überprüfbare) Ziele definiert werden. Im Abschnitt A

werden Angaben und Ziele zu Personalentwicklung und Qualitätsmanagement gemacht, die

ebenfalls direkt oder indirekt Auswirkungen auf die Art und Weise, wie Forschung bewertet

wird, haben können.

Die wichtigsten Ziele und Themen im Bereich Forschung im Rahmen der letzten

Verhandlungen von Seiten des BMWF waren, i) die Fortführung der Schwerpunkt- und

Profilbildung, ii) die Intensivierung der Kooperationen, iii) der Ausbau der

Internationalisierung, iv) der strategische Ausbau der Forschungsinfrastruktur sowie v) die

weitere (quantitative oder qualitative) Entwicklung der Drittmitteleinwerbung.

Die Bündelung und Ausrichtung der Forschungstätigkeiten auf Forschungsschwerpunkte ist ein

wichtiges und längerfristiges Ziel der Hochschul- und Forschungspolitik. Bereits im Rahmen

der Erstellung der ersten Entwicklungspläne und Leistungsvereinbarungen in den Jahren 2004

und 2005 begannen Universitäten mit der Formulierung von Forschungsschwerpunkten. Die

gesamtuniversitären „Forschungsschwerpunkte“ werden von den Universitäten explizit als

Forschungsschwerpunkte (Bsp. Universität Innsbruck), aber auch als Forschungscluster (Bsp.

Medizinische Universität Wien), Forschungsfelder (Medizinische Universität Graz), oder

Fields of Expertise (Technische Universität Graz) bezeichnet.

Bisherige Analysen und Stellungnahmen zur Umsetzung und Ausgestaltung von

Leistungsvereinbarungen zeigen dabei jedoch, dass Vorhaben und Ziele sehr unterschiedlich

operationalisiert sind und eine nachvollziehbare und objektive Bewertung der Zielerreichung

bzw. tatsächlichen Forschungsleistungen bei vielen Vorhaben und Zielen kaum möglich ist

oder wenig Aussagekraft enthält.1

Zielvereinbarungen: Diese stellen das universitätsinterne Instrument zur Verteilung des

Globalbudgets auf die einzelnen Organisationseinheiten einer Universität (Fakultäten,

Departments, Zentren, Kliniken, etc.) dar. Der Gesetzgeber hat dazu jedoch keine expliziten

Angaben gemacht und schreibt nur in §22 Abs 1, dass es Aufgabe des Rektorates ist, mit den

LeiterInnen der Organisationseinheiten Zielvereinbarungenen abzuschließen. Im Weiteren heißt

1 Vgl. dazu die Stellungnahme durch den Wissenschaftsrat und den Rechnungshof.

2

es sodann, dass die Zielvereinbarung die im Rahmen der Leistungsvereinbarung

gesamtuniversitär eingegangenen Verpflichtungen konkretisieren und ihre Umsetzung

sicherstellen.

Hochschulraumstrukturmittel (vormals Formelbudget): Im Rahmen einer Novelle des UG

wurde im Sommer 2012 das Instrument der Hochschulraum-Strukturmittel (HRSM) eingeführt.

Damit wurde die leistungsorientierte Finanzierung in Form des Formelbudgets durch einen

neuen Allokationsmechanismus abgelöst. Das Formelbudget wurde mit dem UG 2002

eingeführt und für die Finanzierung einer eigenen Budgetkomponente im Zeitraum von 2004-

2012 angewendet. Mit der Anzahl der prüfungsaktiven Studierenden, der Anzahl der

Studienabschlüsse und den Einnahmen aus F&E-Projekten wurden beim Formelbudget drei

Indikatoren verwendet, die in adaptierter Form nun auch beim Verteilungsmodell der

Hochschulraum-Strukturmittel zur Anwendung kommen.2 Neben dem Grundbudget, das

weiterhin auf Basis von Leistungsvereinbarungen definiert wird, werden für die LV-Periode

2013 und 2015 Hochschulraum-Strukturmittel verteilt.

Evaluierungen: Laut § 14 des UG sind österreichische Universitäten zur Durchführung von

Evaluierungen verpflichtet, wobei universitätsinterne Evaluierungen nach Maßgabe der

Satzung regelmäßig durchzuführen sind. Weitere Angaben gibt es von Seiten des UG nicht,

wohl gibt es in Österreich aber eine gängige und gelebte Praxis (inkl. Foren, Arbeitsgruppen,

etc.), die sich an den internationalen Standards orientiert.

Wissensbilanzen: Mit dem UG 2002 wurden österreichische Universitäten dazu verpflichtet,

Wissensbilanzen zu erstellen. Dabei sind mehr als 30 Indikatoren (die durch eine entsprechende

Verordnung genau definiert werden) jährlich auszuweisen, die über die Inputressourcen,

Prozesse und Outputs Auskunft geben. Für die Forschung im besonderen Maße relevant sind

die Kennzahlen zu den Drittmitteln und den Publikationen, liefern diese doch eine mögliche

Basis für die Leistungs- und Zielvereinbarungen. Die Wissensbilanz wird seit ihrer Einführung

kontrovers diskutiert und vielfach kritisiert, steht sie doch bereits von ihrer Begrifflichkeit für

eine quantitative Bewertung von Forschungsleistungen.

Qualitätsmanagement: Neben der Durchführung von regelmäßigen Evaluierungen sind die

Universitäten gemäß UG auch verpflichtet, ein Qualitätsmanagementsystem einzuführen.

Entsprechende Vorhaben werden seitdem auch im Rahmen der Leistungsvereinbarungen

definiert. Qualitätsmanagementsysterme an Universitäten nutzen unterschiedlichste quantitative

und qualitative Verfahren um die Qualität von Forschung und Lehre zu erhöhen.

Rankings und Benchmarking spielen in Österreich bislang eine untergeordnete Rolle. Zwischen

2009-2010 wurde im Rahmen einer Arbeitsgruppe das Thema Benchmarking diskutiert, jedoch

nicht weiter verfolgt. Das BMWF hat jüngst im Rahmen der Leistungsvereinbarung und von

Pilotprojekten das Thema Benchmarking und Rankings mit einigen Universitäten vereinzelt

thematisiert.

Die hier kurz skizzierten Instrumente legen das Korsett für die Bewertung und Steuerung von

Forschung an österreichischen öffentlichen Universitäten. Es kann davon ausgegangen werden,

dass diese Instrumente unterschiedlich ausgestaltet und angewendet werden, zumal der

2 Die Evaluierung der Formelbudget-Verordnung kam in diesem Zusammenhang zum Ergebnis, dass die

verwendete Formel zu komplex und damit auch intransparent sei.

3

Gesetzgeber (UG) den Universitäten einen Gestaltungsspielraum gewährt (Bsp. bei

Evaluierungen oder der internen Allokation der Budgets). Im Rahmen des vorliegenden

Gutachtens wird an Hand von ausgewählten Universitäten untersucht, was die gelebte Praxis an

österreichischen Universitäten ist.

Strategie- und Profilbildung ist ein wichtiges Ziel, deshalb ist auch von Interesse, in welchem

Ausmaß und wie Forschungsschwerpunkte mit Hilfe von unterschiedlichen Instrumenten und

Möglichkeiten bewertet werden.

Im Fokus dieses Gutachtens steht die Darstellung der Praxis an österreichischen Universitäten.

Die vielfach in der Literatur dokumentierten Vor- und Nachteile von qualitativen und

quantitativen Verfahren werden hier nicht näher diskutiert.3 Auf die Frage der Bewertung der

Geistes- und Sozialwissenschaften wird hier im Besonderen eingegangen.

Die Studie basiert auf der Analyse von Unterlagen der Universitäten (Leistungsvereinbarungen,

Zielvereinbarungen, Satzungen), auf Ergebnissen früherer Studien durch den Autor4 sowie

Interviews mit VertreterInnen der Universitäten, wobei hier vor allem mit MitarbeiterInnen aus

dem Rektorat, die für Zielvereinbarung, Forschungsdokumentation, Qualitätsmanagement und

Evaluierung zuständig sind, Interviews geführt wurden. Ausgewählt für eine vertiefende

Analyse wurden die Volluniversitäten Wien, Innsbruck, Graz und Salzburg (diese haben

jeweils auch geisteswissenschaftliche Fakultäten) sowie die TU Graz als Vertreter eine

technischen Universität sowie die Medizinische Universität Innsbruck als Repräsentant der

medizinischen Universitäten. Nicht näher eingegangen wurde auf die Kunstuniversitäten.

2. Messung und Bewertung der Forschungsleistung an österreichischen

Universitäten

Im Folgenden wird die Praxis der Bewertung von Forschungsleistungen an ausgewählten

österreichischen Universitäten untersucht. Vor dem Hintergrund der oben angeführten

Rahmenbedingungen wird dabei jeweils auf folgende Themen eingegangen:

Leistungs- und Zielvereinbarungen

Evaluierung

Wissensbilanz

Rankings

3 Für eine Diskussion siehe z.B: Wissenschaftsrat (2011): Empfehlungen zur Bewertung und Steuerung von

Forschungsleistung. Drs. 1656-11. Köln: WR; Bittner, S., Hornbostel, S. und Scholze, F. (Eds.) (2012):

Forschungsinformation in Deutschland: Anforderungen, Stand und Nutzen existierender

Forschungsinformationssysteme. Workshop Forschungsinformationssysteme 2011. iFQ-Working Paper No.10.

Berlin. 4 Vgl. Heller-Schuh, B., Leitner, K-H. (2012): Ergebnisse der Forschungsinfrastrukturerhebung an Universitäten

im Kontext der Leistungsvereinbarungen 2013-2015, Auftragsprojekt für das Bundesministerium für Wissenschaft

und Forschung, AIT-F&PD-Report, Vol. 61, August, Wien

4

2.1. Universität Wien

Die größte Universität Österreichs mit einer großen fachlichen Breite setzt universitätsintern

folgende Instrumente zur Messung und Bewertung von Forschungsleistungen ein:

Leistungs- und Zielvereinbarungen

In der aktuellen Leistungsvereinbarung werden im Bereich Forschung unter anderem Vorhaben

und Ziele im Zusammenhang mit der Ausbildung von DoktorandInnen, der Akquisition von

EU-Forschungsprojekten sowie der Weiterführung und Stärkung der Forschungsplattformen

definiert. Die Universität Wien hat Forschungsschwerpunkte auf Ebene der Fakultäten definiert

und insgesamt 19 Forschungsplattformen etabliert, die fakultätsübergreifend bzw.

interdisziplinär ausgerichtet sind. Quantitative Ziele in Bezug auf den Forschungsoutput oder

die Entwicklung einzelner Fakultäten oder Disziplinen werden in der Leistungsvereinbarung

nicht definiert.

Zielvereinbarungen werden mit allen Fakultäten abgeschlossen. Für die Zielvereinbarungen

gibt es innerhalb der Universität Wien eine Vorlage (inkl. Fragen, die zu beantworten sind), die

ähnlich strukturiert ist wie die Leistungsvereinbarung und Ziele und Vorhaben im Bereich

Forschung, Lehre und Personal vorsieht. Bei allen Zielvereinbarungen wird standardmäßig ein

Set an Indikatoren verwendet, die zu einem Teil auf den Wissensbilanz-Kennzahlen beruhen

und zentral aufbereitet werden.

Zusätzlich werden noch einige spezifische und weiter differenzierte Kennzahlen ausgewiesen,

vor allem um die Qualität des Forschungsoutputs besser abzubilden. Unter anderem werden die

Publikationen im Hinblick auf die Mehrsprachigkeit ausgewertet, denn so ist es gerade in den

Geistes- und Kulturwissenschaften häufig wichtig, in einer spezifischen Sprache zu publizieren.

Darüber hinaus ist die Universitätsleitung bestrebt, die Qualität der Publikationen für die

unterschiedlichen Fachbereiche zu bewerten. Gemeinsam mit den Fakultäten wurde hier ein

Ranking wichtiger Publikationsmedien vorgenommen. Während dies in der Physik oder

Volkswirtschaft einfacher ist, stellt es in den Geisteswissenschaften größere Herausforderungen

dar. In der Vergangenheit hat man hier beispielsweise die ERIH (European Reference Index for

the Humanities)-Listen der ESF genutzt (wenngleich hier noch keine allgemein akzeptierte

Vorgehensweise gefunden wurde und diese derzeit bis auf weiteres nicht mehr genutzt

werden). Was Monographien betrifft, wird versucht weiter zu differenzieren, welche Qualität

die Verlage haben (Lektorat, Reviewprozess etc.). Open Access ist ebenfalls ein Thema in den

Zielvereinbarungen (auch der Anteil der Open Access Publikationen), mit dem versucht wird,

eine Qualitätssteigerung voranzutreiben. Bei den Vorträgen versucht die Universität Wien

ebenfalls differenziert die Qualität zu bestimmen, in dem beispielsweise der Anteil der Key

Notes und dgl. separat ausgewiesen wird. Bei Postern wird zwischen der Kategorie national

und international differenziert. Die Drittmittel werden ebenfalls differenziert ausgewiesen.

Insgesamt ist ein übergeordnetes Ziel, im Rahmen der Darstellung des Publikationsoutputs die

Anzahl der peer reviewed Publikationen zu erhöhen bzw. das Niveau zu halten

(Qualitätssteigerung). Daneben ist der Ausbau der Drittmittel für alle Fakultäten – nach

Maßgabe ihrer Möglichkeiten – ein wichtiges Ziel, auch hier werden Vorgaben für jede

Organisationseinheit definiert.

5

Neben Vorgaben, die sich direkt aus den Leistungsvereinbarungen ableiten lassen, sind Ziele

und Schwerpunkte, die sich aus dem Entwicklungsplan ergeben, wesentlicher Input für die

Gestaltung der Zielvereinbarungen, die an der Universität aktuell für zwei Jahre (in der

Vergangenheit für ein Jahr) definiert werden. Im Fokus stehen hier vor allem die Berufungen

bzw. Widmungen, die wesentlich die inhaltliche Ausrichtung zum Ausdruck bringen.

Evaluierungen

Evaluierungen werden alle 5 Jahre auf Ebene der Fakultäten durchgeführt. Hier wird, wie bei

allen anderen hier untersuchten Universitäten, zunächst ein Selbstevaluierungsreport von Seiten

der WissenschaftlerInnen verfasst, der sodann an die Peers geht. Auch für die Durchführung

von Evaluierungen gibt es einen standardisierten Vorlage samt Fragen sowie auch einen

standardisierten Kennzahlen-Anhang (Personal, Drittmittel, Publikationen). Dieser Leitfaden

wird in einem gewissen Umfang auch auf für Spezifika der einzelnen Fakultäten adaptiert

(Umfang, Kennzahlen). Bei den Fakultäten, bei denen die Daten in ausreichender Qualität zur

Verfügung stehen (vor allem Naturwissenschaften) fließen auch bibliometrische Analysen ein

(hier erfolgt eine Analyse im internationalen Vergleich, es wird jedoch keine Reihung auf Basis

von Hirsch-Indices oder dgl. durchgeführt). Bei den Geisteswissenschaften ist die Universität

Wien sehr stark eingeschränkt, was die Möglichkeiten und Aussagekraft von Indikatoren

betrifft. Die Frage nach der Nennung der zehn wichtigsten Publikationen soll die

WissenschaftlerInnen und Peers bei ihrer Bewertung unterstützen.

Die Erkenntnisse aus den Evaluierungen fließen nach Angaben des Qualitätsmanagers der

Universität Wien wiederum in die Zielvereinbarungen der Universität ein. Wenngleich hier

unterschiedliche Zyklen (Leistungsvereinbarungen: 4 Jahre, Zielvereinbarungen: 2 Jahre,

Evaluierungen: 5 Jahre) vorliegen, wird hierin kein grundsätzliches Problem gesehen, haben

doch Empfehlungen von Seiten der Gutachter häufig einen längerfristigen Horizont (Bsp.

Ausbau von Professuren).

Forschungsplattformen werden auf Antrag eingerichtet, wozu es alle 2 Jahre Ausschreibungen

gibt. Es gibt sodann eine erste Evaluierung des Antrags und bei Bewilligung nach drei Jahren

eine Zwischenevaluierung. Ist diese positiv, werden die Plattformen um drei Jahre verlängert

und weiter ko-finanziert. Im Weiteren werden sie als Forschungszentrum an einer Fakultät

verankert.

An der Universität Wien werden überdies auch im Rahmen von Neuberufungen und auf

Wunsch der Berufungskommission bibliometrische Analysen der BewerberInnen durchgeführt.

Wissensbilanz

Die Universität Wien nutzt Wissensbilanz-Kennzahlen im Rahmen von Evaluierungen und

Zielvereinbarungen. Wie oben angeführt werden zusätzlich noch weitere differenziertere

Indikatoren erhoben.

Rankings und Benchmarking

Derzeit spielen Rankings oder Benchmarking keine direkte Rolle für die Bewertung und

Steuerung der Forschung. Gegenwärtig wird jedoch an der Universität Wien diskutiert, sich am

U-Muli-Ranking der Europäischen Union zu beteiligen. Aus Sicht der Universität Wien ist es

6

dabei wichtig, dass Benchmarking und Rankings vor allem auf Ebene der Fachgebiete

durchgeführt werden.

Zusammenfassung

Einige Befunde können an dieser Stelle kurz zusammengefasst werden:

Die Methode der Bewertung von Forschungsleistung im Rahmen von Evaluierungen wird

von der Universität Wien als informed peer review bezeichnet.

Im Allgemeinen wird konstatiert, dass im Rahmen der Evaluierungen stärker auf die

Fachspezifika eingegangen wird bzw. werden kann, während die Zielvereinbarungen

weniger Spielraum bieten, Unterschiede zwischen den Disziplinen zu berücksichtigen

(trotz des oben angeführten Versuchs, Qualitäten bei den Outputs differenziert

darzustellen).

Was die Geisteswissenschaften betrifft, wird bekräftigt, dass die Leistungen hier schwerer

zu erfassen und zu messen sind, gleichzeitig wird aber auch hier versucht, etwa durch die

Definition der Publikationsorgane (Bsp. Monographien in angesehenen Fachverlagen

anstelle von Eigenverlagen) die Qualität zu messen und damit zu erhöhen (indirekte

Wirkung). Mit internationalen Rankings von Publikationsmedien wurde hier auch

experimentiert, jedoch konnte bislang noch kein Konsens erzielt werden.

2.2. Universität Innsbruck

Die Praxis der Bewertung und Messung von Forschungsleistungen zeigt sich an der

zweitgrößten Volluniversität Österreichs wie folgt:

Leistungs- und Zielvereinbarungen

Die aktuelle Leistungsvereinbarung zwischen der Universität Innsbruck und dem BMWF

versucht vergleichsweise viele Ziele zu einzelnen Outputs zu quantifizieren und deren

Zielerreichung nachvollziehbar messbar zu machen. Als eine der wenigen Universitäten (auch

die medizinischen können in diesem Zusammenhang angeführt werden) werden hier Ziele für

den Publikationsoutput und von Co-Publikationen explizit ausgewiesen.

Die Zielvereinbarung ist ähnlich aufgebaut wie die Leistungsvereinbarung und beschreibt Ziele

im Bereich Forschung, Lehre, Personal und Forschungsinfrastruktur. Insgesamt ist man

bestrebt, in den aktuellen Zielvereinbarungen weniger aber dafür sehr spezifische Ziele und

Vorhaben zu definieren.

Im Prozess der Verhandlung der Zielvereinbarung gibt es dabei sowohl von Seiten des

Rektorats gewisse Zielvorstellungen und Vorgaben als auch von Fakultätsseite. Dabei werden

sowohl qualitative als auch quantitative Vorgaben bzw. Ziele definiert. Dies reicht von einer

Steigerung der Web of Science Publikationen bis hin zu Vorhaben wie der Errichtung eines

„Hauses der Physik“. Dabei wird es als wichtig erachtet, auf die unterschiedlichen Disziplinen

einzugehen: so wird etwa bei der Verhandlung mit den Architekten der Schwerpunkt nicht auf

der Erhöhung der Web of Science Publikationen gelegt, da dies dort weder möglich noch

Kultur ist, im Gegensatz dazu kommt von den Physikern häufig selbst der Impuls, bestimmte

7

Publikationen in ausgewählten Top-Zeitschriften zu platzieren. Damit versucht man realistische

und der Wissenschaftskultur angemessene Ziele für jede einzelne Fakultät zu definieren.

Evaluierungen

In den letzten Jahren wurden alle Fakultäten der Universität Innsbruck evaluiert. Für die

Evaluierung der Forschung gibt es dazu eine spezifische Evaluierungsverordnung.5 Evaluierung

dient dabei gemäß der Satzung der „Qualitätssicherung und Qualitätsverbesserung der an der

Universität Innsbruck verfolgten Ziele und Kernaufgaben.“ Dabei wird unter §5, Abs. 1 zu den

Grundlagen und Maßstäben der Evaluierung angeführt: „Grundlagen der Evaluierung sind die

Forschungsleistungsdokumentation, die Kennzahlen für das universitäre Berichtswesen und

weitere geeignete Kennzahlen, der Selbstbericht und Gutachten interner sowie externer

Fachleute, einschließlich der Studierenden.“ In § 6, Abs.1 zu den Kriterien der Evaluierung

wird definiert: „Die Evaluierung der Leistungen in der Forschung hat festzustellen, ob die

Leistungen im Hinblick auf die in § 5 genannten Maßstäbe erreicht worden sind. Dabei sind

unter anderem die folgenden Kriterien zu berücksichtigen:

1. wissenschaftliche Publikationen,

2. wissenschaftliche Vorträge,

3. wissenschaftliche Projekte,

4. Leistungen für die Scientific Community.“

Den Kern der Evaluierung bildet ein Selbstbericht, der eine Auflistung der Leistungen zu

enthalten hat, die auch in universitären Datenbanken abrufbar sind. Dieser Selbstbericht wird

sodann von mindestens zwei extern bestellten Gutachtern bewertet. Evaluierungen sind gemäß

Satzung alle fünf Jahre durchzuführen. Gegenstand der Evaluierung sind dabei sowohl die

Organisationseinheiten gemäß Organisationsplan wie auch Professoren, Dozenten und

wissenschaftliche Mitarbeiter.

Evaluierungen von Fakultäten und Personen starten immer mit einem Selbstbericht, bei dem

Kennzahlen eine fixer Bestandteil sind, welche von der Forschungsinformationsstelle geliefert

werden. Die quantitativen Kenngrößen stehen bei den Selbstberichten jedoch nicht im

Mittelpunkt sondern stellen nach Angaben des befragten Vertreters der Universität eine

Ergänzung dar, - in diesem Sinn kann hier von der Praxis eines informed peer review

gesprochen werden. Im Selbstbericht ist jede Fakultät gefordert, sich darzustellen. Die

Forschungsinformationsstelle liefert dazu ein Basis-Set von Kennzahlen, auf Wunsch werden

auch avanciertere Analysen wie H-Indices, Zitationsraten, und dgl. durchgeführt. Wenngleich

es einen Leitfaden gibt, steht die Gestaltung des Selbstreports den Fakultäten weitgehend offen.

Nach Angaben des befragten Vertreters der Universität Innsbruck unterscheiden sich die

Selbstberichte sehr stark und reflektieren die unterschiedlichen Wissenschaftsdisziplinen (z.B.

eher qualitativ bis hin zu quantitativ mit H-Indices für jedes Institut, oder Darstellung der Top-

Publikationen jedes Wissenschaftlers). Kenngrößen werden dabei auch als etwas gesehen, dass

den Gutachtern wichtige Rahmeninformationen liefern. Die Möglichkeiten der

Selbstdarstellung sind damit sehr groß, und es ist dann die Aufgabe der Gutachter, dies im

jeweiligen wissenschaftlichen Kontext zu bewerten.

5 Mitteilungsblatt 15 June 2011, Satzungsteil Evaluierung gemäß § 19 Abs 2 Z 3 Universitätsgesetz 2002.

8

Neben den Fakultäten werden an der Uni Innsbruck auch die Forschungsschwerpunkte,

Forschungsplattformen und Forschungszentren evaluiert. Die Kriterien für die Bewertung sind

laut Universität (nicht in der Satzung definiert):

1. Exzellenz (das wichtigste Kriterium, verwendet werden Publikationen, Vorträge,

Dissertationen, Habilitationen)

2. Internationalität (Fragen und Kriterien wie EU-Mittel, Konferenzen, Publikationen,

Forschungskooperationen, etc. hier werden auch Fragebögen verwendet)

3. Kohärenz (Fragen nach der Vernetzung der beteiligten Forscher innerhalb der Uni; es

werden Drittmittelprojekte von Habilitierten bewertet und in welchen Ausmaß

fächerübergreifend Projekte durchgeführt werden; Basis ist die Personaldatenbank der

Uni)

4. Drittmittel (=Summe der eingeworbenen Drittmittel)

Die Faktoren Exzellenz, Kohärenz und Drittmittel werden ausschließlich quantitativ bewertet,

Internationalität tlw. auch qualitativ.

Bei der Bewertung der Forschungsschwerpunkte (es gibt sowohl naturwissenschaftliche und

technische als auch sozial- und geisteswissenschaftliche) wird seit 2012 bewusst ein

einheitliches Raster verwendet. Universitätsintern war die Devise dabei: „Wir belohnen Web of

Science Publikationen“. Wie zu erwarten, gab es hier die Rückmeldung, dass dies in den

Geistes- und Sozialwissenschaften problematisch sei, da hier die Publikationsmedien kaum

vorhanden sind. Von Seiten des Forschungsmanagements wurde darauf reagiert, indem

möglichst viele unterschiedliche Publikationsformen berücksichtigt wurden, wobei

unterschiedliche Medien verschieden gewichtet werden. Es gibt Beiträge im Web of Science,

Beiträge in Sammelwerken (inkl. Kunstkatalogen), Bücher und sonstige wissenschaftliche

Beiträge.6 Diese werden mit den Faktoren 2, 1 und 0,5 gewichtet und machen insgesamt rund

25% des Faktors Exzellenz aus. In einer ähnlichen Weise wurden auch die Vorträge gewertet.

Auch hier wurden unterschiedliche Typen klassifiziert und gewichtet (Bsp. Key Note auf einer

internationalen Konferenz, Nationale Tagung, etc.). Sämtliche Daten werden aus der internen

Forschungsdokumentationsdatenbank gezogen.

Bemerkenswert ist der Umstand, dass die Nutzung eines einheitlichen Bewertungssystems und

die starke Quantifizierung vor allem damit begründet wird, dass man nur dadurch eine

Gesamtsicht auf die sehr heterogenen Felder erhalten kann. Als Beispiel wird hier der

Forschungsschwerpunkt Alpiner Raum angeführt, bei dem Historiker, Biologen, Geologen,

Soziologen und dgl. kooperieren.

An der Uni Innsbruck wurde auch diskutiert, die Forschungsschwerpunkte ähnlich wie die

Evaluierung der Fakultäten auf Basis eines Peer-Reviews zu evaluieren. Auf Grund der starken

Heterogenität ihrer Ausrichtung hätte die Universität Innsbruck nach eigenen Angaben eine zu

große Anzahl von Peers pro Forschungsschwerpunkt bestellen müssen. Das wäre vom

Aufwand nicht machbar gewesen, weshalb man sich auf eine quantitative Methode geeinigt hat.

6 Diese Verteilung war ein Kompromissvorschlag, denn ursprünglich wollte das Rektorat eine höhere Bewertung

der Web of Science Beiträge. Es wurden jedoch im Vorfeld Modellrechnungen durchgeführt, die gezeigt haben,

dass die Naturwissenschaften stark gewonnen hätten, weshalb Zeitschriftenbeiträge und Buchbeiträge letztlich

gleich gewertet wurden.

9

Der Bewertungsraster wird aber durchaus unterschiedlich interpretiert bzw. es wird auf

unterschiedliche Parameter fokussiert. So spielt etwa die Drittmittelquote in den

Naturwissenschaften eine größere Rolle als in den Geisteswissenschaften oder der Architektur.

„Man hat zwar den gleichen Rahmen abgesteckt, aber man schaut sich jeden Schwerpunkt

etwas anders an“, so der interviewte Mitarbeiter der Universität. Es gab auch Versuche, auf

Ebene der Forschungsschwerpunkte die Top 5 Publikationen auszuwählen: darauf konnten sich

aber die WissenschaftlerInnen nicht einigen, weshalb diese Idee schnell wieder verworfen

wurde.

Wissensbilanz

Die Universität Innsbruck hat die Wissensbilanz und den Aufbau einer zentralen Datenbank zur

effizienten und effektiven Erhebung und Analyse der Kennzahlen mit großem Engagement

betrieben mit dem Ziel, nicht nur den gesetzlichen Verpflichtungen nachzukommen sondern die

Kennzahlen für die interne Steuerung zu nutzen. Organisatorisch ist die Stabstelle für

„Forschungsinfrastruktur und Wissensbilanz“ für die Bewertung der Forschungsleistungen

verantwortlich. Die möglichst umfassende und vollständige Erfassung und Dokumentation der

Forschungsleistungen (vor allem Publikationen) ist dabei eine Kernaufgabe.

Rankings

Die Universitätsleitung analysiert auch die Position der Universität Innsbruck in Rankings

(auch im Vergleich mit anderen österreichischen Universitäten), wobei, wenn möglich, die

Position in einzelnen Fachbereichen berücksichtigt wird.

Eine echte Steuerungsfunktion wird Rankings jedoch nicht beigemessen, zum einen da höchst

unterschiedliche Kennzahlen in diversen Rankings verwendet werden, zum anderen da die

Kenngrößen schwer beeinflussbar sind, wenn man etwa an die Zahl der Studierenden und das

Betreuungsverhältnis denkt. Bei Entscheidungen zu Berufungen, Studienprogrammen und dgl.

wird folglich nicht auf das mögliche Abschneiden in Rankings Bedacht genommen.

Zusammenfassung

Die Universität Innsbruck hat derzeit ein stark von Naturwissenschaftlern dominiertes

Rektorenteam, was zu einem gewissen Ausmaß die aktuell vergleichsweise starke

Orientierung auf Kenngrößen und quantitative Bewertungsmethoden erklärt.

An der Universität Innsbruck wird die Messung und Bewertung von Forschungsleistungen

weitgehend nach Kriterien, wie sie durch Leistungsvereinbarung und Wissensbilanz und

damit vom Gesetzgeber vorgegeben sind. Die wichtigsten Kriterien zur Beurteilung der

Forschungsleistungen innerhalb der Universität (Fakultäten und Institute) sind Drittmittel

und Publikationen, letztere wie oben angeführt noch weiter differenziert und gewichtet.

Die Notwendigkeit einer relativ starken Quantifizierung wird an der Universität auch damit

begründet, sich nach außen bzw. in der Leistungsvereinbarung gesamthaft als Organisation

darzustellen, wie auch ein Vertreter der Universität Innsbruck bekundet: „Wie sollte man

eine 16 Fakultäten umfassende Universität adäquat darstellen, wenn man nicht irgend

welche Kenngrößen verwendet? Man muss dann einfach darstellen, welche Drittmittel die

gesamte Uni einwirbt, wie viele Studierende sie hat und dgl.“

10

Insgesamt hat die Quantifizierung und Nutzung von Indikatoren in der Bewertung von

Forschungsleistungen nach Einschätzung der Universität Innsbruck in den letzten Jahren

zugenommen. Die Ausgestaltung der Zielvereinbarungen dokumentiert diese Entwicklung.

So gibt es in den aktuellen Zielvereinbarungen mit jeder Fakultät die Vorgabe, dass - im

Rahmen ihrer Möglichkeiten - eine Steigerung der Web of Science Publikationen

angestrebt werden sollte. Das wäre nach Angaben des befragten Vertreters der Universität

Innsbruck vor 10 Jahren noch nicht möglich gewesen. Wenngleich die Rolle von

Indikatoren zugenommen hat, wird besonders bei Evaluierungen darauf geachtet, dass

diese komplementär zu einer qualitativen Bewertung von Forschungsleistungen verwendet

werden, - ganz im Sinne eines informed peer review.

Die Universität Innsbruck hat mit der Wissensbilanz und einer zentral organisierten

Datenbank für Forschungsdokumentation, die den Qualitätsstandards entspricht, eine sehr

gute Datenbasis. Diese erklärt auch, warum die Universität Innsbruck die interne Praxis der

Steuerung und Bewertung von Forschung ein Stück quantitativer als an anderen

Universitäten betrachtet.

2.3. Universität Graz

Die Praxis der Bewertung und Messung von Forschungsleistungen an der Universität Graz

kann wie folgt beschrieben werden:

Leistungs- und Zielvereinbarungen

Gemeinsam mit den medizinischen Universitäten ist die Universität Graz diejenige Universität,

die Forschungsoutput in Form der Anzahl der Publikationen, differenziert nach

Wissenschaftsdisziplinen, in der Leistungsvereinbarung besonders stark quantifiziert. Darüber

hinaus führt die Uni Graz auch ein explizites Ziel an, was die Drittmitteleinnahmen betrifft.

Die Universität Graz formuliert umfangreiche Zielvereinbarungen mit den einzelnen

Fakultäten, die teilweise im Internet abrufbar sind und somit auch der Öffentlichkeit zugänglich

sind, was den Wunsch nach Transparenz widerspiegelt.

Im Rahmen der Verhandlungen zu den Zielvereinbarungen gibt es intensive und kontroverse

Diskussionen mit allen Fakultäten über die unterschiedlichen Zielsetzungen und die Bewertung

und Gewichtung der Forschungsleistungen. Die Frage, in welchen Publikationsorganen

(Qualität) wie viel publiziert wird (Quantität) steht bei allen Verhandlungen an der

Tagesordnung. Insgesamt versucht auch hier das Rektorat in Richtung hochwertigere Organe

zu gehen, bei Büchern etwa weg von Eigenverlagen hin in Richtung Fachverlage. Die Priorität

liegt aktuell im Anheben der Qualität, dies heißt, dass Ziele in Bezug auf die Quantität derzeit

zurückhaltend formuliert werden, was selbst eine Reduktion des Outputs bedeuten kann.

Der Anstieg der Drittmittel ist ebenfalls ein in jeder Zielvereinbarung ausverhandeltes Ziel.

Wie zu erwarten, sind die Möglichkeiten für die Geistes- und Sozialwissenschaften hier

eingeschränkt, was auch entsprechend Berücksichtigung findet. Erste Versuche, die

Transferleistungen der Geisteswissenschaften expliziter darzustellen und wenn möglich zu

messen, konnten bislang nicht realisiert werden.

11

Indikatoren spielen in der Zielvereinbarung insgesamt eine relativ große Rolle, um die

Zielerreichung letztlich auch besser messbar zu machen. Diese werden auf Ebene der einzelnen

Wissenschaftsdisziplinen und teilweise bis auf Institutsebene differenziert definiert.

Mittelfristig kann man sich vorstellen, Ziele bis auf Ebene der MitarbeiterInnen runter zu

brechen. Während also der Publikationsoutput bereits quantifiziert wird, werden an der

Universität Graz keine Vorgaben im Hinblick auf Zitationen oder Impactfaktoren durchgeführt.

Die Berücksichtigung der Fachkulturen – an der Uni Graz Naturwissenschaften,

Geisteswissenschaften sowie Rechts-, Sozial- und Wirtschaftswissenschaften ist ein

permanentes Spannungsfeld. Bei der Definition der Zielwerte wird auf unterschiedliche

Besonderheiten der einzelnen Fakultäten und Fachdisziplinen weitgehend eingegangen,

wenngleich der Trend, dass auch in den Geisteswissenschaften verstärkt in Zeitschriften

publiziert wird ein starker ist; dieser wird von Seiten des Rektorats gefördert, von Seiten der

WissenschaftlerInnen unterschiedlich aufgenommen.

Ein interviewter Vertreter der Universität Graz spricht, was die Rolle der Indikatoren betrifft,

wörtlich vom informed decision making und einer zunehmenden Objektivierung der

Entscheidungen (vor allem auch in Richtung Budgets). Bei der Analyse von Kennzahlen bzw.

deren Nicht-Erreichung wird dabei auch immer untersucht, warum diese nicht erreicht worden,

etwa ob Ziele ambitioniert waren, Professoren einen Ruf erhielten, oder Studierendenzahlen

stark nach oben stiegen oder nach unten sanken. Eine direkte Koppelung zwischen

Kennzahlenwert und Budgetierung gibt es jedoch nicht, vor allem auch, da hier die Gefahr

besteht, dass WissenschaftlerInnen und Institute direkt in die Optimierung einzelner

Kennzahlen verfallen würden. Die Philosophie ist hier: ForscherInnen bzw. Institute erhalten

finanzielle Mittel, um Ziele zu erreichen. Gleichzeitig gibt es aber auch einen Mechanismus,

demzufolge ein bestimmter Anteil des Budgets am Ende der Periode einbehalten werden kann

(rund 2% des Budgets, Pönale). Dies kam in der Vergangenheit beispielsweise in einem Fall

zum Tragen, als nicht wie vereinbart Mitarbeitergespräche durchgeführt wurden.

Die Universität Graz hat jüngst auch die Hochschulraumstrukturmittel (HRSM) adaptiert. Wie

alle anderen Universitäten werden die Mittel aus dem HRSM (bzw. dem früheren

Formelbudget) intern auf die unterschiedlichen Organisationseinheiten, demselben

Berechnungsmodus folgend, berechnet. Allerdings möchte die Universität Graz intern nach wie

vor die Förderung von Frauen auch mit diesem Instrument vorantreiben (im älteren

Formelbudget gab es hier einen entsprechenden Indikator) und hat die Formel für interne

Zwecke angepasst.

Ergebnisse der Evaluierungen werden (wenn zeitlich nicht zu lange entfernt) für die

Zielvereinbarungen, Leistungsvereinbarungen und Entwicklungspläne genutzt, wenngleich

diese Prozesse nicht direkt synchronisiert sind, was zeitlich und organisatorisch letztlich schwer

zu organisieren ist. Teilweise wird auch mit Nachträgen zu Zielvereinbarungen gearbeitet, das

hießt, es werden bestimmte Punkte offen gelassen und erst nach dem Vorliegen der

Evaluierungsergebnisse Definitionen vorgenommen.

Evaluierungen

An der Universität Graz werden wie an allen anderen österreichischen öffentlichen

Universitäten (und dem UG) regelmäßig Evaluierungen durchgeführt. Eine eigene Satzung

12

wurde im Jahr 2004 erstellt, diese ist derzeit in Überarbeitung. Forschungseinheiten werden alle

fünf Jahre nach dem Peer Review Verfahren (mit mindestens zwei Gutachtern) evaluiert.

Im Rahmen der Evaluierung erstellen die Universitäten zunächst Selbstevaluationsberichte.

Dabei handelt es sich um eine vorwiegend narrative Darstellung und qualitative Bewertung der

Forschungseinheit, wobei auch Ziele und Strategien für die künftige Ausrichtung der

Forschungsaktivitäten dargestellt werden. Dieser Report wird sodann an die (möglichst

internationalen) Peers gesendet, wobei bei großen, heterogenen Einheiten bis zu sechs Peers

involviert sind. Nach einem Besuch vor Ort wird das Gutachten erstellt. Eine große Bedeutung

aus der Sicht des Universitätsmanagements nimmt dann der sogenannte

„Umsetzungsworkshop“ ein, der zwischen den Vertretern der Organisationseinheit und dem

Rektorat durchgeführt wird und bei dem Konsequenzen und Maßnahmen definiert werden.

Ergebnisse der Evaluierung fließen sodann auch in die Zielvereinbarungen und die

Entwicklungspläne ein. Insgesamt liegt bei den Evaluierung nach Angaben des

Universitätsmanagements der Fokus dabei vor allem auf der Analyse und Bewertung der

Zukunftsfähigkeit der Einheiten und Forschungsgruppen und weniger auf der ex-post

Bewertung.7 Neben den Fach-Peers engagiert die Universität Graz bei jeder Evaluierung auch

einen fachfremden Experten, der auf Aspekte wie Kommunikationsstrukturen, Arbeitsabläufe,

Nachwuchsausbildung und dgl. Bedacht nimmt. Insgesamt fungieren Evaluierungen aus Sicht

des Universitätsmanagements daher auch als wichtiges Instrument für die Entwicklung der

Fachbereiche.

Fixer Bestandteil der Evaluierung und des Selbstevaluierungsreports ist die Darstellung der

Forschungsleistungen nach einem standardisierten Schema, wobei hier in Summe (Forschung

und Lehre) 25 Indikatoren ausgewiesen werden müssen. Für die Forschung werden unter

anderem verwendet: Publikationen, Vorträge, Mitgliedschaften in Kommissionen, Drittmittel,

Transferleistungen. Dieses (einheitliche) Schema wird von Seiten des Rektorats vorgegeben,

wobei nur wenige geringfügige Anpassungen durchgeführt wurden, um Unterschiede zwischen

Disziplinen zu berücksichtigen. So werden etwa bei den Naturwissenschaften keine Bücher

ausgewiesen. Nach wie vor gibt es kontroverse Diskussionen innerhalb der Universität Graz

über die Notwendigkeit der einheitlichen Darstellung der Leistungen, dennoch hat das Rektorat

am Procedere festgehalten. Im Kontext dieser Debatten wurde als Alternative auch diskutiert,

die von den WissenschaftlerInnen selbst genannten fünf besten Publikationen zu evaluieren,

allerdings hat sich für diesen Vorschlag keine Mehrheit gefunden.

Die Indikatoren, die im Rahmen der Evaluierung standardmäßig ausgewiesen werden, werden

vom Qualitätsmanagement zentral aufbereitet und zur Verfügung gestellt. Es werden hier

jedoch keine weiteren Analysen oder Vergleiche durchgeführt (Bsp. Zitationsanalyse). Aufgabe

der Peers ist es sodann, die Outputs vor dem Kontext der Wissenschaftsdisziplin und im

internationalen Vergleich zu bewerten. Die Indikatoren werden nach bisherigen Erfahrungen

höchst unterschiedlich von den Peers genutzt, wobei nicht zwangsläufig abgeleitet werden

kann, dass in den Naturwissenschaften Gutachter quantitativere Bewertungen bevorzugen als

beispielsweise in den Geisteswissenschaften. Während einige Gutachter die Kennzahlen sehr

genau analysiert haben, schenken ihnen andere Gutachter keinerlei Aufmerksamkeit.

7 Eine Besonderheit an der Uni Graz sind die Evaluierungseinheiten: evaluiert werden Wissenschaftszweige und

nicht die Institute oder Fakultäten.

13

Der Vertreter des Rektorats betont, dass es sich bei den Indikatoren um komplementäre

Informationen handelt, die jedoch bei den Evaluierungen nicht im Zentrum stehen. Auch hier

kann daher von der Praxis eines informed peer review gesprochen werden.

Die Forschungsschwerpunkte wurden an der Universität Graz bislang noch nicht evaluiert. Eine

erste Evaluierung ist für 2015 geplant. Die Universität ist sich bewusst, dass die

Schwerpunkbildung mehrere Jahre in Anspruch nimmt, bevor aussagekräftige

Forschungsleistungen bewertet werden können.

Des Weiteren werden in ausgewählten Bereichen Evaluierungen auf Personenebene

durchgeführt, etwa bei Qualifizierungsvereinbarungen, Entfristungen und dgl.

Rankings

Ähnlich wie die Universität Innsbruck argumentiert die Universität Graz, dass die Position in

Rankings beobachtet wird, aber dass man nicht direkt versucht die dabei verwendeten Kriterien

zu beeinflussen. Potential sieht man vor allem in fachspezifischen Rankings, die jedoch noch

zu wenig verbreitet sind.

Wissensbilanz

Einige Kennzahlen in der Wissensbilanz werden nach wie vor als zu wenig valide betrachtet, -

darunter auch die Anzahl der Publikationen -, vor allem auch was einen Vergleich zwischen

unterschiedlichen Universitäten betrifft. Dennoch werden auch intern Auswertungen

durchgeführt und etwa die Anzahl der Publikationen pro WissenschaftlerInnen auf Ebene der

Wissenschaftsdisziplinen verglichen, derartige Auswertungen ermöglichen eine

Positionsbestimmung.

Neben der Wissensbilanz wird auch InCites von Thomson Reuters genutzt, um

Forschungsgruppen international zu benchmarken.

Zusammenfassung

Nach Angaben des interviewten Universitätsqualitätsmanagers ist es in den letzten Jahren

zu einer zunehmenden Quantifizierung beim Methodenmix für die Bewertung von

Forschung gekommen. Diese Quantifizierung wird aber vor allem im Sinne eines

Monitorings und einer Positionierung verstanden bzw. genutzt. Indikatoren erlauben vor

allem auch die Überprüfung der Zielerreichung im Sinne eines Management by Objectives,

wenngleich bei der Analyse von Abweichungen die erste Frage die nach dem Warum der

Abweichung ist.

In der Objektivierung von Entscheidungen als Folge der stärkeren Nutzung von

Kennzahlen wird der größte Vorteil von Seiten des Universitätsmanagements gesehen.

Auch für die Frage, wo das größte Potential für zukünftige Schwerpunkte und Akzente in

der Forschung liegt (Steuerung), wird ein Nutzen gesehen.

Zukünftig will die Universität Graz auch gezielt Indikatoren für die Geistes- und

Sozialwissenschaften nutzen, wozu eine Arbeitsgruppe bis 2014 Vorschläge erarbeiten

soll. Dabei wird versucht, Forschungsleistungen multi-dimensional darzustellen und vor

allem auch den Wissenstransfer (inkl. möglicher Kenngrößen) abzubilden.

14

2.4. Universität Salzburg

Die Universität Salzburg deckt ein breites Spektrum von Wissenschaftsfächern ab, auch hier

kann vor allem ein Spannungsfeld zwischen den Naturwissenschaften einerseits und den

Geistes-, Rechts- und Sozialwissenschaften sowie der Kunst vermutet werden. Bei der

Messung und Bewertung von Forschungsleistungen wird wie folgt vorgegangen:

Leistungs- und Zielvereinbarungen

Die Leistungsvereinbarung der Universität Salzburg beschränkt sich im Bereich der Forschung

vor allem auf die Beschreibung von geplanten Vorhaben und dem Commitment, diese

umzusetzen. Die Ausweitung der EU Drittmittel um 2% pro Jahr stellt die einzige klassische

Outputvariable dar.

An der Universität Salzburg werden Zielvereinbarungen direkt mit den 31 Fachbereichen

geschlossen, welche damit direkt dem Rektorat unterstellt sind. Fachbereiche sind wiederum

Fakultäten zugeordnet, dem Dekan der Fakultät obliegt dabei die Koordination der Lehre.

Im Rahmen der Verhandlung zu den Zielvereinbarungen wird von Seiten des Rektorats ein

sogenannter Pflichtzielkatalog und Wahlzielkatalog vorgegeben. Bei der Forschung wird dabei

aktuell eingefordert, dass jeder Fachbereich eine Forschungsstrategie formulieren muss, die

Angaben zu Profilbildung, Veröffentlichungen, wissenschaftlichem Nachwuchs und Angaben

zur Erhöhung der Drittmittel enthalten muss. Es gibt jedoch für diese einzelnen Dimensionen

keine direkten quantifizierten Ziele oder monetäre Vorgaben. Vom Aufbau her sind die

Zielvereinbarungen ähnlich wie die Leistungsvereinbarungen gehalten und umfassen Ziele und

Vorgaben zu Forschung, Lehre, Personal und Internationalem.

Insgesamt lassen sich nach Angaben der Universitätsleitung keine systematischen Unterschiede

zwischen den einzelnen Zielvereinbarungen quer über die unterschiedlichen Fachbereiche und

Disziplinen identifizieren. Der einzige eindeutige Unterschied kann bei der Höhe der

angestrebten Drittmittel bzw. Bestrebungen, diesen Anteil zu erhöhen, ausgemacht werden.

Gleichwohl gab es in der Vergangenheit aber Bestrebungen, den Drittmittelanteil auch in den

Geisteswissenschaften zu erhöhen, bislang konnte zwischen Rektorat und Vertretern der

jeweiligen Fachbereiche dazu aber keine gemeinsame Position gefunden werden. Die

Zielvereinbarung fungierte dabei aus Sicht der Universitätsleitung als Instrument, um

bestimmte Fachbereiche, in denen Drittmittel bislang kaum akquiriert wurden, zu motivieren,

ebendiese zu erhöhen.

Evaluierungen

Der Rahmen für die Durchführung der Evaluierung wird auch an der Universität Salzburg

durch eine entsprechende Satzung definiert. Dazu wird intern auch ein Berichtsformular

vorgegeben, das grob Struktur und Inhalte des Selbstevaluierungsberichts beschreibt. In der

Satzung der Universität Salzburg wird etwa angeführt, dass Evaluierungen als Datenquellen

Selbstberichte über erbrachte Leistungen in Forschung, Einträge in die

Forschungsdokumentation, Kennzahlen des universitären Berichtswesens sowie

Stellungnahmen von Dritten enthalten können, womit das Methodenspektrum ein Stück weit

abgegrenzt wird. Explizit wird darin auch angeführt, dass die Ergebnisse von Evaluierungen,

insbesondere bei der Festlegung von Zielvereinbarungen, zu berücksichtigen sind (§53 der

Satzung der Universität Salzburg).

15

Gemäß Satzung und Organisationsplan der Universität Salzburg werden Zentren und die

fakultätsübergreifenden Forschungsschwerpunkte (beides sind auf begrenzte Zeit gebildete

Forschungsschwerpunkte, die mit dem UG etabliert wurden) alle 5 Jahre evaluiert. Fakultäten

und Fachbereiche (entsprechen Instituten) werden an der Universität Salzburg nur

anlassbezogen evaluiert.

Was die Nutzung von Indikatoren betrifft, ist man an der Universität Salzburg sehr

zurückhaltend und kritisch eingestellt. Zwar werden im Rahmen von Evaluierungen auch

Kennzahlen von Seiten der zu evaluierenden Einheiten ausgewiesen (im Bereich Forschung

Publikationen und Drittmittel), diese stellen aber laut Angaben des Universitätsmanagements

„Rahmeninformationen“ dar. Es gibt dabei keinerlei exakte Vorgaben oder impliziten Druck,

dass bestimmte Indikatoren ausgewiesen werden müssen. Im Allgemeinen gibt es nach

Einschätzung der interviewten Vertreterin des Rektorates keine systematischen Unterschiede

zwischen den Naturwissenschaften und den anderen Wissenschaften.

Die Biowissenschaften (diese stellen einen sehr erfolgreichen Forschungsschwerpunkt dar, bei

dem viele Fachbereiche involviert sind und interdisziplinär zusammenarbeiten) haben etwa

andere Publikationsorgane und Outputstrukturen als etwa die Kunst. Die jeweiligen

Koordinatoren der Forschungsschwerpunkte bzw. Zentren haben großen Freiraum und nutzen

diesen auch.

Des Weiteren werden von Seiten des Rektorats keine weiterführenden oder vergleichenden

Analysen - auch nicht im Rahmen der Formulierung der Zielvereinbarungen (siehe auch unten)

- durchgeführt.

Wissensbilanz

Die Wissensbilanz wird wie vom Gesetzgeber gefordert erstellt, ambitioniertere Vorhaben zur

IT-gestützten Erhebung und Verwaltung, zur bibliometrischen Analyse oder systematischen

Nutzung (wie etwa an der Universität Innsbruck oder Graz) von Kennzahlen für die Steuerung

oder Budgetierung wurden (bislang) nicht implementiert bzw. eingesetzt.

Zusammenfassung

Folgende Befunde lassen sich an dieser Stelle zusammenfassen:

Was die fachspezifische Bewertung von Forschungsleistungen betrifft, lassen sich weder

bei den Evaluierungen noch den Zielvereinbarungen systematische Unterschiede im

Hinblick auf die Nutzung von quantitativen versus qualitativen Bewertungsmethoden

festmachen. Einzige Ausnahme stellt die Bedeutung der Drittmittel dar, die in den

Naturwissenschaften eine größere Rolle spielen und dort auch explizit als Ziel ausgewiesen

werden. Insgesamt haben die unterschiedlichen Bereiche einen großen Freiraum bei der

Ausgestaltung der jeweiligen Dokumente, die mangelnde Objektivierung erfordert vom

Rektorat wohl ein großes Verhandlungsgeschick. Diese Praxis ist vermutlich auch stark

von den handelnden Personen (Rektoren), der historischen Entwicklung und der

spezifischen Universitätskultur getragen bzw. determiniert.

Indikatoren werden als komplementäre Methoden bzw. Rahmeninformation gesehen, die

jedoch nicht systematisch ausgewiesen werden. Dennoch ist auch an der Universität

Salzburg geplant, in den nächsten Jahren die Kennzahlendokumentation auszubauen und

16

mit Hilfe eines IT-gestützten Forschungsinformationssystems zu etablieren. Dies ist die

Voraussetzung für auch an der Universität Salzburg geplante stärkere Nutzung (trotz aller

Kritik und Einschränkungen) von Indikatoren für die Bewertung und Messung von

Forschungsleistungen.

2.5. Technische Universität Graz

Die Praxis der Bewertung und Messung von Forschungsleistungen kann wie folgt beschrieben

werden:

Leistungs- und Zielvereinbarungen

Die TU Graz folgt bei der Ausverhandlung der Zielvereinbarungen mit den einzelnen

Fakultäten stark den Vorgaben der Leistungsvereinbarung und versucht die dort definierten

Ziele und Vorhaben auf die einzelnen Fakultäten herunter zu brechen; man spricht hier auch

von einem „Kaskadenmodell“. Vorgaben für Publikationen oder Drittmittel werden im Rahmen

der aktuellen Leistungsvereinbarung 2013-2015 nicht vereinbart.

Die Zielvereinbarungen der TU Graz sind äußert knapp gehalten und umfassen nicht mehr als

zwei Seiten. Während anderen Universitäten im Rahmen der Zielvereinbarungen auch

Forschungsschwerpunkte und die Strategie darstellen, beschränkt sich die TU Graz in den

Zielvereinbarungen vornehmlich auf die messbaren Zielen und Vorgaben. Vorgaben, Ziele und

Indikatoren werden für die Bereiche Forschung, Lehre und Personal definiert. Auf Basis einer

Analyse der Werte aus der Vorperiode und der allgemeinen Rahmenbedingungen wird

versucht, realistische Zielwerte zu vereinbaren, wobei diese durchaus auch nach „unten“ gehen

können.

Für den Bereich Forschung kommen hier die klassischen Kennzahlen zu Publikationen (jede

Fakultät definiert dabei aber selbst die Qualitätskriterien), Drittmittel (differenziert nach

Antrags- und Auftragsforschung) und Dissertationen zur Anwendung. Die notwendigen Daten

werden dabei zentral von der Forschungsdokumentationsstelle aufbereitet und zur Verfügung

gestellt.

Die an anderen Universitäten in den Zielvereinbarungen durchgeführten Ausführungen zu

Strategien, Schwerpunkten, Stellenplan und dgl. erfolgen an der TU Graz vor allem parallel

bzw. als Teil des Entwicklungsplans. Zielvereinbarungen sind, wie beim Großteil der

österreichischen Universitäten, an der TU Graz nicht öffentlich zugänglich.

Dennoch kann nicht abgeleitet werden, dass hier eine direkte Verknüpfung zwischen

Indikatorenwert bzw. Zielerreichung und Budgetierung besteht. Auch hier zielt man eher auf

eine indirekte Wirkung ab und hofft durch Positionierung und einer diskursiven Diskussion der

Zielerreichung Lerneffekte und Anreize zu setzen. Darüber hinaus gibt es einen Budgettopf für

die Finanzierung strategischer Projekte.

An der TU Graz werden im Rahmen des Qualitätsmanagements auch sehr detaillierte Analysen

in Form von „Effizienzspinnen“ auf Fakultäts- und Institutsebene durchgeführt und

Input/Output-Relationen berechnet.

Um auf unterschiedliche Wissenschaftskulturen und Publikationspraktiken einzugehen, wurde

an der TU Graz der Weg eingeschlagen, dass jede Fakultät für sich selbst definiert, was die

17

jeweiligen wichtigen Top-Publikationsmedien sind, wobei hier keine Gewichtung

vorgenommen wird, d.h. die Top-Publikation in der Physik ist nicht mehr wert als die Top-

Publikation in der Architektur, auch wenn es sich in einem Fall um einen Katalog oder einen

gewonnen Architekturpreis handelt und im anderen Fall um eine Nature Publikation handelt.

Die Orientierung, die damit vor allem jüngeren KollegInnen kommuniziert wird, wird als

wichtig erachtet.

Was die Forschungsschwerpunkte der TU Graz betrifft, dort als Fields of Expertise bezeichnet,

werden bereits seit einigen Jahren Publikationsanalysen durchgeführt. Dies bedeutet, dass die

Publikationen der TU Graz den jeweiligen Fields of Expertise zugordnet werden müssen.

Evaluierung und Rankings

Die TU Graz führt unter der Koordination der AQA einen System Audit durch, bei dem

internationale peers involviert sind. Die TU Graz ist damit die erste österreichische Universität,

die erfolgreich durch ein Systemaudit zertifiziert wurde und führt dies auch in der aktuellen

Leistungsvereinbarung im Kapitel zu Qualitätssicherung an.

Für die Bewertung von Forschungsleistungen spielt auch die Teilnahme an Rankings eine

wichtige Rolle. Die TU beteiligt sich am CHE Ranking, wobei jährlich eine andere Fakultät

schwerpunktmäßig vergleichend analysiert wird. Die Position in Rankings („Rankingpräsenz“)

wird sogar im Rahmen der Leistungsvereinbarungen als eigenes Ziel formuliert.

Darüber hinaus nimmt die TU Graz in Abstimmung mit dem BMWF an einem großen

internationalen Rankingprojekt teil, um differenzierter die Position der TU Graz auf globaler

Ebene zu bestimmen. Ergebnisse der Rankings fließen derzeit noch nicht in die

Zielvereinbarungen ein, in Zukunft könnte sich das aber möglicherweise ändern.

Wissensbilanz

Die Wissensbilanz liefert wichtige Kennzahlen für die Zielvereinbarungen. Für das

Benchmarking mit anderen österreichischen Universitäten werden diese aber nicht

herangezogen, da die Definition hier als zu wenig präzise betrachtet wird und von

unterschiedlichen Universitäten verschieden interpretiert wird.

Zusammenfassung

Die Praxis der Bewertung der Forschungsleistungen kann an der TU Graz als durchaus

quantitativ orientiert betrachtet werden.

Die internen Zielvereinbarungen sind an der TU Graz quantitativer gehalten als die

Zielsetzungen in der aktuellen Leistungsvereinbarung.

Das Commitment von Seiten der Dekane und Institutsleiter, die in der Zielvereinbarung

quantifizierten Ziele zu erreichen und die damit verbundenen Anreizmechanismen

(indirekte Wirkung), wird von der interviewten Vertreterin der TU Graz als positiv

bewertet.

18

2.6. Medizinische Universität Innsbruck

Ausgewählte Aspekte der Praxis der Bewertung von Forschungsleistungen zeigen sich hier wie

folgt:

Leistungs- und Zielvereinbarungen

Die Leistungsvereinbarung (Teil Forschung) der MU Innsbruck ist im Vergleich zu vielen

anderen Leistungsvereinbarungen stark auf messbare Outputziele fokussiert. Sie gehört mit zu

den wenigen Universitäten, die nicht nur den Publikationsoutput als Ziel formulieren sondern

auch für die Impactfaktoren Zielwerte vorgeben. Diese werden differenziert auf Ebene der vier

Forschungsschwerpunkte festgelegt. Eine ähnliche Vorgehensweise ist ansonsten aktuell in

Österreich nur bei den beiden anderen medizinischen Universitäten in Wien und Graz zu

identifizieren.

Die Medizinische Universität Innsbruck hat zudem mit Einführung des UG und dem neuen

Finanzierungssystem eine Leistungsorientierte Mittelvergabe (LMO) eingeführt, die sich am

Modell, wie es einige Bundesländer in Deutschland praktizieren, orientiert hat. Ziel der LMO

ist es, besondere Leistungen in Lehre und Forschung nach quantitativen, objektiven und

transparenten Kriterien zu bonifizieren. Die LOM, deren Anteil am Gesamtbudget in den

letzten Jahren reduziert wurde, macht nur wenige Prozente des Gesamtbudgets aus und die

Berechnung der Formel wurde über die Jahre mehrmals revidiert.

Im Rahmen der internen Zielvereinbarungen werden diese Vorgaben und Ziele auf die

einzelnen Departments herunter gebrochen. Insgesamt ist aber die Anzahl der Professoren bzw.

des wissenschaftlichen Personals die wichtigste Kenngröße für die interne Verteilung des

Budgets. Darüber hinaus werden auch Zielvereinbarungen mit den Sprechern der

Forschungsschwerpunkte abgeschlossen.

Evaluierungen

An der MU Innsbruck werden sowohl Organisationseinheiten, Forschungsschwerpunkte als

auch Personen regelmäßig evaluiert. Der Satzungsteil Evaluation beschreibt dabei wichtige

Grundlagen. Die Leistungsorientierte Mittelvergabe (LOM) wird dabei auch als Instrument der

Evaluierung dargestellt. In der Vergangenheit wurde unter anderem der

Forschungsschwerpunkt Onkologie (unter Beteiligung des Wissenschaftsrates) evaluiert.

Evaluierungen starten wie bei anderen Universitäten auch mit der Erstellung eines

Selbstevaluationsberichts. Wie bei den Leistungs- und Zielvereinbarungen werden im Rahmen

von Evaluierungen Daten (Publikationsoutput, Impact, Zitationen, etc.) aus der Wissensbilanz

bzw. dem Leistungsmonitoring verwendet, die in der Regel von der Stabstelle Evaluation und

Qualitätsmanagement aufbereitet werden.

Darüber hinaus werden auch bei Berufungen standardmäßig bibliometrische Auswertungen

durchgeführt.

Wissensbilanz

Die im Rahmen der Wissensbilanz erhobenen Indikatoren werden als valide und gute

Datenbasis gesehen.

19

Die Erfahrungen mit der Entwicklung des Publikationsoutputs zeigen dabei, dass zwar in vielen

Bereichen eine relativ große Konstanz vorliegt, Schwankungen oder „Leistungseinbrüche“ aber

relativ schwer vorherzusehen sind und auch die Ursachen für den Rückgang letztlich schwer zu

identifizieren sind. Der direkte Steuerung und Beeinflussung der Zielerreichung ist dabei aber

letztlich eingeschränkt.

Zusammenfassung

Trotz dem gerade an der MU Innsbruck in der Vergangenheit stark forcierten Einsatz von

bibliometrischen Indikatoren (die dort in der internationalen Wissenschaftskultur inhärent

sind) ist man sich über die einseitige bzw. eingeschränkte Aussagekraft von Indikatoren

bewusst und versucht durch qualitative Darstellungen, die Leistungen, die hinter den

Zahlen stehen, sichtbar zu machen.

Die große Homogenität der Universität Innsbruck begünstigt zweifelsohne den Einsatz von

bibliometrischen Verfahren, dennoch gibt es auch an dieser Universität Bereiche, in denen

Indikatoren keine Aussagekraft besitzen.

3. Zusammenfassung und Schlussfolgerungen

Im Mittelpunkt dieses Gutachtens steht die Analyse der gängigen Praxis der Bewertung und

Messung von Forschungsleistungen an den österreichischen Universitäten. Abschließend sollen

die Befunde synthetisiert werden:

Die Leistungsvereinbarung ist das zentrale Instrument für die Finanzierung der

österreichischen Universitäten durch die öffentliche Hand. Die jeweilige Ausprägung der

Leistungsvereinbarung und das Ausmaß der Quantifizierung spiegeln sich im Weiteren in

den universitätsintern definierten Zielvereinbarungen mit den unterschiedlichen

Organisationseinheiten wider. Eine Analyse der aktuellen im Jahr 2012 formulierten

Leistungsvereinbarungen8 zeigt im Gegensatz zur vorherigen

Leistungsvereinbarungsperiode, dass im Bereich Forschung bei einigen Universitäten

verstärkt Indikatoren genutzt wurden, um die Zielerreichung und den Erfolg der

Umsetzung von Vorhaben zu quantifizieren und messbar zu machen. Was die

ausverhandelten Zielwerte betrifft, hat man hier durchwegs konservative Zielwerte

angesetzt. Besonders ambitionierte und vermutlich unrealistische Ziele will man vor dem

Hintergrund eines schwierigeren Umfelds, was die Finanzierung und den steigenden

Wettbewerb betrifft, nicht vereinbaren. „Konstant halten“, „Stabilisierung“, oder

„moderater Anstieg“ sind typische Formulierungen in diesem Zusammenhang.

Bei den Zielvereinbarungen und Evaluierungen gehen die hier untersuchten Universitäten

nach einem relativ standardisierten und strukturierten Prozess vor, bei dem mit Hilfe von

Arbeitsbehelfen, Vorlagen, Fragekatalogen und Indikatoren Forschungsleistungen erfasst

und bewertet werden.

Insgesamt lässt sich bei der Bewertung und Messung von Forschungsleistungen in den

vergangenen Jahren eindeutig ein Trend zur Quantifizierung und Objektivierung 8 Insgesamt wurden im Leistungsbereich „Forschung“ 291 Vorhaben und 101 Ziele formuliert. Vgl. dazu auch den

jüngst publizierten Forschungs- und Technologiebericht 2013 der Bundesregierung.

20

konstatieren. Dennoch gibt es Unterschiede zwischen den Universitäten und das Ausmaß

der Quantifizierung hängt auch stark von der jeweilig historisch gewachsenen

Universitätskultur, dem Beharrungsvermögen und den jeweiligen Rektoren ab.

Voraussetzung für den Einsatz von quantitativen Methoden der Bewertung von

Forschungsleistungen stellen die nach höchsten Qualitätsstandards erhobenen und

archivierten Indikatoren (Datenbanken bzw. Forschungsinformationssysteme) dar. Mit

Ausnahme der Universität Salzburg wird die Datenbasis und die Aussagekraft der

Kennzahlen (zu einem Gutteil auf Basis der Wissensbilanz) von den hier untersuchten

Universitäten als gut bezeichnet. Die Stabstellen bzw. Servicestellen an den Universitäten

bereiten in der Regel Informationen und Kennzahlen für die Erstellung von

Leistungsvereinbarungen, Zielvereinbarungen und Evaluierungen auf. Des Weiteren

werden vielfach – standardmäßig wie an der Medizinischen Universität Innsbruck für die

Leistungsorientierte Mittelvergabe oder wie an der Universität Graz auf Wunsch der

Fakultäten – avanciertere bibliometrische Analysen durchgeführt (Bsp. H-Index,

Zitationsanalysen).

Einigkeit besteht unter allen Universitäten, dass ein direkter Vergleich des

Publikationsoutputs zwischen den unterschiedlichen Disziplinen nicht möglich und auch

nicht sinnvoll ist. Selbst bei spezialisierten Universitäten (Technik und Medizin) ist ein

Vergleich innerhalb unterschiedlicher Fakultäten teilweise nur eingeschränkt möglich, so

kann etwa innerhalb der technischen Universitäten die Architektur erwähnt werden,

innerhalb der medizinischen Universitäten die Bewertung der Forschung in der

Orthopädie.

Universitäten stehen universitätsintern vor der Herausforderung, unterschiedliche

Forschungseinheiten und Forschungsschwerpunkte zu bewerten und Forschungsmittel

nach Kriterien der bisherigen Leistung und des zukünftigen Leistungspotentials zu

verteilen. Das Credo lautet bei allen Universitäten, die Fakultäten, Institute und Bereiche

so zu behandeln, wie es ihrer Wissenschaftskultur entspricht. Dabei wählen die

Universitäten unterschiedliche Strategien:

i. Mit dem Instrument der Selbstreports (bei Evaluationen) haben die

Forschungseinheiten (bottom-up) einen großen Spielraum, im Rahmen ihrer

Darstellung, Spezifika und Besonderheiten auszudrücken, die im Weiteren durch

die Peers gewertet und interpretiert werden.

ii. Die Selektion der fünf besten wissenschaftlichen Publikationen (Top-

Publikationen) stellt eine weitere Option dar, die es Einheiten ermöglicht, sich

(im Rahmen von Evaluierungen) darzustellen.

iii. Überdies wird von einigen hier untersuchten Universitäten die Strategie verfolgt,

auf die Disziplin abgestimmte Rankings für wissenschaftliche Publikationstypen

zu verwenden. Diese werden entweder von den Organisationseinheiten selbst

definiert bzw. gereiht oder die Universität nutzt Rankings und Indices von

internationalen Gremien (Bsp. ERIH-Index der ESF).

Vor allem die Bewertung von sehr heterogenen Forschungsfeldern, wie etwa den häufig

breit definierten Forschungsschwerpunkten, stellt große methodische Herausforderungen

21

dar. Das peer review-basierte Evaluationsverfahren muss in diesem Fall eine große Anzahl

von Peers involvieren, was in der Regel als zu aufwendig erachtet wird. Der Versuch, für

einen breiten und sehr heterogen definierten Forschungsschwerpunkt die fünf wichtigsten

Publikationen zu nennen, stellt ebenfalls eine nicht konsensual bewältigbare Aufgabe dar,

wie die Universität Innsbruck erfahren musste. In vielen Fällen wird daher bislang auf eine

Quantifizierung verzichtet (wie zu einem guten Teil auch bei den Leistungsvereinbarungen

für die Gesamtuniversität). Bei relativ homogenen Forschungsschwerpunkten (Bsp. TU

Graz oder Medizinische Universität Innsbruck) werden ausgewählte Publikationstypen

(zumeist Web of Science Publikationen) pro Forschungsschwerpunkt ausgewiesen. Einen

Weg, auch relativ breit ausgerichtete Forschungsfelder quantitativ zu bewerten, hat die

Universität Innsbruck bestritten, indem unterschiedliche Publikationsformen gewichtet

wurden und diese letztlich für den gesamten Forschungsschwerpunkt aggregiert dargestellt

wurden.

Evaluierungen werden meist als Teil bzw. Instrument des Qualitätsmanagements und

damit auch der strategischen Entwicklung gesehen, deren Ergebnisse dann in die

Zielvereinbarungen einfließen. Die hier untersuchten Universitäten organisieren auch

Workshops, um die Umsetzung dieser Ergebnisse zu institutionalisieren. In diesem

Kontext wird von der Universität Graz auch darauf hingewiesen, dass im Rahmen von

Evaluierungen vor allem die Einschätzung des Zukunftspotentials wichtig ist und

Evaluierungen gleichermaßen ex-post wie auch ex-ante Charakter aufweisen sollten.

Insgesamt wird bekräftigt, dass die Durchführung von Evaluationen ausreichend große

Zyklen erfordert. Die Praxis, alle fünf Jahre die Organisationseinheiten zu evaluieren, wird

als angemessen betrachtet. In der Regel erfolgt eine Synchronisation zwischen

Leistungsvereinbarung, Zielvereinbarung und Evaluation.

Auch für die Bewertung der Geisteswissenschaften wird von den hier untersuchten

Universitäten letztlich der Weg einer quantitativen Bewertung eingeschlagen. Neben der

Nutzung von intern erstellten oder externen Rankinglisten (Bsp. ERIH) wird etwa an der

Universität Graz die Kennzahl Reputation und Transferleistungen diskutiert (Bsp.

Tätigkeiten in Kommissionen, Funktionen in Zeitschriften, Gutachter für

Habilitationsverfahren, Einladungen zu Vorträgen und dgl.), die nach Einschätzung eines

Interviewten besser über die Fächer hinweg verglichen werden kann.

In diesem Zusammenhang kann gefolgert werden, dass ein Erfahrungsaustausch zwischen

den Universitäten unter Einbindung anderer Akteure des Wissenschaftssystems sinnvoll

wäre, um gemeinsame Grundlagen oder Leitlinien zu erarbeiten.9

Was die Nutzung von Outputindikatoren betrifft, wird dies bei den Evaluierungen als

komplementäre Informationsgrundlage für die Bewertung betrachtet und klassischerweise

als informed peer review bezeichnet. Bei den Zielvereinbarungen stellen diese Indikatoren

eine wichtige Orientierungsgröße dar und sollen Anreize schaffen, ein unmittelbarer Link

zur Finanzierung besteht aber in der Regel nicht.

9 Zu dieser Thematik hat etwa die historisch-philosophische Klasse der ÖAW im Mai 2012 eine Kommission zur

Bewertung geistes-, sozial- und kulturwissenschaftlicher Publikationsleistungen eingerichtet. Auch die Universität

Graz hat hier jüngst intern eine Arbeitsgruppe eingerichtet.

22

Rankings und Benchmarking spielen bislang eine noch untergeordnete Rolle und es wird

von keiner der hier untersuchten Universitäten versucht, Kriterien oder Kenngrößen direkt

zu optimieren. Sehr wohl gibt es aber erste konkrete interne Diskussionen, Pilotprojekte

und Ziele, dieses Instrument mittelfristig stärker zu nutzen. Hier wird von allen Befragten

betont, dass es wichtig sei, derartige Vergleiche und Analysen auf Ebene der Fachbereiche

zu bewerkstelligen.

Die Profil- und Schwerpunktbildung in der Forschung ist ein wichtiges

hochschulpolitisches Ziel in Österreich. Forschungsschwerpunkte werden im Rahmen der

Leistungsvereinbarungen dargestellt (Prozessbeschreibung, Begründung, beteiligte

Institute, etc.). Eine nachvollziehbare Bewertung der Entwicklung der Schwerpunkte wird

im Rahmen der Leistungsvereinbarung jedoch bislang nicht durchgeführt. Die an den

Universitäten etablierten gesamtuniversitären Forschungsschwerpunkte werden teilweise

von Universitäten selbst als noch zu jung betrachtet (bestehen seit rund fünf bis acht

Jahren), um sie schon sinnvoll evaluieren zu können. Gleichwohl haben einige

Universitäten haben jedoch schon Evaluierungen von Forschungsschwerpunkten

durchgeführt. Bei der Evaluierung der Forschungsschwerpunkte gibt es letztlich, wie

angeführt, noch keine etablierte Praxis bzw. keine Erfahrung.

In diesem Kontext wären zwei Maßnahmen zu diskutieren:

i. Die Konstitution von Arbeitsgruppen zum Erfahrungsaustausch bzw. die

Erstellung gemeinsamer Richtlinien im Zusammenhang mit der Bewertung von

Forschungsschwerpunkten wäre sinnvoll. In diesem Kontext kann auch auf den

Hochschulplan und die Hochschulkonferenz und den Koordinationsmaßnahmen

verwiesen werden.

ii. Ebenso wäre es mittelfristig notwendig, aus einer gesamtösterreichischen

Perspektive den Profil- und Schwerbildungsprozess zu analysieren und

Erfahrungen und Wirkungen zu untersuchen.

Auf Basis der hier untersuchten Universitäten zeigt sich ein gewisser Konnex zwischen

dem Ausmaß der Quantifizierung in der Leistungsvereinbarung auf der einen Seite und den

Zielvereinbarungen (bzw. Evaluationen) auf der anderen Seite. Kurzum, quantitativ

gefasstere Leistungsvereinbarungen implizieren vielfach auch quantitativ ausgestaltete

Zielvereinbarungen.

Die Universitäten reagieren stark auf die nationalen Anforderungen und Strategien (LV

durch BMWF)10

wie auch auf den internationalen Trend zur Bewertung und Messung von

Forschungsleistungen (Rankings, Wissenschaftskultur, Kriterien für erfolgreiche

Wissenschaftskarrieren, Bedeutung von Drittmitteln etc.), denen allesamt eine stärkere

Quantifizierung inhärent ist und denen sich Österreich (als kleines Land) nicht entziehen

kann.

10

So argumentiert eine Befragter etwa in diesem Zusammenhang: „Wenn das Ministerium vorgibt, die

Drittmittelquote muss steigen, dann kann man sich dem kaum entziehen und entsprechend werden diese Vorgaben

intern weiter gegeben.“