Failure is an option (english article)

Reporting about mistakes and failed research is part of open science. This does not include non-results but instead, the methods and designs that went wrong due to one’s own decisions or external conditions should be published. In journals, at least in Public Management, there has been no room for this and normally scientists do not like to talk about their failure (in public). Who likes to admit to not having considered something or making mistakes.

Error Culture

However, this handling of mistakes is surprising since most research is based on trial and error. With the exception that one hardly ever speaks about trial and error when the final result is in. Especially to newcomers studies that directly come to the right solution seem like magic. It seems that only their own research does not work out.

Additionally, cumulative dissertations and the general pressure to publish tempt researchers to publish every study instead of conducting a series of (failed) studies.

Open Lab Notebooks

One solution to these problems is already common in some disciplines: open laboratory notebooks. In such diaries, the scientist regularly notes the progress of the study but also, the things that did not work as planned. When these notes are made accessible openly (e.g. on GitHub) they can be easily retrieved by everyone. The problem with this is, that most likely only a few scientists will look into these project-logs before they plan a study. The same applies to personal blogs or websites where scientists document the progress of their scientific projects in more detail. This openness is commendable, however, will probably not reach enough readers.

The ‚Failure‘-Section in Journals

This is the reason why failed trials, in my opinion, belong to journals and conferences. A forthcoming special issue of the International Journal for Qualitative Methods offers a great start. For a special issue on „Qualitative and Mixed Method Failures“ researchers had been invited to report on situations and events „in which [their] choices, presence, or influence contributed conceivably to an adverse or undesirable research process or outcome(s)” (IJQM 2019). Such articles one normally looks for, even in method journals, in vain. Especially these journals could use a section on learnings. And also in disciplinary journals, it seems a good idea to me when problems refer to specific populations (e.g. public administration) or discipline-specific methods.

It would also be possible to integrate a section of “learnings” into the actual research paper. In my experience, most researchers report fairly transparent about their research process, but mostly these passages are eliminated first from their articles. And in the end, no one can read up on it. So why should this issue not be included in a structured abstract? Besides ‘results‘, ‘method‘ and ‘practitioner points‘ there would also be ‘failures and learnings‘.

The ‚Fuck Up‘-Panel

In addition, and even better before, failed research designs and methods should be discussed more intensely at conferences. Inspired by so-called fuck up nights, in which founders talk about failed start-ups, stories on failure could be told in conference presentations. Either in an own panel or even better in the regular tracks. Especially in relatively fixed special interest groups that regularly meet up and are loyal communities, no fear should arise that admitting to such mistakes could hurt one’s career.

This possibly could disenchant some scientific stars but at the same time, it would make them more approachable and human. Because: failure is success in progress.

---

This article has already been published in a german version here.

Translation by Lisa-Sophia Preller.

Failure is an option (deutsch)

Es ist auch Teil von offener Wissenschaft, transparent über Fehler und missglückte Forschung zu berichten. Das meint nicht die Publikation von Nullergebnissen, sondern Methoden und Designs, die aufgrund eigener Entscheidungen oder externer Rahmenbedingungen schief gegangen sind. In unseren Journals, zumindest im Public Management, gibt es hierfür bisher keinen Platz und in der Regel sprechen WissenschaftlerInnen hierüber (öffentlich) nicht gern. Wer gibt schon gern zu, was man nicht bedacht oder worin man sich geirrt hat.

Fehlerkultur

Dennoch verwundert dieser Umgang mit Fehlern, denn die allermeiste Forschung basiert auf trial and error. Nur dass über die trials and errors oft niemand spricht, wenn dann das endgültige Ergebnis da ist. Gerade für Neulinge in der Forschung erscheint es oft magisch, wie Studien direkt zur richtigen Lösung gelangt sind. Nur bei der eigenen Forschung klappt es dann vermeintlich immer nicht.

Hinzukommt, dass kumulative Promotionen und der allgemeine Publikationsdruck dazu verleiten, jede Studie publizieren zu wollen, statt Folgestudie um Folgestudie durchzuführen.

offene Labortagebücher

Eine Lösung für solche Probleme ist in einigen Disziplinen schon verbreitet: die offenen Labortagebücher. In einem solchen Tagebuch notiert man regelmäßig den Fortgang einer Studie und vermerkt eben auch, was nicht geklappt hat. Wenn diese Notizen nun offen zugänglich gemacht werden (z.B. auf github), sind sie für alle nachlesbar. Das Problem daran ist, dass wahrscheinlich nur wenige Forscher in solche Projekt-Logs hereinschauen, bevor sie eine Studie planen. Das gleiche gilt für eigene Blogs oder Webseiten, auf denen ForscherInnen den Fortgang ihrer Forschungsprojekte ausführlich dokumentieren. Lobenswert ist diese Offenheit in jedem Fall, nur erreicht sie wahrscheinlich nicht genug Leser.

‚failure‘-Sektionen in Journals

Deshalb gehören solche missglückten Versuche meiner Meinung nach in unsere Journals und auf unsere Konferenzen. Ein in Produktion befindlicher Special Issue des International Journal für Qualitative Methods macht hier einen tollen Aufschlag. Für ein Themenheft zu „Qualitative and Mixed Method Failures“ waren ForscherInnen eingeladen über Situationen oder Ereignisse zu berichten, „in which [their] choices, presence, or influence contributed conceivably to an adverse or undesirable research process or outcome(s)” (IJQM 2019). Solche Artikel sucht man sonst, auch in den Methoden-Journals, vergeblich. Gerade in diesen Zeitschriften könnte aber eine regelmäßige Sektion zu learnings nicht schaden. Und auch in den fachspezifischen Zeitschriften scheint mir dies eine gute Idee, wenn sich Probleme beispielsweise auf spezielle Populationen (z.B. Public Administration) oder fachspezifische Methoden beziehen.

Es wäre auch denkbar, eine solchen Abschnitt zu „learnings“ in die eigentlichen Forschungspapiere zu integrieren. Meiner Erfahrung nach berichten die meisten ForscherInnen sogar ziemlich transparent über ihren Forschungsprozess, häufig ist dies aber die erste Streichmasse in den Artikeln. Und am Ende kann es dann eben keiner mehr nachlesen. Warum also nicht beispielsweise diesen Punkt in ein strukturiertes Abstract integrieren? Neben ‚results‘, ‚method‘ und ‚practitioner points‘ gibt es dann eben auch ‚learnings‘.

das ‚fuck up‘-Panel

Darüber hinaus, und am besten sogar vorgelagert, müssen missglückte Forschungsdesigns und Methoden auch viel stärker auf Konferenzen diskutiert werden. Inspiriert von sogenannten fuck up nights, in denen GründerInnen von gescheiterten Start-Ups erzählen, könnte es solche Geschichten des Scheiterns auch bei Konferenzpräsentationen geben. Entweder in einem eigenen Panel oder noch viel besser in den themenspezifischen Tracks. Gerade bei relativ festen Special Interest Groups, die sich regelmäßig sehen und eine loyale Gemeinschaft sind, dürfte dann auch wenig Angst herrschen, dass solche eingestandenen Fehler einem schaden.

Das entzaubert dann möglicherweise die ein oder andere wissenschaftliche Ikone, macht sie aber gleichzeitig nahbarer und menschlich und die Wissenschaft weitaus ehrlicher. Denn: failure is success in progress.

---

Eine englische Übersetzung des Beitrags findet sich hier.

Open and Accessible: perspectives for national journals (english article)

Many scientists prefer to publish in high ranking journals today, which are mostly international journals. National journals have increasing problems in finding enough (qualitatively high) submissions. This preference is based on the ‘career metrics’ of the scientific system. At the same time, scientists engage in open science and want to communicate their results to their target groups. Science communication is booming like never before. This development could be capitalized by national journals. They should redefine their strategy by focusing on open access in order to become more attractive to authors. Such a reorientation should be taken seriously especially if it is the journal’s wish to be application-oriented and able to reach practitioners. Open access has to go hand in hand with accessibility. Both dimensions of open access will be outlined in this article and discussed in regard to application-oriented (national) journals.

Open access to publications has been discussed and demanded more and more in the past years within the context of open science. It is called for open access because, otherwise, the public finances research more than would be necessary: by payment of the scientists themselves, by funding of research projects and by ‘buying back’ the results condensed in articles and books. Free access to research results normally includes online publications. Open access is much wider spread in journals than in book publications. Some journals publish with unlimited access (full OA journals), many others only make some articles available.

Green and Golden Way of OA

Ways of open access (OA) can be distinguished into a green and a golden way. Golden OA refers to the open publication of an actual article or book. Green OA, on the other hand, means that additionally to the actual (not-accessible) publication, an article or book is published without restrictions as a pre- or post-print. Pre-print means a publication before the launch of the work. This can happen before peer review or submission to a journal or after the article has gone through the feedback process and has been accepted for publication. Accordingly, there are differences in the quality of contributions. For pre-prints online platforms can be used, e.g. SocArxiv.

If an article is freely published after a restricted publication, one speaks of post-prints. Post-prints might, for example, be published in series by universities and other research facilities. For these kinds of secondary publications, embargo periods exist that publishers decide on with the first publication and they range from 12 to 24 months. Correspondingly, green OA is often delayed. Additionally, temporary open access is becoming more and more common, e.g. when virtual special issues are released with already published and much-cited articles. Also, such virtual special issues are interesting for national journals in order to create a collection of topics that facilitate research for practitioners.

Paid and Unpaid Open Access

In almost all international journals it is possible to purchase golden open access. Fees vary from 2000 to 3000 euros with commercial publishers and some hundred euros with small publishers or nonprofit journals (so-called article processing charges, APC’s). In the last case, these contribute to the financing of editing, in the first case these fees are meant to compensate for the loss of venue that results from open access. There are (non-profit) journals that offer a free open publication for authors. Usually, these journals apply the rule of open access to all articles and not just when specifically asked (and paid) for by the author.

Obligation for Open Access Intensifies

Rightly, the open publication of research results is demanded more and more by providers of research funds or is regulated by law. For example in the course of “Coalition S“ many national and international research funding authorities, e.g. the European Commission or the British, Norwegian or Austrian equivalent to the DFG (Deutsche Forschungsgemeinschaft – German Research Foundation) have decided that from 2020 on all projects funded through them have to be published open access. In Denmark, the Ministry of Science has decided on a similar directive. The Dutch government intends all Dutch universities to release at least 60% of their publications openly already by 2019 and 100% by 2024. For projects conducted through Horizon 2020, this obligation already applies now. The DFG asks that all of their recipients of funds to publish openly but does not make it compulsory.

These demands of funding authorities can be used by national journals in order to position themselves as a publisher that offers these possibilities. Further, open access is often correlated with higher use. Studies indicate that freely accessible articles are cited more often, e.g. also in political science (Antelmann 2004; Harnad/Brody 2004). Therefore, open access can increase the impact a journal makes.

Particularly for journals that address a wider readership not just citations through other scientists are significant but more so if the publications enter the discourse of and amongst practitioners. I argue that this is easier with open access. Many actors in public administration cannot afford journal subscriptions but rather research their questions online. If then, they have free access to journals the possibility of using them is more likely.

Open Access by Small Scientific Publishers

Until now especially small publishers, that frequently publish national journals, are largely overlooked by actors of open science. An alliance of German science organizations is negotiating deals with big publishers since the subscriptions of their journals cause high costs. A study regarding small and middle-sized commercial scientific publishers in German-speaking regions discovered that for 59% of the interviewed publishers the demand for open access slowly increases and for 31% even significantly (Kaiser/Lackner 2018). This particularly applies to publishers that publish more than ten journal titles. Also regarding author acquisition, open access is relevant for most interviewed publishers. Every third publisher assumes that open access is the future default in scientific publishing; another 60% see it as an addition to existing offers of publishers. The study also shows that publishers expect open access to give them improved visibility and advantage in competition but also that there is (not yet) a lot of knowledge of business models in these areas.

Something That Is Free, Isn’t Worth Anything?

Regarding open access, the common opinion is that inadequate articles, that could not be published anywhere else are published open access. To prevent such tendencies, intensive editorial selection and a review system are important. If not, such journals are trapped in a vicious circle: If articles of lesser quality lead to a bad image of the journal, no or few good quality articles are being submitted. If the articles are accessible however and the quality is satisfactory, it is doubtful that readers would actually prefer to pay for journals.

Open Access Means Also Accessibility

Simply open access to publications by itself will not help (public administration) researchers to strengthen the discourse with (administrative) practitioners. Open access should rather be enhanced by accessibility. This concerns the topics and contents of articles as well as their language.

When national journals want to address a broad readership, articles have to be thematically diverse. This, however, cannot mean that merely scientific journal articles with elaborate methodical descriptions are published. It can also not mean that practitioners can just publish project descriptions. In both cases, the respective readership will not feel addressed. The art of a journal in order to be attractive for both scientists and practitioners is to publish topics that are relevant to both sides. For this, tandems of authors can be useful. A first step in that direction can be achieved through structured abstracts that explicitly demand a description of the practical and theoretical contribution of an article. All editorial boards should set such standards.

Accessible Language

Besides topics that are interesting to a broad readership, it is important to present them in an intelligible manner. This plea for accessible language is addressed to both author groups from application-oriented journals. For the public administrative area, the same rules apply for practitioners, whose “officialese” can be hard to understand, as well as scientists, whose scientific language can create incomprehension.

Such accessibility cannot only help to foster the discourse between administrative praxis and science but can also help society to regain trust in science and its results. Only recently the German politician Jürgen Zöllner rightly demanded that scientists should explain their work in German again. Thereby, national journals cannot only position themselves as an access point to the scientific field for practitioners but also for citizens, politicians, and newcomers in this area.

To break down one’s results and communicate them in an accessible way is not easy and not every scientist will be proficient in mastering that task. However, expressing matters accessibly can be practiced and can, for example, happen in a team together with an author from practice. Of course, publishing accessibly should be part of application-oriented as well as basic research. In my experience explainability establishes good quality. A person who is able to explain their studies well is by no means conducting trivial research but has mastered the subject matter.

To publish nationally, initially contradicts what is acknowledged in many disciplines nowadays but should be every author’s goal. A publication strategy that aims at linking practice and career metrics could be to present research results at first internationally and in a peer-reviewed journal. Afterward, research should be broken down and published nationally – open access and in an accessible manner!

Literature

Reichard, C. (2018):  Die zunehmende Kluft zwischen nationalen und internationalen Fachzeitschriften, in: Verwaltung und Management Nr. 6/2018, S. 295-298. https://doi.org/10.5771/0947-9856-2018-6-295

Antelmann, K. (2004): Do Open-Access Articles Have a Greater Research Impact?, in: College & Research Libraries Nr. 5/2004, S. 372-382. https://doi.org/10.5860/crl.65.5.372

Kaier, C./Lackner, K. (2018): Open Access aus der Sicht von Verlagen, in: BIBLIOTHEK – Forschung und Praxis. Advance online publication. https://doi.org/10.18452/19635

Harnad, S./Brody, T. (2004): Comparing the Impact of Open Access (OA) vs. Non-OA Articles in the Same Journals, in: D-Lib Magazine Nr. 6/2004. doi:10.1045/june2004-harna

---

This article has already been published in a similar german version here.

Translation by Lisa-Sophia Preller.

Offen und Zugänglich

Mein neuer Debattenbeitrag zur Zukunft der nationalen Fachzeitschriften beschäftigt sich mit Open Access und Zugänglichkeit von Themen und Sprache. Wenn wir wieder stärker in den Diskurs mit Praktikern treten wollen, müssen wir unsere Publikationsstrategie überdenken. Dann können wir eben nicht nur international publizieren und ein wissenschaftliches Publikum ansprechen, sondern müssen unsere Ergebnisse auch für ein nationales Publikum übersetzen. Übersetzen nicht nur vom Englischen ins Deutsche, sondern auch in eine verständliche Sprache mit einem praxisorientierten Themenfokus.

Den ganzen Beitrag gibt es in Open Access hier.

Eine englische Version des Artikels findet sich hier.

Der erste Beitrag in dieser Debatte von Christoph Reichard findet sich hier (leider hinter Paywall).

 

 

Stand der Dinge: Open Access in der Verwaltungsforschung

Chen und Olijhoek 2016 haben weltweit 1000 wissenschaftliche Journals untersucht und ein Messinstrument zur Qualität von Open Access (OA) entwickelt. Aus dieser Studie sind leider keine spezifischen Ergebnisse für einzelne Forschungsgebiete, wie etwa die Verwaltungswissenschaften, ablesbar. Unter anderem wird hier, trotz des Themas der Studie, kein Datenmaterial zur Verfügung gestellt, an dem man dies hätte selbst nachvollziehen können! Melero et al 2017 greifen das von Chen und Olijhoek entwickelte Instrument aber auf und untersuchen mit diesem die spanische Journallandschaft. Hier sind die sozialwissenschaftlichen Journals diejenigen mit der höchsten OA-Rate und den stärksten Autorenrechten, wohl vor allem weil die Journals nach dieser Studie vor allem von Bildungs- und Forschungsinstitutionen herausgegeben werden. Diese arbeiten in der Regel gemeinnützig und machen mit der Veröffentlichung keinen Gewinn.

Open Access in Journals

Im Bereich der Verwaltungsforschung gibt es so gut wie keine vollständigen OA-Journals und wenn dann sind es häufig keine gerankten Journals. Ausnahmen für thematisch allgemeinere offene Journals bilden IPMR und JPMR (hier fällt eine Autorengebühr von 100 Dollar an). Auch gibt es einige thematisch sehr spezielle offene Journals, wie das International Journal of Climate Change Strategies and Management oder das einzige im Scimago-Ranking untern den Top 50 im Bereich ‚Public Administration‘ gelistete Journal Human Ressources for Health. Außerdem gibt es einige offen publizierte special issues, die zum Teil aber nur zeitbegrenzt Open Access sind. Solche offenen Teile von sonst geschlossenen Journals sind sicher vor allem dem Einsatz der jeweiligen Herausgeber zu verdanken. Ein aktuelles Beispiel hierfür ist ein virtual issue bei IPMJ. Als Journal, dass sich zumindest öffentlich mit der eigenen Offenheitsstrategie aueinandersetzt, fällt im Bereich der Verwaltungsforschung als einziges PAR auf.

In so gut wie allen Journals, ist es möglich für goldenen Open Access zu bezahlen. Die Gebühren hierfür schwanken zwischen 2.000 und 3.000 Euro. Die Konditionen für Rabatte bei diesen APC’s (article processing charge) unterscheiden sich bei so gut wie jedem Journal zusätzlich in Abhängigkeit vom Geldgeber oder davon aus welchen Ländern die Forschung stammt. Außerdem haben auch einige Institutionen selbst Arrangements mit Verlagen. In meinem Fall hat die Universität Potsdam beispielsweise eine Vereinbarung mit Taylor and Francis, die unter anderem PMR herausgeben, über eine rabattierte APC für Mitarbeiter der Universität. Zusätzlich haben verschiedene Journals unterschiedliche Embargozeiten für grünen Open Access, bei den meisten sind es allerdings 24 Monate. Hier unterscheiden sich Fristen für sozialwissenschaftliche Publikationen von denen naturwissenschaftlicher Journals, wo deutlich kürzere Embargofristen üblich sind.

Alles in allem heißt das für Autoren: Es ist umständlich sich darüber zu informieren, wo man unter welchen Bedingungen frei publizieren kann. Und Autoren müssen zusätzlich zu Kriterien, wie Angesehenheit eines Journals oder Passfähigkeit des Themas, auch solche über Open Access-Möglichkeiten in ihre Entscheidungsfindung mit einbeziehen. Um zumindest letzteres ein bisschen zu erleichtern, habe ich die Regelungen einiger  hochrangigen Journals im Bereich des Public Management zusammengestellt.

• Public Administration (Wiley)
  • Embargofrist: 24 Monate
  • APC: 2.667 Euro
• Public Administration Review (Wiley)
  • Embargofrist 24 Monate
  • APC: 2.500 Euro
• Journal of Public Administration Research and Theory (Oxford Journals)
  • Embargofrist: 24 Monate
  • APC: 2.275 Euro
• Public Management Review (Taylor and Francis)
  • Embargofrist: 18 Monate
  • APC: 2.150 Euro

Offen publizierte Bücher

Dem Publikationsportal Publisso zufolge ist die offene Publikation von Monographien weitaus weniger üblich, als von Zeitschriften oder Artikeln. Dabei zeigen Emery et al. 2017, dass sich das offene Publizieren auch von Büchern lohnt: sie werden häufiger zitiert und häufiger online besprochen. Die offene Publikation von Büchern wird unter anderem durch die Universitätsverlage vorangetrieben, die sich hierfür auf europäischer Ebene auch zum Netzwerk OAPEN zusammengeschlossen haben.

Wenn Bücher offen publiziert werden, wird häufig kein reiner Open Access angeboten, sondern ein sogenannter hybrider Weg. Hierbei wird das Buch zusätzlich Printausgabe online frei veröffentlicht oder zusätzlich zur offenen online-Version eine print-on-demand-Möglichkeit angeboten.

Wer seine Monographie Open Access publizieren möchte, kann dies beispielsweise über die Universitätsverlage tun. Aber auch in diesem Bereich kann man sich Open Access bei den großen Verlagen erkaufen. Eine Monographie bei Routledge kostet etwa 10.000 britische Pfund plus Steuern.

Publikationen mehrerer Autoren

Interessant wird es – egal ob Buch oder Journalartikel – wenn mehrere Autoren an einer Publikation beteiligt sind. Selbstverständlich muss einstimmig über den offenen oder geschlossenen Zugang entschieden werden. Doch was gilt beispielsweise für Beiträge in Sammelbänden? Hier schließen in der Regel die Herausgeber:innen einen Vertrag mit einem Verlag ab. Dieser Vertrag regelt dann auch, inwieweit die Herausgeber:innen verpflichtet sind, mit den einzelnen Autor:innen deren rechte geklärt werden müssen. Über eine OA-Erstveröffentlichung entscheidet in der Regel der Verlag, meist in Absprache mit den Herausgeber:innen. Wenn diese beiden Parteien keinen Open Access vorsehen, können Autor:innen nur in einem Autorenvertrag die Rahmenbedingungen für eine offene Zweitveröffentlichung aushandeln. Einen Autorenvertrag gibt es aber häufig nur, wenn auch eine Vergütung für den Beitrag gezahlt wird. Wird für einen Beitrag keine Vergütung gezahlt, dann haben die Autor:innen das Recht, ihren Beitrag mit einer Embargofrist von 12 Monaten anderweitig zu verbreiten und offen zu publizieren, solange keine anderen Vereinbarungen getroffen wurden.

Finanzierung offener Publikationen

Wenn Gebühren für offenes Publizieren anfallen, so gibt es dafür so gut wie immer Refinanzierungsmöglichkeiten, zum Beispiel über von der DFG geförderten Publikationsfonds an Universitäten (Beispiel: Universität Potsdam) oder Graduiertenschulen. Dazu beraten in der Regel Universitätsverlage, Universitätsbibliotheken oder Dezernate für Forschungsangelegenheiten an Universitäten. Für freie Forscher erlassen die Verlage zudem in der Regel die APC’s.

Teurer goldener Open Access – Unterstützen oder nicht?

Doch für viele von offener Wissenschaft überzeugte Forscher bleibt hierbei die Frage: wollen wir dieses System des teuren goldenen Open Access unterstützen und viel Geld dafür bezahlen, dass wir offen publizieren dürfen? In einer interessanten Diskussion mit den Fellows und Mentor:innen des Programms ‚Freies Wissen‘ gab es einige Argumente dafür und einige dagegen. Für bezahlten Open Access in hochrangigen Journals im Gegensatz zu unbekannten Open Access Journals spricht für viele der Wert solcher Publikationen für eine akademische Karriere. Andererseits hält genau das auch diese problematischen Rekrutierungsmuster aufrecht. Mich überzeugte jedoch der Hinweis von Claudia Müller-Birn, wonach wir uns derzeit in einer Übergangssituation des wissenschaftlichen Publikationssystems befinden und wir alte Publikationsstrukturen durch Gebühren für offenes Publizieren noch unterstützen müssen, sich das System aber nach und nach ändern wird.

 

Zum Weiterlesen:

Einen interessanten historischen Überblick darüber, wie wissenschaftliches Publizieren Mitte des 20. Jahrhunderts vom (staatlich gewährleisteten) offenen Zugang durch die Privatisierung von Journals nach und nach immer geschlossener wurde, bietet Nancy Kranich in ihrem Artikel von 2006.

Die Medienwissenschaftlerin Sarah Mai Dang setzt sich auf ihrem Blog mit dem offenen Publizieren auseinander. Lesenswert sind vor allem die Beiträge zur Finanzierung von Open Access-Publikationen und der Publikation auf Preprint-Servern.

Hier räumt Martin Ballaschk mit einigen Mythen rund um geschlossenes und offenes Publizieren auf.

Joseph Esposito schreibt auf dem Blog ‚Scholarly Kitchen‘ zu Open Access Monographien.

Eine gute Übersicht zu Kosten für offenes Publizieren von Büchern gibt es hier.

 

Offene Wissenschaft in der Verwaltungsforschung

In der Verwaltungswissenschaft, und auch darüber hinaus, wird schon seit einiger Zeit gefordert Verwaltungsdaten als open government data zu veröffentlichen. Wenn wir Wissenschaftler:innen uns aber an die eigene Nase greifen und fragen, ob wir selbst so ‚open‘ arbeiten, wie wir das von der Verwaltung fordern, ist die Antwort häufig ernüchternd. Wir können nicht Open Government fordern, aber selbst Closed Science betreiben! Oder? In diesem Beitrag möchte ich den aktuellen Stand zur Diskussion um offene Wissenschaft in den Sozialwissenschaften und insbesondere der Verwaltungs- und Public Management-Forschung aufzeigen und einige Argumente der Befürworter und Gegner darstellen.

Es muss mehr nutzbares Wissen produziert werden. Das schreibt James Perry 2012 über die Public Administration und Public Management-Forschung und arbeitet sich dabei vor allem an der methodischen Qualität von Studien aus diesem Bereich ab. Sein Appell, dass nämlich mehr multi-method-Studien und Datentriangulation nötig sind, führt meines Erachtens zu der weiteren Schlussfolgerung, die Perry hier aber (noch) nicht formuliert, dass Daten auch veröffentlicht und geteilt werden müssen. Die Kombination von Daten ist nur möglich, wenn nicht alles selbst erhoben werden kann. Und nur so werden auch Replikationen möglich, die nötig sind, um die Qualität von Studien zu überprüfen und Konstrukte in verschiedenen Untersuchungskontexten zu validieren.

fehlende Offenheitskultur

Dass es aber eben diese offene Daten in unserem Wissenschaftsbereich bisher nur sehr vereinzelt gibt, führt Lars Tummers 2016 in einem Essay auf eine fehlende offene Forschungskultur zurück. „At the moment, we are facing a collective action problem: the research community would benefit if we promote an open research culture, but individual scholars lack incentives.“ Er schlägt als Lösungsweg vor, dass verwaltungswissenschaftliche Journals, mehr Wert auf Transparenz und Offenheit legen müssen und diese bei ihren Autoren unterstützen. Er plädiert dabei für die Übernahme der sogenannten TOP-Richtlinien (transparency and openness promotion).

Ob ausgerechnet das an Gewinnen orientierte System der Wissenschaftsverlage der richtige Ausgangspunkt, um an einer Offenheitskultur unter Forschern etwas zu ändern – da bin ich skeptisch. Sicherlich sind Anerkennung und Karriere in der Wissenschaft sehr darauf ausgelegt, dass Forscher in hochrangigen Journals publiziert haben. Aber sollen wir deshalb darauf warten, dass die hochrangigen Journals ihre Veröffentlichungsstrategien modernisieren? Oder müssen wir nicht eher selbst durch eigene Wege der Offenheit so viel Druck von unten erzeugen, dass Journals sich umstellen müssen, um weiterhin exzellente Forschungsartikel angeboten zu bekommen?

Ausgehend von Tummers Essay entspann sich im Sommer 2016 eine rege Diskussion um verschiedene Facetten offener Verwaltungswissenschaft.

Debatte vor allem um offene Daten

Nick Petrovsky stellt zum Beispiel fest, dass nicht nur über offenen Zugang zu fertigen Artikeln gesprochen werden darf, sondern insbesondere auch über offene Forschungsdaten. Petrovsky selbst ist in diesem Bereich ein Vorzeigebeispiel. Er publiziert seine Datensätze auf der eigenen Website. „For one of the […] articles, this was indeed a requirement. For the other articles, it wasn’t. But why not post the materials even in the absence of rules or incentives? Perhaps someone can use a part of the data or code for some other purpose, or find amusement in the tedious ways in which some of the code is written.“ Petrovsky argumentiert am eigenen Beispiel, dass das Veröffentlichen von Daten nicht nur für Replikationen und Validierungen wichtig ist, sondern auch für Studierende: „Without having to identify themselves to the author, they may better understand how the author did something. Perhaps, they will also come up with different, creative ways to use the materials that cost so much effort to produce.“ Und Joshua Tegen fügt hinzu: „When you put limits on data, you put limits on research capabilities; young scholars are a much needed voice in the field of public administration however the expectation to purchase highly expensive sets or obtain annual memberships for a price is not always realistic. Instead it creates a disadvantage for potentially insightful authors.“

Beth Gazley widerspricht hier: „There must be a compelling reason […] to move in this direction, and I’m not seeing it here. Normativism (the natural sciences are doing it so the social sciences should also do it) isn’t convincing enough. Where’s the problem? […] What real need would open data serve? It must be a compelling need if we are to impose this time sink on scholars. The science journals can make the case based on the societal risk of publishing spurious data, but we are not trying to cure cancer in our field.“ Sie berichtet vom eigenen Teilen von Daten und gibt zu bedenken, dass Daten methodisch falsch verwendet werden könnten. „My point is that any random set of researchers could easily produce different results through different methodological decisions. Who is responsible for teaching them? For validating the findings?“ Und Michael Siciliano fügt an: „This risks producing a “scientific cacophony” rather than a clearer understanding of the phenomena of interest. And when the reanalysis refutes the original analysis, does that imply the original authors were wrong, used faulty methods, or worse, hacked their results? Or does it mean that those conducting the reanalysis did?“

Unabhängig von dieser ‘dunklen Seite’ der offenen Daten glaubt Keith Baker nicht, dass diese zu mehr Replikationen führen würden: „Simply placing more data out there would do little to address these issues as they are not driven [by] data but by the fundamental structure of the tenure system – publish or perish and citation chasing encourages novelty.“ Das unterstreicht auch Angela Evans, die auch in Bezug auf die Publikation von Nullergebnissen noch hinzufügt: „will funding be available for null hypothesis and replication?“ Und Raul Pacheco-Vega ergänzt: „Let’s not forget the fact that I’m a pre-tenure […] – what if someone who writes/analyzes data faster than me comes up with a faster analysis than I can possibly produce? My tenure committee isn’t going to judge me for data production, they’ll judge me for publications in high impact journals).[…] I am not ok with someone publishing a paper with my database BEFORE [sic] I get a chance to do so.“

offene Daten und qualitative Forschung?

Skepsis herrscht bei einigen Kommentatoren zudem in Bezug auf die Passfähigkeit offener Wissenschaft, und insbesondere offener Daten, zu qualitativen Methoden der Datenerhebung. Die Veröffentlichung qualitativer Daten ist technisch häufig schwieriger und aus Datenschutzgründen oft auch nicht zulässig. Daher merkt Keith Baker an: „A move to ‘sharing’ data would effectively shut qualitative research out as ‘unshared’ data would immediate be rendered suspect. Moreover, qualitative studies (which by definition) are contextual would be dismissed as unrepeatable and reviewers (who are often skeptical of qualitative research already) would be further emboldened to dismiss the methodology.“

Neben dieser großen Debatte um die Veröffentlichung von Daten, wird zudem das Thema ‚pre-registration‘ diskutiert. Eine solche Vorab-Registrierung von Forschungsdesigns soll dazu beitragen, dass sauber in hypothesentestende und hypothesengenerierende Studien unterschieden werden kann und letztlich auch mehr Nullergebnisse publiziert werden.

Insgesamt fällt an der Diskussion um offene Wissenschaft in der Community der Verwaltungsforscher auf, dass Open Access – nämliche hohe Gebühren, die für den sogenannten goldenen Open Access anfallen, lange Embargofristen für grünen Open Access und fehlende open access-Journals – gar nicht besprochen wird. Offene Methoden spielen auch nur am Rande eine Rolle. Wo aber große Uneinigkeit und eine emotionale Diskussion herrscht, das ist die Veröffentlichung von rohen Daten. Der Mehrwert offener Daten für Wissenschaft und Gesellschaft wird von den meisten zwar gesehen, aber nicht von allen als ausreichend angesehen, um den Aufwand und die Risiken, die mit offenen Daten einhergehen können, zu rechtfertigen. Insofern scheint Lars Tummers mit seiner Feststellung, dass es an einer offenen Forschungskultur fehlt, schon einmal richtig zu liegen.

Was ist aber abseits, von Einstellungen und Kultur die Sachlage in Bezug auf offene Wissenschaft? In Folgeartikeln werde ich der nächsten Zeit den Stand der Dinge in Sachen open access, open data und open methods im Bereich der Verwaltungsforschung darstellen.