Failure is an option (english article)

No research project is successful and perfect from the beginning. Many scientists make mistakes, learn from them and begin anew. But this fact is rarely spoken about. This has to be done much more: in journals and at conferences.

Reporting about mistakes and failed research is part of open science. This does not include non-results but instead, the methods and designs that went wrong due to one’s own decisions or external conditions should be published. In journals, at least in Public Management, there has been no room for this and normally scientists do not like to talk about their failure (in public). Who likes to admit to not having considered something or making mistakes.

Error Culture

However, this handling of mistakes is surprising since most research is based on trial and error. With the exception that one hardly ever speaks about trial and error when the final result is in. Especially to newcomers studies that directly come to the right solution seem like magic. It seems that only their own research does not work out.

Additionally, cumulative dissertations and the general pressure to publish tempt researchers to publish every study instead of conducting a series of (failed) studies.

Open Lab Notebooks

One solution to these problems is already common in some disciplines: open laboratory notebooks. In such diaries, the scientist regularly notes the progress of the study but also, the things that did not work as planned. When these notes are made accessible openly (e.g. on GitHub) they can be easily retrieved by everyone. The problem with this is, that most likely only a few scientists will look into these project-logs before they plan a study. The same applies to personal blogs or websites where scientists document the progress of their scientific projects in more detail. This openness is commendable, however, will probably not reach enough readers.

The ‚Failure‘-Section in Journals

This is the reason why failed trials, in my opinion, belong to journals and conferences. A forthcoming special issue of the International Journal for Qualitative Methods offers a great start. For a special issue on „Qualitative and Mixed Method Failures“ researchers had been invited to report on situations and events „in which [their] choices, presence, or influence contributed conceivably to an adverse or undesirable research process or outcome(s)” (IJQM 2019). Such articles one normally looks for, even in method journals, in vain. Especially these journals could use a section on learnings. And also in disciplinary journals, it seems a good idea to me when problems refer to specific populations (e.g. public administration) or discipline-specific methods.

It would also be possible to integrate a section of “learnings” into the actual research paper. In my experience, most researchers report fairly transparent about their research process, but mostly these passages are eliminated first from their articles. And in the end, no one can read up on it. So why should this issue not be included in a structured abstract? Besides ‘results‘, ‘method‘ and ‘practitioner points‘ there would also be ‘failures and learnings‘.

The ‚Fuck Up‘-Panel

In addition, and even better before, failed research designs and methods should be discussed more intensely at conferences. Inspired by so-called fuck up nights, in which founders talk about failed start-ups, stories on failure could be told in conference presentations. Either in an own panel or even better in the regular tracks. Especially in relatively fixed special interest groups that regularly meet up and are loyal communities, no fear should arise that admitting to such mistakes could hurt one’s career.

This possibly could disenchant some scientific stars but at the same time, it would make them more approachable and human. Because: failure is success in progress.


This article has already been published in a german version here.

Translation by Lisa-Sophia Preller.

Failure is an option (deutsch)

Kein Forschungsprojekt gelingt von vornherein perfekt. Viele WissenschaftlerInnen machen Fehler, lernen daraus und beginnen von vorn. Nur wird darüber öffentlich selten gesprochen. Das sollten wir viel mehr tun: in Journals und auf Konferenzen.

Es ist auch Teil von offener Wissenschaft, transparent über Fehler und missglückte Forschung zu berichten. Das meint nicht die Publikation von Nullergebnissen, sondern Methoden und Designs, die aufgrund eigener Entscheidungen oder externer Rahmenbedingungen schief gegangen sind. In unseren Journals, zumindest im Public Management, gibt es hierfür bisher keinen Platz und in der Regel sprechen WissenschaftlerInnen hierüber (öffentlich) nicht gern. Wer gibt schon gern zu, was man nicht bedacht oder worin man sich geirrt hat.

Fehlerkultur

Dennoch verwundert dieser Umgang mit Fehlern, denn die allermeiste Forschung basiert auf trial and error. Nur dass über die trials and errors oft niemand spricht, wenn dann das endgültige Ergebnis da ist. Gerade für Neulinge in der Forschung erscheint es oft magisch, wie Studien direkt zur richtigen Lösung gelangt sind. Nur bei der eigenen Forschung klappt es dann vermeintlich immer nicht.

Hinzukommt, dass kumulative Promotionen und der allgemeine Publikationsdruck dazu verleiten, jede Studie publizieren zu wollen, statt Folgestudie um Folgestudie durchzuführen.

offene Labortagebücher

Eine Lösung für solche Probleme ist in einigen Disziplinen schon verbreitet: die offenen Labortagebücher. In einem solchen Tagebuch notiert man regelmäßig den Fortgang einer Studie und vermerkt eben auch, was nicht geklappt hat. Wenn diese Notizen nun offen zugänglich gemacht werden (z.B. auf github), sind sie für alle nachlesbar. Das Problem daran ist, dass wahrscheinlich nur wenige Forscher in solche Projekt-Logs hereinschauen, bevor sie eine Studie planen. Das gleiche gilt für eigene Blogs oder Webseiten, auf denen ForscherInnen den Fortgang ihrer Forschungsprojekte ausführlich dokumentieren. Lobenswert ist diese Offenheit in jedem Fall, nur erreicht sie wahrscheinlich nicht genug Leser.

‚failure‘-Sektionen in Journals

Deshalb gehören solche missglückten Versuche meiner Meinung nach in unsere Journals und auf unsere Konferenzen. Ein in Produktion befindlicher Special Issue des International Journal für Qualitative Methods macht hier einen tollen Aufschlag. Für ein Themenheft zu „Qualitative and Mixed Method Failures“ waren ForscherInnen eingeladen über Situationen oder Ereignisse zu berichten, „in which [their] choices, presence, or influence contributed conceivably to an adverse or undesirable research process or outcome(s)” (IJQM 2019). Solche Artikel sucht man sonst, auch in den Methoden-Journals, vergeblich. Gerade in diesen Zeitschriften könnte aber eine regelmäßige Sektion zu learnings nicht schaden. Und auch in den fachspezifischen Zeitschriften scheint mir dies eine gute Idee, wenn sich Probleme beispielsweise auf spezielle Populationen (z.B. Public Administration) oder fachspezifische Methoden beziehen.

Es wäre auch denkbar, eine solchen Abschnitt zu „learnings“ in die eigentlichen Forschungspapiere zu integrieren. Meiner Erfahrung nach berichten die meisten ForscherInnen sogar ziemlich transparent über ihren Forschungsprozess, häufig ist dies aber die erste Streichmasse in den Artikeln. Und am Ende kann es dann eben keiner mehr nachlesen. Warum also nicht beispielsweise diesen Punkt in ein strukturiertes Abstract integrieren? Neben ‚results‘, ‚method‘ und ‚practitioner points‘ gibt es dann eben auch ‚learnings‘.

das ‚fuck up‘-Panel

Darüber hinaus, und am besten sogar vorgelagert, müssen missglückte Forschungsdesigns und Methoden auch viel stärker auf Konferenzen diskutiert werden. Inspiriert von sogenannten fuck up nights, in denen GründerInnen von gescheiterten Start-Ups erzählen, könnte es solche Geschichten des Scheiterns auch bei Konferenzpräsentationen geben. Entweder in einem eigenen Panel oder noch viel besser in den themenspezifischen Tracks. Gerade bei relativ festen Special Interest Groups, die sich regelmäßig sehen und eine loyale Gemeinschaft sind, dürfte dann auch wenig Angst herrschen, dass solche eingestandenen Fehler einem schaden.

Das entzaubert dann möglicherweise die ein oder andere wissenschaftliche Ikone, macht sie aber gleichzeitig nahbarer und menschlich und die Wissenschaft weitaus ehrlicher. Denn: failure is success in progress.


Eine englische Übersetzung des Beitrags findet sich hier.

Pre-print: digitale Vorabdrucke schaffen Feedback und offenen Zugang

‚Digitale Vorabdrucke‘ sind eine Möglichkeit Artikel auf grünem Wege offen zu publizieren. Sogenannte pre-prints erscheinen digital vor Veröffentlichung eines Beitrags. Vorteil ist, dass so lange Publikationszeiten überbrückt werden können. Auch kann vor Einreichung zur Publikation Feedback eingeholt werden.

Man kann Artikel vorveröffentlichen, ohne dass diese bereits für eine Publikation angenommen wurden. So wird es möglich ein innovatives Thema für sich zu besetzen oder auch vor der Einreichung zu einem Journal Feedback zu erhalten. Problematisch kann durchaus werden, dass viele Verlage nur solche Werke veröffentlichen, die vorher noch nicht publiziert worden sind. Das heißt zwischen pre-print und Einreichung sollte sich ein Artikel weiterentwickeln oder beispielsweise eine Übersetzung erfolgen. Ich kenne bisher aber keine Fälle, in denen Artikel aufgrund eines pre-prints abgelehnt wurden.

 

Schönes Beispiel für Feedback und Verbesserung eines Artikels durch pre-print

Ist ein pre-print geplant, wenn ein Beitrag schon für eine Veröffentlichung angenommen wurde, muss zunächst geprüft werden, ob dies im Verlagsvertrag explizit ausgeschlossen. Meiner Erfahrung nach sind pre-prints von Buchkapiteln meist nicht möglich, von Journalartikeln in der Regel aber schon. Wichtig ist dann jedoch, dass die Version des Artikels als pre-print abgelegt wird, die noch nicht für das Journal gesetzt wurde, sondern eine selbst erzeugte Datei. Uneinigkeit besteht darüber, ob nur die Ursprungsversion eines Artikels oder auch die Version nach Abschluss des Reviewverfahrens und einer entsprechenden Überarbeitung vorab veröffentlicht werden darf. Meiner Ansicht nach macht es aber keinen Sinn, mehrere Überarbeitungsstände eines Artikels zu veröffentlichen, dies sorgt für die Leser wahrscheinlich nur für Verwirrung. Ich würde daher daher stets versuchen, die Version des Artikels als pre-print abzulegen, die so (textlich, aber ohne Layout) veröffentlicht werden soll.

Wo veröffentlichen?

Beide Formen von pre-prints können in Archiven wie Zenodo, SocArxiv oder Github abgelegt werden. Hier  findet sich eine hilfreiche Entscheidungsvorlage, welches Archiv für welche Zwecke geeignet ist. Ich habe mich für meine pre-prints für SocArxive entscheiden, weil es in den Sozialwissenschaften wohl das meist verbreitete ist und, etwa im Gegensatz zu Researchgate, auf non-profit-Basis arbeitet. Ich kann meinen Account dort zudem mit OSF (open science framework) verbinden und dort beispielsweise eine Präregistrierung oder offene Datensätze zu einem Projekt ergänzen.

Werden pre-prints in solchen Archiven abgelegt, erhält der Beitrag eine DOI. Wird der Beitrag später veröffentlicht kann auch die „Print-DOI“ hinzugefügt werden. Als problematisch könnte sich hier durchaus herausstellen, dass am Ende zwei DOIs für den gleichen Beitrag existieren und dies beispielsweise Schwierigkeiten bei der Zählung der Zitationen erzeugen kann. Dies sollte in Zukunft geklärt werden.

Für mich liegen die Vorteile von pre-prints dennoch auf der Hand. Für bereits angenommen Beiträge stellen diese eine für die Autoren kostenfreie Weise der Open Access-Schaffung dar und sorgen dabei noch für eine schnelle Publikation. Wer Angst vor Themenklau hat, kann auch Beiträge öffentlich machen, die noch nicht für eine Publikation eingereicht wurden. Ich habe beispielsweise einen Konferenzartikel als pre-print publiziert, der eine Skalenentwicklung skizziert, die noch nicht abgeschlossen ist. Ich erhoffe mir davon einerseits Feedback im laufenden Forschungsprozess, auch außerhalb von Konferenzdiskussionen. Andererseits würde ich mich, wenn parallel schon andere Wissenschaftler mit meinen entwickelten Items arbeiten und damit zur Validierung der Skala beitragen. Und zuletzt möchte ich auch vermeiden, dass mir jemand mit diesem Thema zuvorkommt beziehungsweise ich zeigen kann, dass ich schon an dem Thema arbeite.

Beispiele

Hier findet ihr meine ersten beiden pre-prints, die beide übrigens bereits am ersten Tag schon mehrmals heruntergeladen wurden:

Ich freue mich über euer Feedback!

Diss-Daten: teilen oder nicht teilen?

Skizze eines (noch nicht ganz abgeschlossenen) Entscheidungsprozesses

Doktorandinnen, die von offener Wissenschaft überzeugt sind und ihre Daten veröffentlichen wollen, unterlassen dies dennoch häufig aufgrund vermeintlicher formaler Hürden und fehlender Ansprechpartnerinnen (Kindling 2013: 20f.). Weil auch ich die Daten, die meiner Dissertation zugrunde liegen, veröffentlichen möchte, habe ich mich lange und an vielen Stellen informiert, was auf welche Art und Weise erlaubt und möglich ist. Um anderen den Entscheidungsprozess hin zu offenen Forschungsdaten aus der Promotion zu erleichtern, möchte ich im Folgenden skizzieren, welche Punkte ich abgewägt habe und warum ich zu welchen Entscheidungen gelangt bin.

Wem gehören eigentlich ‚meine‘ Daten?

Immer wieder kursiert das Gerücht, dass Forschungsdaten, die im Rahmen einer Anstellung als Doktorandin oder auch Postdoktorandin an einer Universität entstehen, der Universität ‚gehören‘. In Deutschland ist dies in der Regel nicht so. Hierfür ist es zunächst wichtig zwischen Urheber- und Nutzungsrechten zu unterscheiden. Das Urheberrecht an Forschungsdaten haben die Forschenden, die an der Datenerhebung maßgeblich beteiligt waren. Also beispielsweise diejenigen, die ein Fragebogendesign entwickelt und eine Befragung durchgeführt oder etwa im Feld beobachtet haben. Wichtig ist, dass ein Urheberrecht nur entsteht, wenn tatsächlich ein Werk geschaffen wird. Das ist beispielsweise nicht der Fall, wenn ein Satellit automatisiert Daten auswirft, die dann analysiert werden können oder wenn vorhandenes Material, wie Steine oder Werke anderer, gesammelt werden. Statt einem Urheberrecht können auf diese Datensammlungen aber Datenbankrechte entstehen. Schwieriger ist dies mit Datenmaterial, auf das andere einen Urheberrechtsanspruch haben, etwa Filme, Fotos oder Literatur. Hier muss im Einzelfall geprüft werden, ob eine Veröffentlichung als Datensatz dennoch möglich ist.

Wer jedoch Urheber eines Werkes ist, kann dieses persönliche Recht, zumindest nach deutschem Recht, nicht abtreten. Abgetreten werden können jedoch Nutzungsrechte. Dies geschieht in der Regel, wenn Lizenzen vergeben oder beispielsweise Verlagsverträge geschlossen werden. Ein Nutzungsrecht an Forschungsdaten kann durchaus an den Arbeitgeber übergehen, dies muss aber im Arbeitsvertrag festgehalten sein. Wenn letzteres der Fall ist, steht aber dennoch zur Disposition, ob dies nicht angefochten werden könnte. Denn Nutzungsrechte dürfen eigentlich immer nur an einem konkreten Werk abgetreten werden und nicht generell für eine Arbeitstätigkeit.

Zusammengefasst heißt das: meine Diss-Daten ‚gehören‘ in den meisten Fällen und in den Sozialwissenschaften in der Regel tatsächlich mir, möglicherweise aber auch anderen Miturhebern aus dem Forschungsteam. Über die Weiterverwendung von Forschungsdaten entscheiden alle Urheber gemeinsam. Das heißt mit einer Veröffentlichung der Daten müssen alle Urheber einverstanden sein. Wenn die Daten dann veröffentlicht werden, treten die Urheber bestimmte Nutzungsrechte an ihrem Datenwerk ab. In welchem Umfang genau, regelt die festgelegte Lizenz. Es bestehen in der Praxis jedoch berechtigte Zweifel, ob es sinnvoll ist, eingeschränkte Lizenzen auf Datensätze zu vergeben. Eine nicht-kommerzielle Nutzungseinschränkung (CC by-nc) etwa würde die Weiterverwendung der Daten in der Wissenschaft untersagen, denn ein Wissenschaftler würde damit streng genommen sein Geld verdienen. Eine Einschränkung der Rekombination und Veränderung der Daten (CC by-nd) würde beispielweise die Analyse von einer Kombination aus mehreren Datensätzen untersagen.

Geht das überhaupt im Promotionsverfahren?

Es spricht zunächst einmal formal nichts gegen die Veröffentlichung von Forschungsdaten, die im Rahmen einer Dissertation erhoben wurden. Ganz im Gegenteil arbeiten manche Doktorandinnen sogar mit bereits veröffentlichten Daten. In jedem Fall sollte zunächst ein Blick in die eigene Promotionsordnung geworfen werden. Hier werden aber zum jetzigen Stand an deutschen Universitäten weder Angaben zum Forschungsdatenmanagement im Allgemeinen, noch zur Datenpublikation gemacht. Wichtig ist es jedoch meiner Ansicht nach den Zeitpunkt der Datenpublikation zu bedenken. Denn veröffentliche ich Daten aus meinem Dissertationsprojekt direkt nach dem Erheben, ohne selbst schon einen Artikel oder die gesamte Dissertation zu diesen Daten veröffentlicht zu haben, kommt mir möglicherweise eine andere Wissenschaftlerin zuvor und meine Doktorarbeit oder ein Teil davon hat keinen Neuigkeitswert mehr.

Auch sollte mit Doktormutter oder -vater Rücksprache über eine Datenpublikation gehalten werden und eine solche nicht gegen deren Willen geschehen. Wer schon früh weiß, dass die eigenen Forschungsdaten veröffentlicht werden sollen, sollte das früh im Betreuungsverhältnis zur Diskussion stellen und gegebenenfalls die Betreuerin entsprechend auswählen.

Wann und wie veröffentlichen?

Ich habe mich bei meiner eigenen Promotion dagegen entschieden, die erhobenen Befragungsdaten direkt nach deren Erhebung zu veröffentlichen. Ich habe viel Arbeit in die Konzeption der Datenerhebung und deren Durchführung gesteckt und möchte diejenige sein, die auf Basis dieser Daten zuerst publiziert. Daher kommen für mich zwei Szenarien in Frage: (1) ich veröffentliche die Daten als Zusatzmaterial zu einer ersten Publikation. Eine solche Variante bietet sich vor allem für kumulative Promotionen an. Wenn auf Basis der gleichen Forschungsdaten jedoch auch ein weiterer Artikel geplant ist, sollte auch hier abgewogen werden, ob die Gefahr besteht, dass einem damit jemand zuvorkommen könnte, wenn die Daten frei verfügbar sind.

Wenn die im Dissertationsprojekt erhobenen Daten jedoch nicht nur aus Transparenz- und Replikationsgründen an einer Veröffentlichung ‚dranhängen‘ sollten, sondern diese es wert sind auch von andern Wissenschaftlerinnen analysiert zu werden, dann bietet sich eine eigenständige Datenpublikation an. Hier kann eine (2) Embargolösung gewählt werden. Embargos kennen viele als von Verlagen auferlegte Frist, die bis zur eigenen offenen Veröffentlichung von Artikeln auf grünem Wege eingehalten werden muss. Auch Datenrepositorien bieten solche Embargolösungen an. Dann kann ein Datensatz zwar schon hinterlegt, Metadaten zugänglich gemacht und der Datensatz schon mit einer DOI versehen werden, aber in die Daten tatsächlich hereinschauen oder diese sogar verwenden, kann eben noch keiner. Vorteil einer eigenständigen Datenpublikation ist dann beispielweise, dass zählbare Zitationen dieser Daten möglich sind.

Zusammengefasst: Zunächst sollte man ehrlich entscheiden, ob eine Datenpublikation als Anhang einer Textpublikation ausreicht oder ob die erzeugten Forschungsdaten tatsächlich eine eigenständige Datenpublikation wert sind. Dann sollte, und das ist sicher immer auch eine karrieretaktische Entscheidung, überlegt werden, zu welchem Zeitpunkt im Promotionsprozess die Daten veröffentlicht werden sollen.

Wer kann bei der Entscheidungsfindung helfen?

Promotionsbetreuende, bereits promovierte Kolleginnen aus der Fachgemeinschaft, Forschungsdatenreferentinnen, Bibliothekarinnen, Open Access-Beauftragte, Promotionsbeauftragte – je nach konkreter Fragestellung! Die eigenen Promotionsbetreuenden und andere Wissenschaftlerinnen aus dem eigenen Fachgebiet sollten Auskunft darüber geben können, ob und auf welche Weise Datenpublikationen im Fachgebiet üblich sind und welche Chancen, aber auch Hürden, diese möglicherweise für eine weitere wissenschaftliche Karriere bieten. Für rechtliche und technische Fragen können in den meisten Universitäten die Referentinnen für Forschungsdatenmanagement oder Open Access befragt werden, die zumeist an den Universitätsbibliotheken angesiedelt sind. Auch Mitarbeiterinnen von Forschungsdatenrepositorien oder Forschungsdatenzentren können Auskunft geben. Etwa kann für sozialwissenschaftlichen Themen die Projektberatung beim Gesis in Anspruch genommen werden. Zudem arbeiten universitätsübergreifend gerade einige Projekte an Richtlinien und Leitfäden für das Management und die Publikation von Forschungsdaten. Das Projekt DataJus an der TU Dresden beschäftigt sich etwa mit den rechtlichen Rahmenbedingungen von Forschungsdaten und deren Management. Im Projekt FDMentor sollen Strategien für das Forschungsdatenmanagement an Hochschulen und entsprechende Beratungs- und Trainingskonzepte entwickelt werden.

Meine eigene Entscheidung?

Nachdem ich mir zu Beginn meiner Promotion ziemlich sicher war, dass ich meine Daten rasch veröffentlichen möchte, haben sich vor allem nach Gesprächen mit Kolleginnen aus meinem Fachgebiet Zweifel eingestellt. Ich habe viele meiner Fragen ausführlich mit allen möglichen oben aufgezählten Ansprechpartnern besprochen und von allen Seiten beleuchtet. Nachdem ich zwischenzeitlich entschieden hatte, die Daten meiner Dissertation erst mit Beendigung des Promotionsverfahrens zu veröffentlichen, sympathisiere ich gerade sehr mit einer Embargolösung in einem Datenrepositorium.

Gerade weil offene Forschungsdaten, und dann auch noch die einer Dissertation, in den Sozialwissenschaften überhaupt nicht verbreitet sind, ist es nicht einfach als Doktorandin eine zufriedenstellende und unkomplizierte Antwort auf die Frage ‚Daten teilen oder nicht teilen‘ zu bekommen. Eben weil dieser Entscheidungsfindungsprozess nicht einfach ist, sollte meiner Ansicht nach jede Promovierende schon frühzeitig im Promotionsprozess zumindest beginnen, sich mit dieser Frage auseinander zu setzen.