L’ouverture des données de la recherche sur les plateformes de science ouverte a un impact sur les usages qui en sont faits. Dans le domaine de la psychologie, les enjeux sont multiples, de la publication des articles à la reproductibilité des expériences.
Spécificités de la psychologie
Une grande diversité intra-disciplinaire
La psychologie est une discipline relativement récente, puisqu’elle ne commence à être constituée comme science indépendante qu’à partir du XXème siècle, et particulièrement foisonnante : dans le même temps il s’agit d’un domaine complexe, qui comprend de nombreux sous-champs bien distincts et très spécialisés. Si ceux-ci ont tous en commun une volonté de comprendre les comportements humains, leurs objets comme leurs méthodologies diffèrent : là où la psychologie clinique va s’intéresser au vécu du patient et à l’étiologie de ses symptômes, la psychologie du travail peut élaborer des tests de personnalités, la neuropsychologie va analyser IRM et EEG, la psychologie du développement pratiquera des études longitudinales… Et ces différents champs de la psychologie n’ont pas forcément non plus les mêmes besoins – que cela soit en termes de pratiques, de méthodologie de recherche, etc.
Une discipline majoritairement anglophone
La psychologie américaine est particulièrement prégnante dans le domaine, et domine la discipline depuis ses débuts, au travers de nombreux courants et écoles de pensées.
La langue de publication majoritaire dans la discipline est l’anglais, aussi peu de revues ou publications dans les langues nationales permettent d’obtenir une véritable reconnaissance ; et jamais comparables aux revues anglophones. Dans le contexte actuel où il peut être difficile pour les chercheurs de distinguer les revues sérieuses des revues prédatrices, voire plus simplement peu scientifiques, l’APA (American Psychological Association), qui fait office de référence dans le domaine, propose régulièrement une liste des revues de référence[1]. Celle-ci reflète les orientations de la discipline, puisqu’à peine 3% des revues qui y sont citées sont francophones[2], et a soulevé de nombreuses protestations (Laurens, S., 2009), les indicateurs utilisés pour l’étalonner ignorant des revues nationalement reconnues.
Ceci explique certainement pourquoi il y a peu d’initiatives au niveau national pour la création de plateformes et portails destinées à la science ouverte, bien qu’un certain nombre d’initiatives européennes aient vu le jour ces dernières années[3].
L’American Psychological Association
Ainsi que nous l’avons mentionné plus haut, l’APA (American Psychological Association) est une véritable institution dans le domaine, et propose aussi bien des références pour les normes appliquées au champ disciplinaire, que de nombreuses publications et services ; elle émet également des recommandations.
L’APA diffuse notamment via son site des ressources, destinées principalement aux documentalistes, auteurs, enseignants et étudiants ; ainsi qu’un « APA Databases and Electronic Resources » (notamment, la base de données PsycNet[4]). Cependant l’essentiel de ces documents ne sont pas accessibles librement ; le modèle de financement de l’APA se faisant par abonnement, généralement via des institutions, mais des solutions payantes sont également proposées aux particuliers.
Cependant, l’APA s’engage également vers la science ouverte, et propose, notamment par un partenariat avec le Center for Open Science, une base de données, PsyArxiv[5] destinée à la publication de preprint, et encourage également aux dépôts de données de la recherche sur la plateforme OSF du Center for Open Science, ou sur des bases de données spécialisées[6], et renvoie également vers des sites permettant le dépôt de datasets[7].
L’association met également en avant l’ouverture des données de la recherche, la récompensant par des badges[8] décernés aux revues la mettant en œuvre. Elle s’engage aussi en manifestant son soutien aux principes FAIR[9] et propose des recommandations et guides.
Les enjeux d’une science ouverte
Les enjeux de l’ouverture des données de la recherche
En 2011, un scandale a éclaté dans le domaine de la psychologie : Diederik Stapel, un éminent chercheur en psychologie sociale de l’Université de Tilburg aux Pays-Bas, a été reconnu coupable de fraude : depuis plusieurs années, il publiait des résultats falsifiés ; à l’insu du monde de la recherche – y compris de ses co-auteurs et doctorants, auquel il ne communiquait pas ses données[10].
Cette affaire, qui a causé un véritable choc, a cependant le mérite de questionner les pratiques des chercheurs ; dans un champ disciplinaire traditionnellement relativement opaque, et mettre en avant la nécessité de diffuser non seulement les résultats, mais également l’ensemble des données de la recherche.
Afin de répondre à ces problématiques, plusieurs initiatives ont été mises en place dans la discipline.
D’une part, l’exigence par certaines revues à fort impact de la publication des jeux de données associées aux articles publiés dans leurs pages a un effet vertueux.
D’autre part, dans le but d’éviter, non pas les fraudes, mais les manipulations a posteriori des données non justifiées, certains sites ont mis en avant la possibilité de créer des « pré-enregistrements »[11] des expériences avant même la collecte des données : le chercheur peut ainsi « créer » virtuellement son expérience, élaborer et dater les hypothèses de travail. Cela permet de réduire les écarts entre ce qui est annoncé et ce qui sera effectivement mis en œuvre, ainsi que le risque de manipulation des statistiques a posteriori. La possibilité de mettre en œuvre un « peer review » avant même la collecte des données ouvre également des possibilités intéressantes : amélioration de la méthodologie, amélioration du design de l’expérience, ou certitude de pouvoir en publier les résultats quels qu’ils soient (Chambers, 2013) (Lantian, A., 2020).
Le « Reproducibility Project »
A l’instar d’autres sciences, la psychologie a connu ce que d’aucuns nomment une « crise de la reproductibilité » : une prise de conscience de la difficulté qu’il peut y avoir à répliquer les résultats obtenus dans les expériences.
C’est d’un questionnement à ce sujet qu’est né le « Reproductibility project »[12], mené par le psychologue Brian Nosek. Il s’agissait de tester la reproductibilité de la recherche en psychologie, en mettant en place des protocoles aussi proches que possible des expériences initiales, choisies dans des revues reconnues dans le domaine (le Journal of Personality and Social Psychology, Psychological Science et le Journal of Experimental Psychology: Learning, Memory and Cognition), en faisant appel à des chercheurs bénévoles. Les résultats, publiés à partir de 2015, ont montré que sur les 100 expériences testées, seulement 36 obtiennent des résultats statistiquement significatifs (alors que les publications faisaient état de résultats significatifs pour 97 sur 100). Ces divergences dans les résultats n’invalident pas nécessairement l’ensemble des recherches (Martone et al., 2018), mais soulignent la nécessité pour les chercheurs de pouvoir disposer de l’ensemble des données originales.
Des oppositions à l’ouverture des données
Il existe cependant des voix qui s’interrogent, voire s’élèvent contre le partage ouvert des données de la recherche, pour des raisons très diverses. Outre l’obstacle du temps passé à préparer et publier les données, et le manque de connaissance des outils numériques permettant la publication ; certains y sont réticents par crainte de se voir ’doubler’ par d’autres chercheurs ; ou s’interrogent (parfois légitimement) sur le risque de réactions à leur endroit à la publication de leurs résultats. D’autres s’inquiètent quant à la possibilité de garantir la confidentialité de données sensibles, et des risques légaux comme éthiques qui découlent de leur partage.
Enfin, il existe un réel questionnement sur l’utilité d’une telle pratique d’une part ; nombre de chercheurs jugeant peu probable que l’ensemble de leurs données soient réutilisées ou même simplement consultées par d’autres – voire s’interrogeant sur l’utilité qu’il peut y avoir à engager temps et ressources à reproduire des expériences passées, ou à réutiliser des données peut-être obsolètes (Nuijten et al., 2017) (Fiedler, K., Prager, J., 2018).
Un exemple de travail collaboratif
La plateforme OSF (Open Science Framework)
La plateforme OSF (Open Science Framework) a été créée par le COS (Center for Open Science), qui est une organisation américaine à but non lucratif. Elle a été conçue comme une plateforme destinée à faciliter le travail collaboratif, l’échange entre les chercheurs, et les principes de la science ouverte. Elle permet d’y déposer tous les éléments permettant de documenter la recherche (hypothèses de recherche, protocoles expérimentaux, outils et modes d’emploi, résultats obtenus…), et en faciliter la réutilisation comme la réplication.
Les premiers travaux qui y sont initiés l’ont été dans le cadre du « Reproducibility Project » de Brian Nosek, qui a été suivi de travaux similaires sur la reproductibilité d’expériences de biologie sur le cancer[13]. C’est actuellement une plateforme multidisciplinaire, qui soutient autant que possible les principes FAIR (Findable, Accessible, Interoperable, Reusable) et la science ouverte (les licences sur la plateforme sont toutes de type Creative Commons).
Description de la plateforme
OSF est une plateforme collaborative Open science, qui propose plusieurs types de services à destination de la communauté des chercheurs, mais pas exclusivement puisqu’elle autorise 3 types d’inscription : avec identifiant ORCID, via une institution, ou une inscription libre, ce qui permet à tout un chacun de créer (ou collaborer à) des expériences.
Elle offre la possibilité de créer des expériences de façon individuelle comme collaboratives (il est possible d’inviter une équipe), de les élaborer en déterminant si l’on veut procéder à un pré-enregistrement, de proposer les différents fichiers et outils permettant sa mise en œuvre, d’expliquer l’analyse menée et comment répliquer les résultats (ou d’offrir des pistes pour sa réutilisation), et d’inclure les résultats obtenus, leur analyse, les éventuels liens. L’utilisateur peut choisir de partager avec une équipe ou ouvrir au public tout ou partie des données de la recherche, en choisissant quelle partie du travail il souhaite rendre publique.
La plateforme offre également la possibilité de se connecter avec différents outils (tels que Dropbox, GoogleDrive, et bien d’autres), ce qui permet une collaboration simplifiée et intuitive.
En 2017 elle s’adjoint StudySwap[14] une plateforme de partage de recherche, de réplication et d’échange avec d’autres chercheurs, qui permet notamment de signaler l’existence de données utilisables.
Conclusion : les points de vigilance pour l’ouverture de la science
De nombreuses initiatives voient le jour dans le domaine de la psychologie, bien qu’il reste encore un long chemin à parcourir pour une recherche plus ouverte et accessible à tous.
Menées par la question de la vérifiabilité et reproductibilité des données, les interrogations actuelles, et leur mise en œuvre par divers acteurs reconnus dans la discipline tentent d’ébaucher des réponses au besoin de disposer de données de qualité et vérifiables – et particulièrement de jeux de données clairement décrits, aux utilisations explicitées et reproductibles, et réutilisables pour d’autres recherches.
Les initiatives allant dans le sens d’un travail collaboratif et de l’ouverture de la science voient peu à peu le jour (on peut citer, par exemple, le « Psychological Science Accelerator »[15], qui cherche à fédérer un ensemble de laboratoires du monde entier), ce qui a un effet d’émulation.
Un important travail reste cependant à accomplir, notamment d’information, mais aussi de formation de chercheurs ; et il semble important d’appuyer également la création de système européen, fussent-ils anglophones, afin de satisfaire aux exigences, en particulier légales, qui ont cours sur notre continent.
Notes
[1] https://www.apa.org/pubs/databases/psycinfo/coverage
[2] celle-ci est reprise par l’HCERES https://www.hceres.fr/sites/default/files/media/downloads/Guide%20des%20produits%20de%20la%20recherche%20et%20des%20activite%CC%81s%20de%20recherche%20-%20Sous-domaines%20SHS%204%20-%20Discipline%20psychologie.pdf
[3] On peut citer notamment https://psychopen.eu et https://psych.eu/fr-fr
[4] https://www.apa.org/pubs/databases/psycnet
[7] https://www.apa.org/research/responsible/data-links
[8] https://www.apa.org/pubs/journals/resources/data-sharing
[9] https://www.apa.org/pubs/journals/resources/data-sharing-video
[10] https://www.apa.org/science/about/psa/2011/12/diederik-stapel
[11] Les sites https://osf.io/ ou https://aspredicted.org/ proposent notamment cette possibilité
[12] https://osf.io/ezcuj/wiki/home/
[13] https://osf.io/e81xl/wiki/home/
[14] https://osf.io/meetings/studyswap/
Bibliographie
An Open, Large-Scale, Collaborative Effort to Estimate the Reproducibility of Psychological Science. (2012). Perspectives on Psychological Science, 7(6), 657–660. https://doi.org/10.1177/1745691612462588
Open Science Collaboration, « Estimating the reproducibility of psychological science », Science, vol. CCCXLIX, n° 6251, 28 août 2015
Althaus, V. (2019). Le capitalisme à l’assaut des sciences humaines et sociales : l’exemple des revues payantes en psychologie. Zilsel, 2(2), 9-24. https://doi.org/10.3917/zil.006.0009
Chambers CD. (2013). Registered reports: a new publishing initiative at Cortex. Cortex. 2013 Mar;49(3):609-10. doi: 10.1016/j.cortex.2012.12.016. Epub 2012 Dec 26. PMID: 23347556.
Chartier, C. R., Riegelman, A., & McCarthy, R. J. (2018). StudySwap: A Platform for Interlab Replication, Collaboration, and Resource Exchange. Advances in Methods and Practices in Psychological Science, 574–579. https://doi.org/10.1177/2515245918808767
Crüwell, S., van Doorn, J., Etz, A., Makel, M. C., Moshontz, H., Niebaum, J. C., Schulte-Mecklenbeck, M. (2019). Seven easy steps to open science: An annotated reading list. Zeitschrift für Psychologie, 227(4), 237-248. http://dx.doi.org/10.1027/2151-2604/a000387
von Davier, A., Hao, J., Liu, L., Kyllonen, P., (2017). Interdisciplinary research agenda in support of assessment of collaborative problem solving: lessons learned from developing a Collaborative Science Assessment Prototype. Computers in Human Behavior, Volume 76, Pages 631-640, https://doi.org/10.1016/j.chb.2017.04.059
Fiedler, K., & Prager, J. (2018). The regression trap and other pitfalls of replication science—Illustrated by the report of the Open Science Collaboration. Basic and Applied Social Psychology, 40(3), 115–124. https://doi.org/10.1080/01973533.2017.1421953
Garrett-Ruffin, S., Cowden Hindash, A., Kaczkurkin, A. N., Mears, R. P., Morales, S., Paul, K., Pavlov, Y. G., Keil, A., 2021, Open science in psychophysiology: An overview of challenges and emerging solutions, International Journal of Psychophysiology, Volume 162, Pages 69-78, https://doi.org/10.1016/j.ijpsycho.2021.02.005
Jelmer J. Zondergeld, Ron H.H. Scholten, Barbara M.I. Vreede, Roy S. Hessels, A.G. Pijl, Jacobine E. Buizer-Voskamp, Menno Rasch, Otto A. Lange, … Coosje L.S. Veldkamp (2020). FAIR, safe and high-quality data: The data infrastructure and accessibility of the YOUth cohort study. Developmental Cognitive Neuroscience, Volume 45, 100834, https://doi.org/10.1016/j.dcn.2020.100834
Lantian, A. (2020). Les pratiques de recherche ouvertes en psychologie. Psychologie Française ElsevierMasson, 66. 71-90. 10.1016/j.psfr.2020.09.001, hal-03161592
Laurens, S. (2009). L’étrange classement des revues de psychologie et le cas mystérieux du Bulletin de psychologie. Bulletin de psychologie, 1(1), 67-78. https://doi.org/10.3917/bupsy.499.0067
Les publications de psychologie en langue française. Journée du 3 décembre 2010: Conférence des publications de psychologie en langue française. Bulletin de psychologie, 1(1), 49-53. https://doi.org/10.3917/bupsy.511.0049
Marmion, J. (2017). Malaise dans la recherche. Dans : Jean-François Marmion éd., La psychologie aujourd’hui (pp. 129-132). Auxerre, France: Éditions Sciences Humaines. https://doi.org/10.3917/sh.marmi.2017.01.0129
Martone, M. E., Garcia-Castro, A., & VandenBos, G. R. (2018). Data sharing in psychology. The American psychologist, 73(2), 111–125. https://doi.org/10.1037/amp0000242
Miłkowski, M. & Hohol, M. & Hensel, W. (2018). Replicability or reproducibility? On the replication crisis in computational neuroscience and sharing only relevant detail. Journal of Computational Neuroscience. 1-10. 10.1007/s10827-018-0702-z
Moshontz, H., Campbell, L., Ebersole, C. R., IJzerman, H., Urry, H. L., Forscher, P. S., Grahe, J. E., McCarthy, R. J., Musser, E. D., Antfolk, J., Castille, C. M., Evans, T. R., Fiedler, S., Flake, J. K., Forero, D. A., Janssen, S. M. J., Keene, J. R., Protzko, J., Aczel, B., … Chartier, C. R. (2018). The Psychological Science Accelerator: Advancing Psychology Through a Distributed Collaborative Network. Advances in Methods and Practices in Psychological Science, 501–515. https://doi.org/10.1177/2515245918797607
Nuijten, M., Borghuis, J., Veldkamp, C., Dominguez-Alvarez, L., van Assen, M., Wicherts, J.M. (2017). Journal Data Sharing Policies and Statistical Reporting Inconsistencies in Psychology. Collabra: Psychology 1 January 2017; 3 (1): 31. https://doi.org/10.1525/collabra.102
Simons, D. J., Holcombe, A. O., & Spellman, B. A. (2014). An Introduction to Registered Replication Reports at Perspectives on Psychological Science. Perspectives on Psychological Science, 9(5), 552–555. https://doi.org/10.1177/1745691614543974
Wicherts, J.M., 2013. Science revolves around the data. Journal of Open Psychology Data, 1(1), p.e1. http://doi.org/10.5334/jopd.e1