La difusió d’articles nous per Twitter i el seguiment dels seus comentaris poden ajudar a detectar errors primerencs i, si fos el cas, facilitar la seva retirada per tal de protegir la comunitat general de coneixements equivocats. En un article de Robin Haunschid i Lutz Bornmann [1] es fa palesa aquesta idea a partir de l’estudi de tres casos d’articles recents sobre la COVID-19 que foren posteriorment retractats. Fem un síntesi del seu estudi
La recerca dels errors
Tot article que es publiqui en una revista científica ha de superar un procés de revisió per parells de l’editorial on s’haurien de detectar els possibles errors que contingui. Els més usuals solen ser: errors de dades, equivocacions metodològiques o mala pràctica científica. Zuckerman [2] distingeix entre errors “reputables”, o acreditats, i errors “disreputables”, o de mala fama. Els primers serien aquells que malgrat posar tots els esforços s’acaben colant. I els segons serien aquells que són fruit de no observar una bona pràctica científica. En principi si l’error no és gaire important es publica una correcció i el tema queda solucionat. Però altres vegades, quan l’error es considerable i compromet les conclusions que se n’havien extret, l’única sortida és la retirada de l’article, el que es coneix com retractació. Les retractacions perjudiquen seriosament l’autor de l’article i la revista que el va admetre. N’hi ha probablement més del que ens imaginem. Prenguem com a exemple l’article de Fang et al. [3]. En el seu estudi troben que amb data 03.05.2012 PubMed contenia indexats 2.047 articles científics de biomedicina i ciències de la vida que havien estat retractats. D’aquests 21,3% són per error i 67,4% són per mala pràctica científica. D’aquests darrers:43,4% són per frau o sospita de frau; 14,2% per publicació duplicada i 9,8% per plagi.
Com diu Zuckerman [2], el camp de la mala pràctica científica és una “pròspera àrea de recerca científica”. Només hi ha que veure la base de dades Web of Science que conté entre les possibilitats de la cerca per tipus de document el terme “retracted”, i que indexa articles retractats des de 1974. O el portal Retraction Watch que presenten de forma ordenada els articles retirats
Fig 1. Portal Retraction Watch
En un altre article de Bornmann [4] hi ha una visió general sobre definicions i consideracions sobre la mala conducta en recerca científica.
El rastreig a Twitter
Twitter, com a xarxa social que és, permet la ràpida i multitudinària expansió dels comentaris sobre el contingut dels articles i dels errors que es puguin detectar d’una forma primerenca. Els rumors sobre possibles errors d’un article concret es poden estendre veloçment per internet. Molt abans que comencin a aparèixer altres articles que el citin i que comentin les seves errades, les xarxes socials i altres instruments de comunicació electrònica poden anar ja plens de rèpliques i contra-rèpliques sobre els procediments i conclusions de l’article en qüestió. De pràcticament tota aquesta informació se’n pot fer el seguiment. És el que es coneix com la mesura altmètrica, l’atenció en línia que produeix una publicació científica. Existeixen diversos recopil·ladors de dades altmètriques: Altmetric.com, Plum Analytics, etc. Els quals recullen les dades de seguiment en bases de dades en línia, publicacions electròniques, gestors de bibliografia en línia, blogs personals o institucionals, Wikipedia, Facebook, Twitter i molts altres més. En el cas d’Altmetric.com disposa d’una eina que agrupa i recompta ponderadament tota aquesta atenció en línia. ÉS l’Altmetric Attention Score, AAS, representat com és conegut per un donut de colors. De manera que gràcies a ell un es pot fer una idea del que es comenta sobre un article acabat de sortir i comparar-lo amb l’atenció que reben altres. En un estudi de Costas et al. es demostra que hi ha correlació entre AAS i el recompte de tuits rebuts
Els mateixos autors, Bornmann i Haunschild, mostren en un altre article [6] que les publicacions retractades esdevenen més sovint mencionades a Twitter que no ho són les seves retractacions. La qual cosa vindria a dir que el recompte de mencions a Twitter podria no reflectir directament la qualitat de la publicació.
Arribats aquí es poden plantejar tres qüestions bàsiques referides als tuiters d’errors en articles científics
– mencionen problemes amb articles primerencs que seran després retirats?
– els que mencionen articles retractats han estat informats de l’estat de la publicació?
– mencionen explícitament les raons per les que la publicació ha estat retirada?
Per ajudar a centrar aquestes qüestions ens podem ser útil l’esquema dels perfils dels tuiters proposat per Toupin [7]
Fig. 2 (Table 1 original en anglès, pàg, 5186)
Metodologia i resultats de l’estudi
Els articles dels que es volia fer el seguiment per a l’estudi es va decidir que tractessin sobre la COVID-19 /SARS-CoV-2, que entre la seva publicació i la publicació de la seva retractació hagués passat com a mínim 2 setmanes i que tinguessin DOI, condició necessària per a poder fer el seguiment altmètric.
Els 3 articles triats es van obtenir de Retraction Watch el 24.09.2020, d’una llista de 33 articles sobre el mateix tema. Tots 3 teníen una alta puntuació AAS, i estaven inclosos dins el 5% més alt de les publicacions puntuades per Altmetric.com.
Amb una API (application programming interface) s’extregueren els identificadors dels tuits que mencionaven un dels tres articles o de les seves retractacions.
Amb llenguatge de programació R es descarragaren els tuits, es classificaran els tuiters segons els perfils de Toupin i es construiren amb les paraules significatives del text dels tuits núvols de paraules (wordclowds)
El resultat fou per a cada article i retractació els següents gràfics:
Fig. 3. Percentatge de tuits mencionant l’article o la retractació
(Fig 1 original, pàg. 5186)
Fig. 4. Tuits per tipus d’usuari
(Fig 2 original, pàg. 5187)
Fig 5. Tuits per dia, primer article, després retractació
(Fig, 3 original, pàg. 5188)
Fig 6. Núvol de paraules dels tuits sobre l’article 1 abans de la retractació
(Fig. 4 original, pàg. 5189)
Fig 7. Núvol de paraules dels tuits sobre l’ article 2 i la seva retractació des de la data de la retractació
(Fig. 8 original, pàg. 5192)
Fig, 8. Núvol de paraules dels tuits sobre l’artricle 3 o la seva retractació des del dia després de la retractació
(Fig. 11 original, pàg. 5195)
Conclusionss
Bibliografia
[1] Hainschild, R ; Bornmann, L. Can tweets be used to detect problems early with scientific papers? A case study of three retracted COVID-19/SARS-CoV-2 papers. Scientometrics. 2021; 126:5181-5199. https://doi.org/10.1007/s11192-021-03962-7
[2] Zuckerman, H. Is “time ripe” for quantitative research in misconduct in science? Quantitative Science Studies 2020; I (3): 945-958. https://doi.org/10.1162/qss_a_00065
[3] Fang, FC; Steen, RG, Casadevall A. Misconduct accounts for the majority of retracted scientific publications. Proceedings of the National Academy of Sciences. 2012, 109 (42): 17028-1703. https://doi.org/10.1073/pnas.1212247109
[4] Bornmann, L. Research misconduct -definitions, manifestations and exent. Publications. 2013 I(3): 87-98. https://doi.org/10.3390/publications1030087
[5] Costas, R; Zahedi, Z; Wouters, P. Do “altmetrics” correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology. 2015:66 (10): 2003-2019. https://doi.org/10.1002/asi.23309
[6] Bornmann , L; Haunschild, R. Allegation of scientific misconduct increases. Twitter attention. Scientometrics . 115 (2): 1097-1100. https://doi.org/10.1007/s11192-018-2698-6
[7] Toupin, R; Millerand, F; Larivière, V. Scholarly communication or public communication of science? Assessing who engage with climate research on Twitter. 17th International Conference on Scientometrics & Informetrics. September 2-5, 2019. 2115-2120