Ahmed Al Marouf, Tanvir C. Turin, en el seu article del 2025, Avaluació multidimensional de l’impacte de la recerca mitjançant la bibliometria, l’altmetria, la semantometria i la webometria [1], fan un esforç per sistematitzar els diferents mètodes, qualitatius i quantitatius que hi ha per avaluar l’impacte de les publicacions de recerca.
Imatge de Raquel Blanco en Pixabay
Llegim-ne el Sumari:
L’avaluació de l’impacte de la recerca (RIA, Research Impact Assessment) ha emergit com un enfocament crític per avaluar la influència social, acadèmica i política del treball acadèmic, especialment dins del panorama en evolució de la ciència oberta. Aquest article proporciona una síntesi de mètriques quantitatives RIA, que ofereixen informació estandarditzada i basada en dades sobre l’abast i la importància dels resultats de la recerca. Descriu quatre metodologies principals: (i) bibliometria (analitza els patrons de citacions mitjançant indicadors com ara el recompte de citacions, la cocitació i l’acoblament bibliogràfic); (ii) altmetrics (fa un seguiment de la participació i la difusió en línia); (iii) semantometria (avalua les contribucions textuals mitjançant mesures de similitud semàntica); i (iv) webometria (avalua la presència digital mitjançant interaccions web i anàlisi d’enllaços entrants). Si bé aquests enfocaments quantitatius són valuosos per a l’avaluació comparativa i la presa de decisions estratègiques, sovint no aconsegueixen capturar els impactes socials i intel·lectuals matisats de la recerca. Per abordar aquesta limitació, l’article defensa un model d’avaluació híbrid que integri mètriques quantitatives amb mètodes qualitatius, com ara estudis de casos i anàlisis narratives, per proporcionar escalabilitat i profunditat contextual. En definitiva, el treball subratlla la importància d’interpretar críticament i amb judici les mètriques de l’RIA per reflectir plenament la naturalesa multifacètica de l’impacte de la recerca en totes les disciplines i els àmbits de les parts interessades.
L’article conté també un resum-clau:
L’ús de diverses mètriques , com ara la bibliometria, l’altmetria, la semantometria i la webometria , permet una avaluació multifacètica i completa de l’impacte de la recerca. Cadascuna d’aquestes mètriques ofereix informació única sobre diferents dimensions de la influència acadèmica: la bibliometria mesura principalment l’impacte de les citacions acadèmiques, les altmètriques capturen una participació en línia més àmplia, la semantometria se centra en la semàntica i les relacions entre les obres basades en el contingut, i la webometria avalua la presència i la visibilitat en línia dels resultats de la recerca.
L’afany sistematitzador i el seu caire didàctic ens inclina a traduir més fragments de l’article.
Comença posant en context el RIA, l’avaluació de l’impacte de la recerca
L’avaluació de l’impacte de la recerca (AIR) s’ha convertit en un tema cada cop més important en el món acadèmic i les comunitats científiques, cosa que es veu reforçada per l’auge de les pràctiques de ciència oberta que promouen una major accessibilitat i transparència dels resultats de la recerca. L’AIR fa referència al procés d’avaluació de la influència i els efectes dels resultats de la recerca en diversos actors, inclosos altres investigadors, responsables polítics i la societat en general . La importància de mesurar l’impacte de la recerca rau en la seva capacitat per demostrar el valor dels esforços científics, informar les decisions de finançament i orientar les futures direccions de la recerca.
La RIA utilitza dos enfocaments principals
a) L’enfocament qualitatiu implica la recopilació i anàlisi d’informació rica i basada en narratives per entendre com els resultats de la recerca configuren els comportaments, les pràctiques i les polítiques de maneres matisades. Proporcionen informació contextual i detallada sobre la influència social i acadèmica més àmplia de la recerca. Els mètodes habituals inclouen revisions per parells, estudis de casos en profunditat, entrevistes amb les parts interessades i anàlisi documental o política. Aquests mètodes capturen impactes específics del context, com ara canvis en el discurs públic o la cultura organitzativa, que no es reflecteixen en mètriques numèriques, tot i que poden ser lents i subjectius. Malgrat això ofereixen una comprensió contextual més profunda, revelant l’amplitud i la complexitat de la influència de la recerca en entorns reals. En canvi, els enfocaments quantitatius utilitzen dades numèriques i anàlisis estadístiques, inclosos indicadors bibliomètrics, recomptes de cites i diversos factors d’impacte. Aquest article de mètodes se centrarà principalment en les mètriques RIA quantitatives, examinant el seus tipus, aplicacions, punts forts i limitacions per proporcionar una visió general de les eines basades en dades per avaluar la influència de la recerca
b) Les mètriques quantitatives tenen un paper integral en l’avaluació de l’abast, la influència i la importància dels resultats acadèmics. Entre els diversos enfocaments, la bibliometria se centra en l’impacte acadèmic basat en les citacions, les altmetrics capturen una participació en línia més àmplia, la semantometria explora les relacions semàntiques i basades en el contingut, i la webometria/cibermetria avalua la visibilitat i la presència digitals (Figura 1). En combinació, aquestes mètriques ofereixen una lent multifacètica a través de la qual avaluar la influència de la recerca.
De cada un dels 4 mètodes quantitatius els autors aporten una petita definició, exemples senzills i eines que treballen amb aquests mètodes
Figura 1. Mètriques d’impacte de la recerca
Figura 2 Eines usades pels mètodes quantitatius.
En altres entrades d’aquest blog hem parlat de la Bibliometria i de l’Altmetria. L’article destaca per al primer mètode l’índex h, l’índex 1-10, l’índex i-100; així com l’anàlisi de citacions, l’anàlisi de cocitacions i l’acoblament bibliogràfic. I per les Altmètriques assenyala les fonts habituals
Reproduïm doncs el que l’article comenta dels dos mètodes
Semantometria
La semantometria avalua la recerca analitzant el text complet de les publicacions, en lloc de comptar només les cites. Mesura la similitud semàntica i la contribució dels articles de recerca en funció del seu contingut.
En comparar el text d’un nou article de recerca amb la literatura existent, la semantometria pot avaluar quant coneixement nou aporta l’article al seu camp. Per exemple, pot identificar nous conceptes o metodologies introduïdes per ell. Fonamentant-se en la idea del mètode basat en la similitud semàntica , Petr Knoth i Drahomira Herrmannova van desenvolupar una fórmula que avalua la contribució de la publicació en el seu article del 2014 [2]
Es basa en la quantificació de la distància semàntica entre les publicacions citades per p i les publicacions que citen p. En la formulació mostrada anteriorment, “B” és el conjunt de publicacions que citen la publicació “p” i “A” és el conjunt citat per “p”. La suma de l’equació s’utilitza per calcular la distància total entre totes les combinacions de publicacions dels conjunts “A” i “B”. S’espera que la distància es calculi utilitzant mesures de similitud semàntica en el text complet de les publicacions, com ara amb la similitud semàntica en el text complet de les publicacions, com ara la similitud del cosinus en vectors de documents TF-IDF.
i com a eines i pàgines web
Actualment no hi ha cap aplicació o plataforma web convencional disponible on simplement puguem penjar una publicació i rebre una puntuació semantomètrica de la mateixa manera que es podria consultar una puntuació Altmètrica o un recompte de cites bibliomètriques
Paquet Semantometrics-python : https://github.com/UUDigitalHumanitieslab/semantometrics-python El Laboratori d’Humanitats Digitals de la Universitat d’Utrecht va desenvolupar el paquet “semantometrics-python”, que és de codi obert. Aquesta eina analitza el contingut semàntic dels articles de recerca per avaluar la seva contribució. Per exemple, “The Triple Hèlix of univeristy-industry-governement relations” (La Triple Hèlix de les relacions universitat-industria-govern) de Loet Leydesdorff (2012) va tenir una puntuació de contribució de 0.4026, mentre que “Search engine user behaviour: How can users be guided to quality content (Comportament dels usuaris dels motors de cerca; com es poden guiar els usuaris cap a contingut de qualitat) de Dirk Lewandowski (2008) va tenir una puntuació de 0,5117. Tot i que aquests dos articles tenien un recompte de cites similars (27 i 30 respectivament), les seves puntuacions de contribució van diferir notablement. Això destaca el valor de considerar la puntuació de contribució a més del recompte de cites, ja que les publicacions amb un nombre de cites similar poden variar significativament en la seva contribució real.
Webometria
La webometria estudia els aspectes quantitatius de la web, com ara l’estructura i l’ús dels llocs web. Aplica mètodes informètrics per analitzar el contingut i les interaccions basades en la web. L’anàlisi del nombre d’enllaços entrants al lloc web d’una universitat pot indicar la seva visibilitat i influència en línia. La webometria també pot mesurar l’impacte de les publicacions en línia i l’abast del contingut digital
Les eines i pàgines web d’aquest apartat hem hagut d’actualitzar. Les seves adreces web no funcionaven
Webometric Analyst de Mike Thelwall (https://github.com/MikeThelwall/Webometric_Analyst)/) és un programa lliure basat en Windows per a l’anàlis webomètric, incloent-hi l’anàlisi d’enllaços i diagrames de xarxa dels enllaços entre un conjunt de llocs web. Els usuaris poden trobar on es connecta un objecte digital específic i quines col·leccions digitals es connecten amb ell.
Webometrics Ranking Web of Universities 2024 (http://www.universityguru.com/rankings-explained/webometrics-ranking-web-of-universities) Rànquing de les universitats del món: Classifica les universitats en funció de la seva presència web, visibilitat i accés obert al coneixement. Per exemple, la Universitat de Harvard va ser classificada com la universitat número 1 el 2024 en funció de la seva forta petjada digital per a activitats acadèmiques. Aquest enfocament per a la RIA considera factors com el volum de contingut acadèmic publicat a la web, el nombre de xarxes externes que enllacen al domini web de la institució i, en general, la seva accessibilitat i influència a Internet dels resultats de la recerca d’una universitat.
En la part final els autors aprofiten per fer una falca sobre el paper de les biblioteques en el RIA
En l’avaluació de l’impacte de la recerca les biblioteques universitàries tenen un paper en plena evolució. La mesura d’aquest impacte és cada vegada més complex i elles tot i estar ben posicionades per ocupar un lloc estratègic, necessiten més suport, formació i recursos addicionals per fer-ho eficaçment. És essencial crear capacitat institucional per interactuar amb la bibliometria, l’altmetria, la webometria i la cienciometria. Això inclou invertir en eines i en infraestructura, desenvolupar l’experiència personal en digitalització i informàtica, fomentar col·laboracions entre campus nacionals i globals. Equipant els bibliotecaris amb els coneixements i sistemes necessaris per donar suport a l’anàlisi d’impacte, les universitats poden garantir una avaluació de la recerca més significativa, responsable i inclusiva que reflecteixi tant les contribucions acadèmiques com les socials. Enfortir les biblioteques d’aquesta manera també reforça la seva identitat en evolució com a socis actius en el desenvolupament de la recerca i la presa de decisions estratègiques.
I les Conclusions
Les mètriques quantitatives RIA proporcionen una informació valuosa i estandarditzada sobre la influència i l’abast acadèmics, oferint una visió general del rendiment de la recerca que permet fer comparacions entre dominis, institucions i períodes de temps, Aquestes mètriques són essencials per a la presa de decisions acadèmiques i la planificació estratègica. Tanmateix, tot i que ofereixen comparabilitat, poden no capturar del tot la complexitat o la importància més àmplia de l’impacte de recerca, que sovint va més enllà de les mesures numèriques. Els mètodes qualitatius com les avaluacions de la qualitat dels estudis, les narratives i els estudis de casos complementen les mètriques quantitatives afegint profunditat i context. Per tant, l’avaluació de la recerca més eficaç combina ambdós enfocaments, proporcionant una visió holística que reflecteix millor la naturalesa multifacètica de l’impacte de la recerca en el món acadèmic i en la societat.
Bibliografia
[1] Marouf, A.A. Turin, T.C. “Multi-dimensional research impact assessment through bibliometrics, altmetrics, semantometrics, and webometrics”. Bangabandhu Sheikh Mujib Medical University Journal 2025;18(2):e79811
https://doi.org/10.3329/bsmmuj.v18i2.79811
[2] Knoth, Petr; Herrmannova, Drahomira. “Towards Semantometrics: A new Semantic similarity based measure for assessing a research publication’s contribution“. D-Lib Magazine.2014,20 (11/12). doi:10.1045/november2014-knoth. Retrieved August 19, 2016.