Altmetrics vs. Complimentary metrics

Studi sulla valutazione della ricerca e un’interessante conversazione a LIDA 2014

Cosa è Altmetrics? “Alternative metrics” o in forma breve Altmetrics è la misura delle attività accademiche (citazioni ed altri usi di pubblicazioni) nei social media. L’idea è stata anticipata venti anni fa da Cronin et al. (1998) che in modo pionieristico sostenne che il Web avrebbe favorito nuove modalità di comunicazione scientifica, e attraverso la raccolta di dati comparativi da cinque motori di ricerca commerciali, propose una tipologia di “menzioni”, come nuova misurazione al fine di informare le analisi bibliometriche. Uno studente nel 2011 Priem Jason è stato il primo a coniare il nome Altmetrics ed a definire il metodo; ora questo studente ha avviato insieme ad altri  Impactstory una piattaforma che misura l’impatto della ricerca. Ci sono diverse categorie di social media usati da Altmetrics: siti generici come Twitter, Facebook, Blog;  siti accademici come i Blog accademici, Mendeley, Citeulike e Connotea; ci sono anche nuovi siti come Reddit, Digg ecc. Le diverse tipologia di Altmetrics sono stati analizzate da Taylor, M., & Plume, A. (2014). Party papers or policy discussions: an examination of highly shared papers using altmetric data Research Trends (36), 17-20. L’idea di Altmetrics è questa: poiché cresce l’uso dei social media da parte degli studiosi, è possibile misurare tutte le loro attività nel ciclo della comunicazione scientifica e non solo le citazioni. Qual è l’evidenza dell’utilità di queste misurazioni? Alcune ricerche hanno studiato diversi aspetti. Posso citare: Eysenbach G. Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. J Med Internet Res. 2011 Dec 19;13(4). Eysenbach ha dimostrato una correlazione tra Twitter e l’Impact Factor sulla base dell’analisi di lavori di ricerca medici pubblicati in tre anni ed ha evidenziato che gli articoli rilanciati tramite Twitter da parte di una pluralità di persone abbiano più possibilità di essere citati nelle pubblicazioni scientifiche rispetto a quelli che non utilizzano detto social media come strumento di diffusione. E’ stata evidenziata anche una correlazione positiva tra Altmetrics e le metriche basate sulle citazioni, ad esempio Thelwall et al Do Altmetrics Work? Twitter and Ten Other Social Web Services Plos One 8(5) 2013 Beyond citations: Scholars’ visibility on the social Web pubblicato da Priem et al (2012) evidenzia che c’è una diffusa presenza degli studiosi nel Web: 84% ha un homepage, 70% è in LinkedIn, 23% ha un profilo pubblico Google Scholar, e 16% sono su Twitter. Importanti tool accademici da considerare sono le piattaforme bibliografiche come Zotero e Mendely: Francese E. Mendeley, dal social bookmarking al reference management: uno strumento innovativo per la gestione delle citazioni bibliografiche. Biblioteche oggi. 2011 Mar; 29(2):41–45. Anche Wikipedia dimostra di essere correlata bene alle citazioni dell’Impacco Factor: Scientific citations in Wikipedia è stato pubblicato da  Finn Årup Nielsen in First Monday, volume 12, number 8 (August 2007) Sono stati analizzati i blog accademici da Shema, H., Bar-Ilan, J. and Thelwall, M. nell’articolo Research blogs and the discussion of scholarly information pubblicato in PLoS One, 7(5). Quale autorevolezza ha Altmetrics? poca, per il rischio di Spam e di vanità di auto-promozione degli autori. Inoltre non si può comparare Altmetrics in diverse discipline, perché c’è un uso diverso nei settori disciplinari o per pubblicazioni in diversi anni. Non si conosce bene l’equilibrio tra impatto sociale, impatto educativo e impatto accademico ed anche in certi casi l’impatto per semplice svago dei risultati della ricerca. In conclusione è una misurazione utile insieme ad altre misure ma non come unica misura di impatto, non Altmetrics ma “Complimentary metrics”. La domanda è allora, qual è il rapporto con altre misurazioni? cioè qual è il coefficiente di correlazione di Pearson tra le diverse misurazioni statistiche? La ricerca su Bibliometrics, Webometric e Altmetrics studia il valore di queste misurazioni e le loro correlazioni: se raccolte correttamente le diverse misurazioni danno un’evidenza utile per molti diversi aspetti della qualità della ricerca. Altmetrics in the Wild di Priem et al.  (2012) ha dimostrato una correlazione – tra 0.1 e 0.4  -tra le citazioni PLOS e le citazioni in Wikipedia ma nessuna correlazione tra PLOS e Twitter Correlation between article download and citation figures for highly accessed articles from five open access oncology journals di Carsten Nieder, Astrid Dalhaug, Gro Aandahl. (2013) hanno evidenziato  poca correlazione fra frequenza di scarce (download) e citazioni. Questo risultato sembra confermato da Moed HF (2005) Statistical relationships between downloads and citations at the level of individual documents within a single journal. Journal of the American Society for Information Science & Technology 56: 1088–1097. Per l’informatica umanistica sono tuttavia più interessanti i libri. In particolare per i libri invito a leggere le ricerche di Kousha e Thelwall: Kousha, K. & Thelwall. M. (2009). Google Book Search: Citation Analysis for Social Science and the Humanities, Journal of the American Society of Information Science and Technology, 60(8), 1537-1549. Kousha, K, Thelwall. M & Rezaie, S. (2011). Assessing the Citation Impact of Books: The Role of Google Books, Google Scholar and Scopus, Journal of the American Society of Information Science and Technology, 62(11), 2147-2164. Per i singoli ricercatori è importante conoscere il loro impatto, usando alcuni degli strumenti disponibili. Utile da sperimentare individualmente il software Webometric Analyst che è disponibile in modo aperto per calcolare Webometric con Twitter e Mendeley lexiurl.wlv.ac.uk Durante l’ultimo Convegno LIDA 2014 hanno parlato di Altmetrics due relatori, evidenziando la complementarità delle diverse misure ed anche i rischi e svantaggi di ALtmetrics: Blaise Cronin e Paul Wouters. La presentazione di Blaise Cronin ha illustrato i temi  del libro appena pubblicato a cura di Blaise Cronin e Cassidy R. Sugimoto da MIT Press (anteprima in Google Book): Beyond bibliometrics, MIT Press 2014 Cronin ha iniziato affermando che “Alternative metrics is for the digital era”: prima, fino al 1955 c’era ISI Citation Index, oggi WOS, Scopus, Google Scholar, domani ci sarà la misurazione data da social media e analytics. Grazie a Altmetrics ora possiamo sapere quante volte l’articolo (non la rivista) è stato visto, scaricato, incluso nei libri di testo, citato nei social media, ecc. abbiamo disponibile una misura maggiore di misurazioni, oltre la bibliometria. Le citazioni perdono importanti tracce, invece i social media sono sempre aggiornati e evidenziano ogni attività. La prima evidenza dell’analisi di Altmetrics tuttavia è che c’è una diversa attenzione tra l’impatto accademico, quello educativo e quello sociale e la maggioranza delle misure è generata dalla Social activity. Questa non va fraintesa con l’impatto, sono solo numeri. Citando Eisenstein, Cronin afferma: “Not everything that can be counted counts and not everything that counts can be counted”. Una citazione è uguale a un tweet? In questo periodo sempre di più pensiamo alla valutazione dell’Università come valutazione quantitativa, usando l’Impact Factor, ed altre metriche che possono essere diverse dalla considerazione dell’utilità reale della ricerca e questo è giustificato da esigenze  pragmatiche “It is easier to measure activities than it is to measure quality”. Dovremmo chiederci invece: come le metriche sono usate nella pratica professionale? quali sono le differenze tra le discipline? come i docenti e ricercatori devono raccogliere i dati per essere valutati? da considerare secondo Cronin che rating e ranking non sono misure individuali ma del Dipartimento, Università, ecc. Possiamo comparare Beethoven e Bieber? se usiamo gli stessi dati, sarà difficile. Bieber ha circa 3 milioni di followers su Twitter e 70 milioni su Facebook. Beethoven su Facebook ha 4 milioni di seguaci soltanto. Non bisogna confondere quindi la popolarità con la qualità. L’evidenza di questa differenza può essere trovata nel comparare  ad esempio lo spartito di Beethoven con quello di Bieber. Un problema da non sottovalutare riguarda inoltre la privacy: Altmetrics è come uno Scholarly panopticon? “an Orwellian surveillance net, cybernating the academy”?  Tutto quello che facciamo è osservato? come possiamo salvare la libertà della ricerca? Paul Wouters dell’Universiteit Leiden Center for Science and Technology Studies ha iniziato domandando: quali potranno essere le implicazioni future della valutazione per la carriera degli studiosi? e per il supporto che le biblioteche possono dare? E’ possibile combinare valutazione e giudizio sui risultati per stimolare creatività? o invece per conservare? Questa è l’era della valutazione, come opportunamente descritto nel libro (anteprima su Google Books) The Evaluation Society di Peter Dahler-Larsen Stanford University Press, 2011. Siamo soggetti ad una proliferazione di misure, protocolli per la valutazione, indicatori di performance , indicatori di impatto, la ricerca ora si concentra sul finanziamento basato su indicatori di impatto, sono usate soprattutto misure bibliometriche come Hirsch Index e JIF,  ma sono sottostimati il ruolo democratico della valutazione che non è un processo meccanico.  Inoltre occorre valutare gli effetti dell’interpretazione: ci sono cornici interpretative, contenuti e priorità politiche anche nascoste, identità socili e relazioni che sono distribuite nel tempo ed a più livelli. C’è un nuovo ruolo per le biblioteche che possono offrire un numero di servizi bibliometrici alle università, attraverso database, misure di self assessment con risorse gratis, come publish or perish, altmetrics, soddisfacendo la crescente richiesta di statistiche dagli utenti,  e così aiutare gli studiosi nel capire il loro impatto sociale, e dare avviso per la loro carriera su dove pubblicare. In conclusione, Altmetrics va considerato un “Complementary metrics” e non una misurazione alternativa: le misure di Altmetrics come “aknowledgement, data citation, micro attributions, social media mentions, recommendations, mentions in scientific texts, press coverage, downloads” contribuiscono con altre misure a facilitare la valutazione della ricerca, ma le misure quantitative dovranno essere combinate con la peer review che rimane il metodo più importante di valutazione della qualità. Altmetrics mi sembra un importante strumento per l’informatica umanistica, in quanto si presta a offrire misurazioni di quelle pubblicazioni digitali – o meglio oggetti digitali – prodotti come risultato della ricerca e che ora non vengono valutati dai vari strumenti di valutazione usati da ANVUR. Mi riferisco ad esempio ai set di dati, alle banche dati, ad archivi e biblioteche digitali, a edizioni critiche letterarie ed altro. E’ quindi necessario investigare ed analizzare il possibile uso di questi indicatori nel campo specifico di interesse degli umanisti digitali e questo studio non è ancora stato fatto.   Per citare questo articolo:    

---

---