La tasca Hercúlia d’avaluar la productivitat científica.

Avaluar un científic, institució o país a partir de la productivitat i l’impacte que tenen sobre la comunitat científica les seves publicacions és un tema controvertit i difícil d’afrontar. Els índexs bibliomètrics, amb l’índex H al capdavant, van néixer amb l’objectiu de simplificar i homogeneïtzar aquesta tasca que, a priori, sembla pràcticament impossible. Aquests índexs són també una eina molt útil per a valorar i prioritzar, com a mínim de forma aproximativa, l’impacte que té un patogen en un sector i/o en la comunitat científica. Recentment, un grup d’ investigadors del CReSA ha publicat a la revista PLoS ONE un estudi on s’han utilitzat varis índexs bibliomètrics per a valorar l’impacte que tenen els patògens que afecten al porc. A més, han creat un nou índex (DCos: Deciphering Citations Organized by Subject) el qual, a partir dels índexs H d’una àrea d’estudi, valora el pes específic d’un científic o d’una institució en l’esmentada àrea.

Distribución por continentes (porcentaje) de los artículos incluidos en los índices H pertenecientes a 137 patógenos que afectan al cerdo. Distribución por continentes (porcentaje) según origen del primer autor para un total de 2878 artículos (negro), de los cuales 1262 versan sobre virus (rojo), 1148 sobre bacterias (azul) y 468 sobre otros –helmintos, protozoos, etc.- (verde). Situado en la parte superior de cada barra, el número absoluto de las publicaciones.

Distribució per continents (percentatge) dels articles inclosos als índexs H de 130 patògens que afecten al porc. Distribució per continents (percentatge) segons origen del primer autor per a un total de 2878 articles (negre), dels quals 1262 tracten de virus (vermell), 1148 de bactèries (blau) i 468 de altres –helmints, protozous, etc.- (verd). A la part superior de cada barra, el número absolut de les publicacions.

A l’estudi, en primer lloc es van determinar els índexs H per a 137 patògens que afecten al porc. Aquests índexs es van comparar amb d’altres habituals en la valoració de la productivitat científica -índex A, G i HG, quocient M i ràtio G/H-; cal destacar que és la primera vegada que índexs diferents al H són utilitzats per a avaluar l’impacte dels patògens. A més, es va avaluar l’evolució al llarg del temps dels 10 patògens amb l’índex H més alt, així com els possibles esdeveniments que podrien haver-la afectat.

Posteriorment, els articles inclosos als índexs H dels 137 patògens, aproximadament 3000, va ser analitzats amb l’objectiu de conèixer el país de afiliació del primer autor. Una vegada agrupats per continents, Europa i América del Norte, representant un 46% i un 38% del total, van acumular la quasi totalitat dels articles. Espanya, tot i tenir un nivell d’inversió en R+D molt inferior al d’altres països, es situa a nivell mundial en setena posició, i en tercera si considerem només els articles relacionats amb virus. Per altra banda, aplicant el nou índex Dcos es va poder veure que l’impacte dels estudis realitzats al CReSA situen aquest centre com a un pilar de la investigació en la patologia porquina que es realitza a Espanya, amb quasi un terç de tots els articles espanyols inclosos als índexs H.

…l’impacte dels estudis realitzats al CReSA situen aquest centre com a un pilar de la investigació en la patologia porquina que es realitza a Espanya.

Tant la metodologia aplicada a l’estudi com els resultats obtinguts estan àmpliament discutits a l’article. Com a principal conclusió podem destacar que el valor absolut i l’evolució dels índexs estan fortament influïts per la distribució geogràfica dels patògens, la taxonomia, la importància de la producció porquina o el nivell d’inversió en R+D dels països, així com l’aparició de brots epidèmics o episodis en humans si parlem d’agents zoonòtics.


 

ÍNDEXS BIBLIOMÈTRICS & EXEMPLE PRÀCTIC. DADES 2015.

Primera publicació any 2006. ÍNDEX H=10; QUOCIENT M=H/10(2016-2006)=1; ÍNDEX A=592 cites/10=59,2 ÍNDEX G=24

Primera publicació any 2006.
ÍNDEX H=10
QUOCIENT M=H/10(2016-2006)=1
ÍNDEX A=592 cites/10=59,2
ÍNDEX G=24

Índex H: índex proposat per Jorge Hirsch (2005) per a valorar la qualitat professional de científics, institucions o països en funció de la quantitat de cites que han rebut els seus articles científics. Mesura el número d’articles científics que han sigut citats tantes vegadesaquell número com a mínim; en l’exemple, el científic té un índex H=10, ja que ha publicat 10 articles amb un mínim de 10 cites cadascun.
Evidentement, l’índex H té limitacions. Per exemple, una vegada l’article ha superat el número mínim de cites necessàries per a ser inclòs a l’índex, no es comptabilitzant el número de cites totals que aquest article té. Per altra banda, l’índex H no considera les cites d’aquells articles no inclosos a l’índex. En el cas anterior (H=10), l’índex no té en compte si els articles inclosos per al seu càlcul tenen 11 o 138 cites; tampoc es consideren les cites que tenen els 4 articles amb menys de 10 cites. Per tal de superar aquestes i altres limitacions, s’han proposat altres índexs, els quals poden usar-se como a alternativa o complement de l’índex H.
Quocient M: índex proposat por Jorge Hirsch (2005). Òbviament, l’índex H està molt influenciat pel pas del temps. Per a poder comparar dos científics amb una duració de carrera diferent podem usar el quocient M, on l’índex H es divideix pel número d’anys transcorreguts des de la primera publicació; en l’exemple, el científic té un quocient M=1, ja que té un índex H=10 i han transcorregut 10 anys des de la publicació del seu primer article (del 2006 a finals del 2015).
Índex A: índex proposat per Jin i col·laboradors (2007). Té en consideració el número de cites dels articles inclosos a l’índex H. Es defineix com la mitja de cites dels articles inclosos en el càlcul de l’índex H; en l’exemple, el científic té un índex A=59,2 ja que la mitja de cites dels articles inclosos al seu índex H es igual a 59,2 (mitja=592/10).
Índex G: índex proposat per Leo Egghe (2006) que permet distingir entre autors amb l’índex H similar i que, a diferència de l’índex H, té en consideració tant si els articles estan molt citats com si existeixen articles citats que no entren dins de l’índex H.
Per calcular-lo cal ordenar les publicacions pel número de cites rebudes en ordre descendent i numerar-ne la posició. Després, cal crear dues noves columnes: la primera amb el número acumulat de cites rebudes i la segona amb el número de posició de la publicació al quadrat. L’índex G correspon a aquella última posició en la que el número de cites acumulades és igual o major al número de posició al quadrat; en l’exemple el científic té un índex G=24, ja que 24 és la última posició en la que el valor de les cites acumulades és superior a la posició al quadrat: cites acumulades a la posició 24=610 (>24 al quadrat); cites acumulades a la posició 25=610 (<25  al quadrat).
A partir dels índexs G i H es calculen l’índex GH (=arrel quadrada de GxH) i el ràtio G/H els quals eviten la gran influència que una sola publicació amb moltes cites pot tenir sobre l’índex G.
Índex Dcos: Deciphering Citations Organized by Subject. Índex proposat per Díaz, Cortey i col·laboradors (2016). L’índex Dcos, utilitza els índexs H d’un àrea d’estudi per a valorar el pes específic d’un científic en l’esmentada àrea. Com la resta d’índexs, pot aplicar-se en la valoració d’un individu, però també un grup, un país, etc. En aquest cas, però, no s’utilitza la globalitat dels articles si no només aquells que es troben en l’àrea concreta avaluada. Per exemple, si l’índex H de E. coli relacionat amb el porc és 106, l’índex Dcos d’un científic per a E.coli serà igual al número d’articles que té dins d’aquests 106. L’índex es complementa amb una segona xifra, la qual detalla el número de camps d’investigació en els quals té publicats els  articles. Fem servir com a exemple un científic que té dos articles inclosos a l’índex H de E.coli i cinc a l’índex H de Streptoccocus suis; l’índex Dcos per a bactèries que afecten al porc d’aquest científic es 7(2), on 7 es el número total d’articles que té inclosos als índexs H de las bactèries que afecten al porc y 2 el número de camps d’investigació (patògens) on té publicats els esmentats articles. Per tant, a l’índex Dcos la primera xifra marca la quantitat d’articles publicats, en referència a un/s patògen/s, que tenen una alta qualitat –ja que és necessari que estiguin en el top d’articles citats per aquell/s patògen/s-, mentre que la segona xifra marca la capacitat del científic de diversificar la seva tasca d’investigació i d’abordar amb èxit diferents temes.

ENLLAÇ A LA PUBLICACIÓ

Ivan Díaz, Martí Cortey, Àlex Olvera, Joaquim Segalés (2016). Use of H-Index and Other Bibliometric Indicators to Evaluate Research Productivity Outcome on Swine Diseases. PLoS ONE, doi: 10.1371/journal.pone.0149690

ALTERS REFERÈNCIES

Per contactar amb els investigadors responsables i autors d’aquesta entrada:

Ivan Díaz Luque
Investigador IRTA-CReSA
Correu electrònic: ivan.diaz@irta.cat
Edifici CReSA. Campus de la UAB

Marti Cortey Marques
Investigador IRTA-CReSA
Correu electrònic: marti.cortey@irta.cat
Edifici CReSA. Campus de la UAB

 

Coneix més sobre l'autor d'aquest post: