La tarea Hercúlea de evaluar la productividad científica.

Valorar un científico, institución o país a partir de la productividad y el impacto que tienen sus publicaciones en la comunidad científica es un tema controvertido y difícil de abordar. Los índices bibliométricos, con el índice H a la cabeza, nacieron con el objeto de simplificar y homogeneizar esta tarea que, a priori, se nos podría antojar como imposible. Estos índices son también una herramienta muy útil para valorar y priorizar, cuanto menos de forma aproximativa, el impacto que tiene un patógeno sobre un sector y/o sobre la comunidad científica.Recientemente, un grupo de investigadores del CReSA ha publicado en la revista PLoS ONE un estudio en el que se han utilizado varios índices bibliométricos para valorar el impacto que tienen los patógenos que afectan al cerdo. Además, se ha acuñado un nuevo índice (DCos: Deciphering Citations Organized by Subject) el cual, partiendo de los índices H de un área de estudio, valora el peso específico de un científico o una institución en dicha área.

Distribución por continentes (porcentaje) de los artículos incluidos en los índices H pertenecientes a 137 patógenos que afectan al cerdo. Distribución por continentes (porcentaje) según origen del primer autor para un total de 2878 artículos (negro), de los cuales 1262 versan sobre virus (rojo), 1148 sobre bacterias (azul) y 468 sobre otros –helmintos, protozoos, etc.- (verde). Situado en la parte superior de cada barra, el número absoluto de las publicaciones.

Distribución por continentes (porcentaje) de los artículos incluidos en los índices H pertenecientes a 137 patógenos que afectan al cerdo.
Distribución por continentes (porcentaje) según origen del primer autor para un total de 2878 artículos (negro), de los cuales 1262 versan sobre virus (rojo), 1148 sobre bacterias (azul) y 468 sobre otros –helmintos, protozoos, etc.- (verde). Situado en la parte superior de cada barra, el número absoluto de las publicaciones.

 

En el estudio, en primer término se determinó los índices H de 137 patógenos que afectan al cerdo. Dicho índice fue comparado con otros índices habituales en la valoración de la productividad científica -índice A, G y HG, cociente M y ratio G/H-; cabe destacar que es la primera vez que índices diferentes al índice H se han utilizado para evaluar el impacto de los patógenos. Además, se evaluó la evolución a lo largo del tiempo de los 10 patógenos con el índice H más alto así como los posibles acontecimientos que podrían haber afectado dicha evolución.

Posteriormente, los artículos incluidos en los índices H de los 137 patógenos, aproximadamente 3000, fueron analizados con el objeto de conocer el país de afiliación del primer autor. Una vez agrupados por continentes, Europa y América del Norte, representando un 46% y un 38% del total, coparon casi la totalidad de los artículos. España, a pesar de tener un nivel de inversión en I+D muy inferior al de otros países, se sitúa a nivel mundial en séptima posición, y en tercera si consideramos tan sólo los artículos relacionados con virus. Por otro lado, aplicando el nuevo índice Dcos se observó que el impacto de los estudios realizados en el CReSA lo sitúan como un pilar de la investigación en la patología porcina que se realiza en España, con casi un tercio de todos los artículos españoles incluidos en los índices H.

…el impacto de los estudios realizados en el CReSA lo sitúan como un pilar de la investigación en la patología porcina que se realiza en España.

Tanto la metodología utilizada en el estudio como los resultados obtenidos están ampliamente discutidos en el artículo. Como principal conclusión podemos destacar que el valor absoluto y la evolución de los índices están fuertemente influidos por la distribución geográfica de los patógenos, la taxonomía, la importancia de la producción porcina o el nivel de inversión en I+D en los distintos países, así como la aparición de brotes epidémicos o episodios en humanos cuando hablamos de agentes zoonóticos.


 

ÍNDICES BIBLIOMÉTRICOS & EJEMPLO PRÁCTICO. DATOS  2015.

tablaivan2ES

Primera publicación año 2006.  
ÍNDICE H=10 
COCIENTE M=H/10(2016-2006)=1 
ÍNDICE A=592 citas/10=59,2
ÍNDICE G=24

Índice H: índice propuesto por Jorge Hirsch (2005) para valorar la calidad profesional de científicos, instituciones o países en función de la cantidad de citas que han recibido sus artículos científicos. Mide el número de artículos científicos que han sido citados tantas veces como al menos ese mismo número; en el ejemplo, el científico tiene un índice H=10, ya que ha publicado este número de artículos con al menos 10 citas cada uno.
Evidentemente, el índice H tiene limitaciones. Por ejemplo, una vez el artículo ha superado el número mínimo de citas necesarias para ser incluido en el índice H, no se contabilizan el número de citas totales que ese artículo posee. Por otro lado, el índice H no contempla las citas de aquellos artículos no incluidos dentro del índice. En el caso anterior (H=10), el índice no considera si los artículos incluidos para su cálculo tienen 11 o 138 citas; tampoco considera las citas que tienen los 4 artículos con menos 10 citas. Con el fin de superar estas y otras limitaciones se han propuesto otros índices, los cuales pueden ser usados como alternativa o para complementar al índice H.
Cociente M: índice propuesto por Jorge Hirsch (2005). Obviamente, el índice H está muy influenciado por el paso del tiempo. Para poder comparar dos científicos con una duración de carrera distinta podemos usar el cociente M, donde el índice H se divide por el número de años transcurridos desde la primera publicación; en el ejemplo, el científico tiene un cociente M=1, ya que tiene un índice H=10 y han transcurrido 10 años desde la publicación de su primer artículo (del 2006 a finales del 2015).
Índice A: índice propuesto por Jin y colaboradores (2007). Tiene en consideración el número de citas de los artículos incluidos dentro del índice H. Se define como la media de citas de los artículos incluidos en el cálculo del índice H; en el ejemplo, el científico tiene un índice A=59,2 (media=592/10).
Índice G: índice propuesto por Leo Egghe (2006) que permite distinguir entre autores con índice H similar y, a diferencia del índice H, tiene en consideración tanto si los artículos están muy citados como si existen artículos citados que no entran dentro del índice H.
Para calcularlo hay que ordenar las publicaciones por el número de citas recibidas en orden descendente y numerar la posición. Luego, se crean dos nuevas columnas: la primera con el número acumulado de citas recibidas y la segunda con el número de posición de la publicación al cuadrado. El índice G corresponde a aquella última posición en la que el número de citas acumuladas es igual o mayor al número de posición al cuadrado; en el ejemplo el científico tiene un índice G=24, ya que 24 la última posición en la que el valor de las citas acumuladas es superior a la posición al cuadrado: citas acumuladas en la posición 24=610 (>24 al cuadrado); citas acumuladas en la posición 25=610 (<25 al cuadrado).
A partir de los índices G y H se calculan el índice GH (=raiz cuadrada de GxH) y el ratio G/H los cuales tratan de evitar la gran influencia que una sola publicación con muchas citas puede tener sobre el índice G.
Índice Dcos: Deciphering Citations Organized by Subject. Índice propuesto por Díaz, Cortey y colaboradores (2016). El índice Dcos, utiliza los índices H de un área de estudio para valorar el peso específico de un científico en dicha área. Como ocurre con el resto de índices, puede ser aplicado para valorar un individuo, pero también un grupo, un país, etc. Sin embargo, en este caso no se usa la globalidad de los artículos si no sólo aquellos del área concreta evaluada. Por ejemplo, si el índice H de E. coli relacionado con cerdo es 106, el índice Dcos de un científico para E.coli será el número de artículos que tiene dentro de esos 106. El índice se complementa con una segunda cifra, la cual detalla el número de campos de investigación en los que se tienen los artículos. Pongamos como ejemplo un científico que tiene dos artículos dentro del índice H de E.coli y cinco dentro del de Streptoccocus suis; el índice Dcos para bacterias que afectan al porcino de dicho científico es 7(2), donde 7 es el número total de artículos que tiene incluidos en los índices H de las bacterias que afectan al cerdo y 2 el número de campos de investigación (patógenos) donde tiene publicados dichos artículos. Por lo tanto, en el índice Dcos la primera cifra marca la cantidad de artículos publicados, en referencia a un/os patógeno/s, que tiene una alta calidad –ya que es necesario que estén en el top de artículos citados para aquel/aquellos patógeno/s concretos-, mientras que la segunda cifra marca la capacidad del científico de diversificar su trabajo investigador y abordar con éxito diferentes temas.

ENLACE A LA PUBLICACIÓN

Ivan Díaz, Martí Cortey, Àlex Olvera, Joaquim Segalés (2016). Use of H-Index and Other Bibliometric Indicators to Evaluate Research Productivity Outcome on Swine Diseases. PLoS ONE, doi: 10.1371/journal.pone.0149690

OTRAS REFERENCIAS

Para contactar con los investigadores responsables y autores de esta entrada:

Ivan Díaz Luque
Investigador IRTA-CReSA
Correo electrónico: ivan.diaz@irta.cat
Edifici CReSA. Campus de la UAB

Marti Cortey Marques
Investigador IRTA-CReSA
Correo electrónico: marti.cortey@irta.cat
Edificio CReSA. Campus de la UAB

 

Conoce algo más al autor de este post: