Por qué NO debemos centrarnos en el impacto y Por qué NO debemos centrarnos en el impacto y menos en el factor de impacto para evaluar los menos en el factor de impacto para evaluar los resultados de la investigación: cambiando los resultados de la investigación: cambiando los

incentivosincentivos

Gabriel RadaUnidad de Medicina Basada en Evidencia (UMBE), PROSABE

INTRODUCCIÓNINTRODUCCIÓN

¿Cuál es el objetivo de lainvestigación?

– Generar conocimiento• ΕΠΙΣΤΗΜΟΝΙΚΟΣ • cientia --> Conocimiento

En el caso de la investigaciónbiomédica.

• Beneficiar a las personas (individual o colectivo)

Dos conceptos fundamentalesDos conceptos fundamentales

• What you measure is what you get– WYMIWYG

• El ser humano se mueve fundamentalmente por incentivos– Principales incentivos:

Recompensa (económica, moral, reconocimiento) y castigo.

•Hummel, J., & Huitt, W. (1994, February). What you measure is what you get. GaASCD Newsletter: The Reporter, 10-11. Retrieved [date], from http://www.edpsycinteractive.org/papers/wymiwyg.html

•Steven Levitt and Stephen J. Dubner (2005). Freakonomics: A Rogue Economist Explores the Hidden Side of Everything. William Morrow/HarperCollins•http://freakonomics.blogs.nytimes.com/

Incentivos bien intencionados, bajo determinadascondiciones pueden llevar a consecuencias no deseadas

Algunos incentivos pueden ser muy exitosos, aunque no queramos aceptarlo

Incentivo 1 (moral): Bienestar del pacienteIncentivo 2 (económico): Bienestar del médico

Ruta de navegaciónRuta de navegación

• La importancia de evaluar los méritos de un artículo individual

• Falencias de un sistema basado en citaciones

• Diferencia entre citación e impacto

• Por qué medir el impacto es insuficiente (y eventualmente perjudicial)

• Posibles soluciones

•…”a problem about equal to having an elephant in the living room. It's so big you just can't ignore it.“ The New York Times on June 20, 1959

• Lo que muchas instituciones hacen:• Medir el valor de un artículo de

investigación en base al Factor de impacto de la revista…

• Es decir…todos los artículos tienen el mismo impacto, sólo por el hecho de ser publicados en esa revista.

¿Qué factor de impacto tiene la ¿Qué factor de impacto tiene la revista en que publicaste?revista en que publicaste?

Lowry vs. RadaLowry vs. Rada

• Rada G. ACP Journal Club. Immediate and delayed acupuncture reduced frequency and pain intensity of primary migraine or tension-type headaches. Ann Intern Med. 2009 Jan 20;150(2):JC1-14.

• Annals of Internal Medicine tuvo el 2008 un factor de impacto de 17,5

• Citaciones = 0

•Lowry, O. H., Rosebrough, N. J., Farr, A. L., and Randall, R. J. Protein Measurement with the Folin Phenol Reagent ( (1951) J. Biol. Chem.193, 265–275)• (describe un método simple y sensible de medir la cantidad de proteína en una solución.•Journal of Biological Chemistry tiene factor de impacto 5,85. •Citaciones = 275.669

¿Qué tan bueno es un artículo?Sólo basado en un elemento de

muchos que pueden ser importantes¿Qué tan bueno es un académico?Selección sólo por ranking de su

universidad (ARWU)El resto del curriculum no importa

Algunas soluciones apuntan al impacto de un autor

No capturan el valor de cada artículo

Miguel de Cervantes y Saavedra

•…”a problem about equal to having an elephant in the living room. It's so big you just can't ignore it.“ The New York Times on June 20, 1959

El supuesto detrás de esto:• Las revistas con alto impacto publican lo

más relevante (y no publican nada irrelevante)

• Un artículo de mala calidad no sería publicado en una revista de alto impacto

¿Qué factor de impacto tiene la ¿Qué factor de impacto tiene la revista en que publicaste?revista en que publicaste?

Explicación práctica:• Conocer el impacto de un artículo

específico toma tiempo (IF=3 años)• Otras medidas basadas en citación

toman menos tiempo que IF, pero no lo suficiente.

• No existe una medida alternativa de amplio uso

Article-level metricsArticle-level metrics

Iniciativa PLoS:

Iniciativa para medir, difundir y utilizar las citaciones (entre otras cosas) de cada artículo por separado.

¿citaciones = impacto?¿citaciones = impacto?

Si un artículo recibe muchas citaciones

…y las citaciones son hechas por las personas más idóneas (científicos familiarizados con el tema)

ergo…su aporte al conocimiento es proporcional.

Limitaciones prácticas de las citacionesLimitaciones prácticas de las citaciones

• Tiempo

• El autor que cita

• La empresa que lleva la cuenta

TiempoTiempo

El gran problema…los autoresEl gran problema…los autores

– Tema poco estudiado (todo se basa en esto)– Los estudios, consistentemente muestran:

• Errores en la forma de citar

• Aseveraciones que no reflejan lo que dice la cita (25%)

• No se cita el artículo original, sino una revisión (se pierde el sentido)

•de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886.

•Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4.

•Todd P A, Yeo D C J, Li D, Ladle R J, 2007, "Citing practices in ecology: can we trust our own words?" Oikos 116 1599 – 1601

¿Cómo se construye el conocimiento?¿Cómo se construye el conocimiento?

Afirmación: Beta amiloide se encuentra presente en las fibras musculares en la

miositis por cuerpos de inclusión

Greengberg SA. How citation distortions create unfounded authority: analysis of a citation network. BMJ 2009;339:b2680

El que esté libre de pecado, que El que esté libre de pecado, que arroje la primera piedraarroje la primera piedra

• En algunos casos, los investigadores:

• Eligen cita que refuerza su hipótesis

• Si no existe, la inventan• No hacen un gran

esfuerzo por seleccionar la mejor cita

¿Cuánto reflexionará/buscará el autor para elegir cada cita?

• Citas más recientes

• Citas más accesibles – Open access

– Bibliotecas

– Índices (por ej. MEDLINE)

– Idioma

• Citas más “glamorosas”– Revistas de alto impacto

– Idioma

•de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886.

•Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4.

•Todd P A, Yeo D C J, Li D, Ladle R J, 2007, "Citing practices in ecology: can we trust our own words?" Oikos 116 1599 – 1601

Los riesgos de la endogamiaLos riesgos de la endogamia

– Algunos autores caen conciente o inconcientemente en:

• Autocitación (“citas incestuosas”)

• Endogamia

• ¿Mafias curriculares, parásitos científicos?

•de Lacey G, Record C, Wade J. How accurate are quotations and references in medical journals? Br Med J. 1985;291(6499):884–886.

•Fenton JE, Brazier H, De Souza A, Hughes JP, McShane DP. The accuracy of citation and quotation in otolaryngology/head and neck surgery journals. Clin Otolaryngol Allied Sci. 2000;25(1):40-4.

•Todd P A, Yeo D C J, Li D, Ladle R J, 2007, "Citing practices in ecology: can we trust our own words?" Oikos 116 1599 – 1601

……y por si esto fuera pocoy por si esto fuera poco

¿Inocente o culpable?

• No transparente

• (denominador)Artículo citables

• ¿Cuáles son?

• ¿Quién decide?

• Solo cuentan los artículos indexados en su base de datos.

……en un mundo idealen un mundo ideal• Citaciones

– Existe una métrica del artículo individual

– Autores publican rápidamente nueva investigación

– Autores citan los artículos que más aportan al conocimiento.

– El proceso de conteo de referencias se hace de manera transparente

Citaciones no es = a ImpactoCitaciones no es = a Impacto• Sólo habla de impacto en investigadores (probablemente en el mismo

campo)

• No habla del impacto en:

– La comunidad médica no investigadora

– Los que toman decisiones de política de salud

– Los pacientes

– El público general

– Otros

Impactos e impactos (investigadores)Impactos e impactos (investigadores)

Impacto absolutamente

negativo

Establece verdad irrefutable (y beneficia

a población)

Hipótesis completamente errada

Refuta hallazgos de otros estudios

Refuerza hipótesis de otros estudios

Genera conocimiento cierto en su área

Genera conocimiento cierto, extrapolable a otras áreas

Impacto en investigadores Impacto en investigadores = ¿aporte al conocimiento?= ¿aporte al conocimiento?

• El control intensivo de la glicemia disminuye la mortalidad en UCI

– van den Berghe et al. Intensive insulin therapy in the critically ill patients. N Engl J Med. 2001 Nov 8;345(19):1359-67

• En realidad no parece haber un beneficio tan claro…y aumentan las hipoglicemias.

– Wiener et al. Benefits and Risks of Tight Glucose Control in Critically Ill Adults: A Meta-analysis. JAMA. 2008;300(8):933-944.

• No sólo no disminuye, sino que aumenta la mortalidad.

– NICE-SUGAR Study Investigators. Intensive versus conventional glucose control in critically ill

patients. N Engl J Med. 2009 Mar 26;360(13):1283-97.

Otras formas de medir impactoOtras formas de medir impacto

• Comunidad académica/investigadora

Otras formas de medir impactoOtras formas de medir impacto

• Comunidad científica/Médica, no sólo investigadora

Otras formas de medir impactoOtras formas de medir impacto

Rating y comentariosRating y comentarios

El gran problema: Los incentivosEl gran problema: Los incentivos

Iniciativa avanza mucho más lento de los esperado

¿Qué gana un investigador con contribuir, comentar, etc?

Citaciones: Más allá de la revistaCitaciones: Más allá de la revista

Web 2.0: Aprovechando lo existenteWeb 2.0: Aprovechando lo existente

• Concepto para definir la Web basada en comunidades de usuarios

• Usuario agrega y modifica contenidos

¿Cuáles son las posibilidades?¿Cuáles son las posibilidades?

• Redes socialesFacebook:– se ha convertido en la más

importante

Marcadores sociales (social bookmarking)Marcadores sociales (social bookmarking)

– Sitios que permiten seleccionar información relevante y compartirla con otros usuarios.

– Control editorial democrático, según graduación de los usuarios, número de veces en que alguien lo sugiere, etc

– CiteUlike

– Connotea

citeulikeciteulike

ConnoteaConnotea

CITEULIKECITEULIKE

• Todavía en etapa preliminar

• Permite compartir papers de interés

El gran problema: Los incentivosEl gran problema: Los incentivos

Iniciativa avanza mucho más lento de los esperado

¿Qué gana un investigador con contribuir, comentar, etc?

Stack overflow: Acumulando KarmaStack overflow: Acumulando Karma

• Corto vs largo

Impacto vs CalidadImpacto vs Calidad

No aporta (retrocede)

Aporta claramente

Hipótesis completamente errada

Refuta hallazgos de otros estudios

Refuerza hipótesis de otros estudios

Genera conocimiento cierto en su área

Genera conocimiento cierto, extrapolable a otras áreas

2 tipos de error2 tipos de error

• Error por azar

• Error sistemáticosesgo

Definición de sesgoDefinición de sesgo

• Sesgo: Cualquier tendencia en la recolección, análisis, interpretación, publicación o revisión de los datos…

• …que puede llevar a conclusiones que son sistemáticamente diferentes de la verdad.

¿Es aceptable el error?¿Es aceptable el error?

• El error por azar se puede minimizar– Recursos ++++

• El sesgo se puede minimizar (e incluso eliminar)– Recursos +

Cambiando los incentivosCambiando los incentivos

• Evaluación de impacto en forma amplia (no sólo citaciones)

• Sistemas basados en citaciones transparentes y confiables.

• Evaluar calidad

• Evaluar impacto (positivo) a largo plazo

DesafíosDesafíos

• Primero: Medir todo lo medible

• Usar los resultados de esa medición de acuerdo al objetivo final

• Citaciones: Fomentar la probidad y profesionalismo (es demasiado importante)

• Estimular la participación en definir el impacto y calidad.

¿Quién podrá ayudarnos?¿Quién podrá ayudarnos?

• El sistema es:– Complejo– Injusto– Discriminatorio– Poco transparente– Difícil de cambiar

Sir John SulstonSir John Sulston

“(Journal metrics) are the disease of our times"

• Director del Institute for Science, Ethics and Innovation de la Universidad de Manchester, y ganador del premio Nobel, 2002.

Richard HortonRichard Horton

"If I could get rid of the impact factor tomorrow, I would. I hate it. I didn't invent it and I did not ask for it. It totally distorts decision-making and it is a very, very bad influence on science“"The incentive for me is to cut off completely parts of the world that have the biggest health challenges ... citations create a racist culture in journals' decision-making and embody a system that is only about us (in the developed world)."

Editor en jefe del Lancet

¿Cómo combatir este circulo vicioso?¿Cómo combatir este circulo vicioso?

Muchas gracias…

y se abre la discusión.