shadow

Primero, sin embargo, también señala otra observación interesante.

Primero, sin embargo, también señala otra observación interesante.

Con frecuencia, por lo tanto, el primer autor es un estudiante de posgrado o un becario posdoctoral que trabaja en el laboratorio del PI.

Entonces, ¿Cuáles fueron los resultados? Como me voy de vacaciones y me siento un poco perezoso en este momento, dejaré que Ioannidis lo describa:

Descubrimos que servir en una sección de estudio no está necesariamente ligado al impacto en la literatura científica. (ver ‘¿Está la financiación ligada al impacto?). Cuando cotejamos las listas de secciones de estudio de los NIH con la lista de 1172 autores de artículos muy citados, encontramos solo 72 autores de EE. UU. que entre ellos habían publicado 84 artículos elegibles con 1000 o más citas cada uno y que eran miembros actuales una sección de estudio del NIH. Estos 72 autores comprendían el 0,8% de los 8.517 miembros de la sección de estudio. La mayoría de los 72 (n = 64, 88,9 %) recibieron actualmente financiación de los NIH.

Luego, seleccionamos al azar 200 artículos elegibles sobre ciencias de la vida y la salud con 1000 o más citas (analizar los 700 habría requerido un esfuerzo intenso y no habría arrojado información adicional en términos de eficiencia estadística). Excluimos aquellos en los que el autor único, el primero o el último era miembro de una sección de estudio de los NIH, y aquellos en los que el autor único o el primero y el último no estaban ubicados en los Estados Unidos en función de sus afiliaciones en ese momento. de publicación Esto generó un grupo de 158 artículos con 262 autores estadounidenses elegibles que no participaron en las secciones del estudio NIH. Solo la minoría (n = 104, 39,7 %) de estos 262 autores recibió financiación actual de los NIH.

Estos datos se presentan en forma gráfica en el artículo:

Entonces, el hallazgo básico es que los investigadores vistos como “altamente influyentes” a menudo no están en las secciones de estudio de los NIH. Ioannidis señala que estas tasas de financiación de los NIH no son más altas y podrían ser peores que las de los científicos biomédicos en general. Ioannidis cita datos que sugieren que entre el 24 % y el 37 % de los investigadores biomédicos que solicitaron subvenciones entre 2001 y 2011 fueron financiados como investigadores principales. Cierto, Ioannidis señala que las tasas de financiamiento para subvenciones individuales son considerablemente más bajas (después de todo, las líneas de pago en los últimos años han estado en el rango del percentil 7) y que los investigadores presentan múltiples subvenciones, lo que resulta en una cantidad significativa de investigadores en última instancia. recibiendo fondos del NIH. Sin embargo, hay un problema al usar este rango en particular. La primera parte del rango es muy diferente de la parte más reciente del rango en lo que respecta a las líneas de pago. de 1998 a 2003, el presupuesto de NIH casi se duplicó, como resultado de una iniciativa iniciada bajo la administración Clinton y completada bajo la administración Bush. En verdad, en ese entonces era la tierra de la leche y la miel para los investigadores que intentaban competir por las subvenciones de los NIH, con líneas de pago muy por encima del percentil 20 en algunos institutos. Luego, después de que terminó la duplicación en 2003, el NIH entró en lo que desde entonces se conoce como un “aterrizaje forzoso”. Los aumentos presupuestarios no se mantuvieron al día con la inflación. Además, debido a que las subvenciones financiadas durante el tiempo de la duplicación podrían durar hasta 5 años, los compromisos de esas subvenciones financiadas durante el tiempo de la duplicación se mantuvieron durante varios años después de que terminaron los grandes aumentos de presupuesto, dejando menos dinero para nuevas subvenciones. Por lo tanto, este período abarca una “época de abundancia” que duró hasta alrededor de 2003 y 2004 y la sequía actual, que se volvió realmente severa después de alrededor de 2006. A pesar de todo tipo de medidas del NIH para aumentar el número de nuevas subvenciones, como recortar los presupuestos de las subvenciones existentes y las subvenciones recientemente otorgadas, la situación actual no muestra signos de disminuir en el corto plazo. Todo esto es por lo que me gustaría saber si la estimación de Ioannidis aún se mantiene para el período de, digamos, 2006 a 2011 como sucedió en el período anterior de 2001 a 2005.

Ya sea que lo haga o no, el hallazgo sigue siendo que no parece haber una diferencia perceptible entre las tasas de financiación de los NIH entre estos científicos altamente citados y el resto de nosotros, lo que sugiere que el sistema actual de los NIH no es identificando a los verdaderamente mejores y más brillantes. Al menos, esto es lo que argumenta Ioannidis. Primero, sin embargo, también señala otra observación interesante. Los miembros y no miembros de la sección de estudio no mostraron diferencias significativas en el número total de artículos muy citados:

Entre los autores de artículos muy citados, los miembros y no miembros de la sección de estudio no mostraron diferencias significativas en el número total de artículos muy citados, a pesar de que los miembros de las secciones de estudio tenían significativamente más probabilidades que los no miembros de tener financiación actual de los NIH. . Esto fue cierto tanto para los autores con varios artículos muy citados (13/13 frente a 13/19, p = 0,024) como para aquellos con un único artículo altamente citado elegible (51/59 frente a 91/243, p < 0.0001) y en general en un análisis estratificado (p < 0,0001).

Es importante aclarar aquí. Hay una razón por la cual los miembros de la sección de estudio tienen muchas más probabilidades de recibir financiamiento de los NIH, y es que los NIH invitan a los titulares de subvenciones de los NIH, en particular a los R01, a unirse a las secciones de estudio, y muchos lo hacen. De hecho, entre los requisitos para los miembros de la sección de estudio está que deben ser investigadores principales “en un proyecto de investigación comparable a los que están siendo revisados”. En otras palabras, para ser un miembro permanente oficial de una sección de estudio, en general, debe tener una subvención NIH, generalmente una R01 o mayor. Luego, el resto de la sección de estudio se completa con una banda rotativa de revisores ad hoc elegidos para áreas específicas de especialización. Ese es el punto, y es por eso que Ioannidis menciona esto. El punto es que estar en una sección de estudio o tener una subvención del NIH no tiene correlación con ser uno de estos científicos altamente citados.

Otra observación realizada por Ioannidis utilizando la puntuación de similitud o “coincidencia” en el sitio web de NIH REPORTER, donde puede encontrar listas de todos los proyectos de investigación financiados con fondos federales, es que las subvenciones de los miembros de la sección de estudio eran más similares a otras subvenciones actualmente financiadas que las de los no financiados. -Subvenciones de los socios. En otras palabras, las subvenciones financiadas de los miembros de las secciones de estudio de los NIH se parecen entre sí y las subvenciones en general son financiadas por los NIH. Ciertamente puedo adivinar por qué esto podría ser cierto. Uno de los consejos que recibí cuando estaba empezando (y que se les da a muchos investigadores jóvenes) es encontrar la manera de entrar en una sección de estudio. La razón es que al aprender cómo los NIH evalúan las subvenciones, puede aprender cómo diseñar subvenciones con más probabilidades de ser financiadas. Por lo tanto optimove comprar online, tiene sentido que se introduzca un cierto nivel de conformidad, y no hay duda de que esa conformidad se vuelve más pronunciada cuando la financiación es escasa. Las secciones de estudio y los NIH no quieren “desperdiciar” el dinero de los contribuyentes en proyectos riesgosos.

O, como dice Ioannidis:

Si los miembros de la sección de estudio de los NIH están bien financiados pero no son citados sustancialmente, esto podría sugerir un doble problema: no solo los autores más citados no reciben fondos, sino que, lo que es peor, aquellos que influyen en el proceso de financiación no se encuentran entre los que impulsan el proceso. literatura cientifica. Por lo tanto, examinamos una muestra aleatoria de 100 miembros de la sección de estudio de los NIH. No es sorprendente que el 83 % estuviera actualmente financiado por los NIH. El impacto de las citas de los 100 miembros de la sección de estudio de los NIH fue generalmente bueno o muy bueno, pero no excepcional: el artículo más citado que jamás habían publicado como autor único, primero o último había recibido una mediana de 136 (90–229) citas. y la mayoría ya eran investigadores en la mitad o al final de su carrera (el 80% eran profesores asociados o titulares). Solo 1 de los 100 había publicado alguna vez un artículo con 1000 o más citas como autor único, primero o último (consulte el Apéndice 1 de Información complementaria para obtener métricas de citas adicionales).

Y, de un informe de noticias sobre el estudio de Ioannidis:

Capecchi obtuvo la subvención y puso todo el dinero en la parte que los revisores desalentaron. “Si no pasara nada, estaría barriendo pisos ahora”, dijo. En cambio, descubrió cómo desactivar genes específicos en animales y compartió el Premio Nobel de Medicina 2007 por ello.

Aunque creo que Ioannidis definitivamente tiene razón, anécdotas como esta abundan en el mundo de la investigación. Por lo general, toman la forma de científicos con ideas que no pudieron persuadir a los NIH para que financiaran a pesar de las múltiples solicitudes de subvenciones, pero que luego resultaron ser revolucionarias o conducir a nuevas terapias muy útiles. La anécdota más común que escucho es la de Dennis Slamon, quien propuso apuntar al oncogén HER2 en el cáncer de mama. He tocado su saga antes, junto con todo el tema de apoyar la ciencia arriesgada frente a la ciencia más segura e incremental. Es el tema de “ir por el toque versus golpear las vallas”. Básicamente, a Slamon le gusta seguir y seguir diciendo que tuvo problemas para obtener fondos del NIH para desarrollar un anticuerpo monoclonal humanizado contra HER2, pero, como señalé, la historia en realidad era mucho más compleja que eso. Por ejemplo, las solicitudes de Slamon se enviaron en un momento en que otros científicos tenían dificultades para replicar sus resultados, y es muy probable que los miembros de la sección de estudio lo supieran. Además, Slamon no tuvo problemas para obtener fondos de NIH para otros proyectos en ese momento.

Para mí, estas anécdotas representan la variante científica del científico loco en las películas de terror que despotrica: “¡Me pensaron loco, loco, te digo! Pero les mostraré. Está bien, estoy siendo un poco sarcástico, pero estas historias son tan omnipresentes cada vez que alguien se queja de la “conformidad” y el carácter conservador del proceso de revisión de los NIH que tiendo a querer atragantarme cada vez que leo una de ellas. Son puro sesgo de confirmación. Sí, de vez en cuando la idea atrevida o extraña dará sus frutos. Sin embargo, muchas veces las ideas arriesgadas no funcionan porque, bueno, son arriesgadas. La mayoría de las ideas arriesgadas fracasan. Es muy fácil reconocer ideas innovadoras con un alto potencial de impacto en retrospectiva. En retrospectiva, ahora sabemos que Slamon y Capecchi han hecho grandes contribuciones a la ciencia. En el momento en que estaban haciendo su trabajo fundamental, no era tan obvio. Tanto Slamon como Capecchi tuvieron suerte. Tal es el destino de las ideas más arriesgadas que fácilmente podría haber ido por el otro lado y sus grandes ideas no haber ido a ninguna parte.

Pero volvamos a Ioannidis. Veo muchos problemas con su análisis, uno de los cuales es su métrica. Por un lado, en algunos campos especializados, incluso los artículos con un impacto muy alto tendrían dificultades para alcanzar las 1000 citas, porque simplemente no hay suficientes científicos trabajando en ese campo para producir tales éxitos de taquilla. Otro tema es la consistencia. Los científicos verdaderamente influyentes y creativos tienden a producir múltiples artículos influyentes, e incluso un científico promedio puede tropezar con algo. Incluso Ioannidis admite que “uno no puede asumir que los investigadores que han escrito artículos muy citados seguirán haciendo un trabajo igualmente influyente en el futuro”. De hecho, ¿cuántos de estos artículos analizados por Ioannidis fueron artículos únicos en los que los científicos que los publicaron nunca volvieron a publicar artículos tan influyentes? Para ser justos, Ioannidis tiene un buen punto de que tales investigadores han alcanzado un listón que debería darles la oportunidad de demostrar que pueden seguir haciendo un buen trabajo.

Finalmente, como señaló el director de los NIH, Francis Collins, los científicos financiados por los NIH han ganado 135 premios Nobel. La situación no es tan claramente un problema como lo hace parecer Ioannidis. Además, es la naturaleza misma de la ciencia que los estudios de “cambio de juego” tienden a ser relativamente pocos y distantes entre sí. La mayor parte del trabajo duro del avance de la ciencia proviene del trabajo incremental, en el que los científicos se basan en lo que se ha hecho antes. Fetichizamos a los “valientes inconformistas” y a los “genios”, y sí, son importantes, pero identificar a estos genios en el momento en que están haciendo su trabajo no es algo baladí. A menudo, la importancia de sus ideas y trabajo solo se aprecia en retrospectiva.

Al final, por mucho que admiro a Ioannidis, creo que está fuera de lugar aquí. No es que no esté de acuerdo con que el NIH deba tratar de encontrar formas de financiar investigaciones más innovadoras. Sin embargo, el enfoque de Ioannidis para cuantificar el problema parece tener fallas en su concepción misma. A la luz de eso, no puedo resistirme a revisar la discusión en mi última publicación sobre la cuestión del riesgo versus la seguridad en la investigación, y esa es una pregunta simple: ¿Cuál es la evidencia de que financiar una investigación más riesgosa dará como resultado una mejor investigación y más tratamientos? Tenemos muchas anécdotas de científicos cuyas ideas se validaron más tarde y potencialmente cambiaron el juego y no pudieron obtener fondos de los NIH, pero ¿con qué frecuencia sucede esto realmente? Como he señalado antes, la gran mayoría de las ideas “salvajes” se consideran “salvajes” precisamente porque son nuevas y hay poco apoyo para ellas. Una vez que se acumula evidencia para apoyarlos, ya no se los considera tan “salvajes”. Sabemos hoy que los científicos cuyas anécdotas de dolor que describen las depredaciones de los NIH ciertamente tenían algo en mente. ¿Cuántas ideas propuestas más que parecían innovadoras en ese momento pero finalmente no llegaron a ninguna parte?

Ioannidis plantea un punto inquietante, a saber, que los científicos que han escrito artículos muy influyentes aparentemente no tienen más probabilidades de obtener financiación de los NIH que el resto de nosotros y, lo que es más importante, que los científicos en las secciones de estudio de los NIH difieren de los que no están solo en las secciones de estudio. en su capacidad de persuadir a los NIH para que los financien. Las secciones de estudio de NIH son mucho trabajo, y también hay una cultura allí, con una multitud definida “in”. Es muy posible que los pensadores y científicos verdaderamente innovadores no quieran molestarse con las muchas horas de trabajo que implica cada reunión de la sección de estudio, lo que puede requerir que los miembros revisen de cinco a diez grandes subvenciones y luego viajen a Bethesda, y Es igualmente posible que tales científicos “no jueguen bien con los demás” en la sección de estudio. Sin duda, vale la pena investigar si este es el caso y luego tratar de encontrar una manera de incorporar mentes tan creativas al proceso de revisión de subvenciones. Sin embargo, la suposición que subyace en el análisis de Ioannidis parece ser que debe haber “rayos inesperados” descubiertos por brillantes y valientes científicos inconformistas. Todo es muy Randian en el fondo. Sin embargo, la ciencia es una empresa colaborativa, en la que cada científico se basa gradualmente en el trabajo de sus predecesores. Los rayos inesperados son algo bueno, pero no podemos contar con ellos, y nadie ha demostrado que es más probable que ocurran si los NIH financian “investigaciones más riesgosas”. Es igualmente probable que el resultado final sea mucha más investigación fallida.

Nadie puede decir, y ese es el punto.

Autor

David Gorsky

La información completa del Dr. Gorski se puede encontrar aquí, junto con información para pacientes.David H. Gorski, MD, PhD, FACS es un oncólogo quirúrgico en el Instituto de Cáncer Barbara Ann Karmanos que se especializa en cirugía de cáncer de mama, donde también se desempeña como médico de enlace del Comité de Cáncer del Colegio Estadounidense de Cirujanos, así como profesor asociado de cirugía. y miembro de la facultad del Programa de Graduados en Biología del Cáncer en la Universidad Estatal de Wayne. Si usted es un paciente potencial y encontró esta página a través de una búsqueda en Google, consulte Dr.

Posted in:
Articles by:
Published: