Un nuevo enfoque que utiliza el aprendizaje profundo podría acelerar la microscopía de imagen cerebral 16 veces

Artículos Estudios Investigaciones Noticias Tecnología

Revisado por Kate Anderton, B.Sc. (Editor)Las descripciones de las células cerebrales en los libros de texto hacen que las neuronas se vean simples: un axón central largo similar a una columna vertebral con dendritas ramificadas. 

Tomados individualmente, estos pueden ser fáciles de identificar y mapear, pero en un cerebro real, son más como un montón de pulpos nudosos, con cientos de extremidades entrelazadas. Esto hace que comprender cómo se comportan e interactúen sea un desafío importante para los neurocientíficos.

Una forma en que los investigadores desenredan nuestra confusión neuronal es a través de imágenes microscópicas. Al tomar fotografías de capas muy delgadas de un cerebro y reconstruirlas en forma tridimensional, es posible determinar dónde están las estructuras y cómo se relacionan.

Pero esto trae sus propios desafíos. Obtener imágenes de alta resolución y capturarlas rápidamente para cubrir una sección razonable del cerebro es una tarea importante.

Parte del problema radica en las compensaciones y compromisos con los que cualquier fotógrafo está familiarizado. Abra la abertura el tiempo suficiente para dejar entrar mucha luz y cualquier movimiento causará un desenfoque; tome una imagen rápida para evitar el desenfoque y el sujeto puede oscurecerse.

Pero otros problemas son específicos de los métodos utilizados en la reconstrucción del cerebro. Por un lado, las imágenes cerebrales de alta resolución requieren mucho tiempo. Por otro lado, en la técnica ampliamente utilizada llamada microscopía electrónica de cara en bloque en serie, se corta un trozo de tejido en un bloque, se toma una imagen de la superficie, se corta una sección delgada y luego se vuelve a tomar la imagen del bloque; El proceso se repite hasta su finalización. Sin embargo, el haz de electrones que crea las imágenes microscópicas puede hacer que la muestra se derrita, distorsionando al sujeto que está tratando de capturar.


Uri Manor, director del Centro de Biofotónica Avanzada de Waitt en el Instituto Salk de Estudios Biológicos en San Diego, es responsable de ejecutar numerosos microscopios de alta potencia utilizados por investigadores de todo el país. También tiene la tarea de identificar e implementar nuevos microscopios y desarrollar soluciones que puedan abordar los problemas con los que luchan las tecnologías actuales.

“Si alguien viene con un problema y nuestros instrumentos no pueden hacerlo, o no podemos encontrar uno que pueda, es mi trabajo desarrollar esa capacidad”, dijo Manor.

Consciente de los problemas de imagen que enfrentan los neurocientíficos, decidió que era necesario un nuevo enfoque. Si había alcanzado los límites físicos de la microscopía, razonó Manor, tal vez un mejor software y algoritmos podrían proporcionar una solución.

“Hay enfoques matemáticos y computacionales sofisticados que se han estudiado durante décadas para eliminar el ruido sin eliminar la señal”, dijo Manor. “Ahí fue donde empecé”.


Trabajando con Linjing Fang, un especialista en análisis de imágenes en Salk, idearon una estrategia para usar GPU (unidades de procesamiento de gráficos) para acelerar el procesamiento de imágenes microscópicas.

Comenzaron con un truco de procesamiento de imágenes llamado deconvolución que había sido desarrollado en parte por John Sedat, uno de los héroes científicos de Manor y mentor en Salk. El enfoque fue utilizado por astrónomos que querían resolver imágenes de estrellas y planetas con mayor resolución de la que podían lograr directamente desde los telescopios.

“Si conoce las propiedades ópticas de su sistema, puede eliminar las imágenes y obtener el doble de la resolución del original”, explicó.

Creían que el aprendizaje profundo, una forma de aprendizaje automático que utiliza múltiples capas de análisis para extraer progresivamente características de nivel superior de la entrada sin formato, podría ser muy útil para aumentar la resolución de las imágenes de microscopio, un proceso llamado superresolución.

Las resonancias magnéticas, las imágenes satelitales y las fotografías habían servido como casos de prueba para desarrollar enfoques de superesolución basados ​​en el aprendizaje profundo, pero notablemente se había hecho muy poco en microscopía. Quizás, pensó Manor, lo mismo podría hacerse con microscopía.

El primer paso para entrenar un sistema de aprendizaje profundo consiste en encontrar un gran corpus de datos. Para esto, Manor se asoció con Kristen Harris, profesora de neurociencia en la Universidad de Texas en Austin y una de las principales expertas en microscopía cerebral.

“Sus protocolos se utilizan en todo el mundo. Ella estaba haciendo ciencia abierta antes de que fuera genial. Obtiene imágenes increíblemente detalladas y ha estado colaborando con Salk durante varios años “. – Uri Manor, director de la Instalación Principal de Biofotónica Avanzada de Waitt, Instituto Salk de Estudios Biológicos en San Diego –

Harris le ofreció a Manor tantos datos como necesitaba para el entrenamiento. Luego, utilizando la supercomputadora Maverick en el Centro de Computación Avanzada de Texas (TACC) y varios días de cómputo continuo, creó análogos de baja resolución de las imágenes de microscopio de alta resolución y entrenó una red de aprendizaje profundo en esos pares de imágenes.

“TACC ha sido increíblemente útil”, dijo Manor. “Nos proporcionaron hardware para entrenar antes de que se nos cayera el pelo y nos proporcionaron experiencia en computación e incluso nos ayudaron a realizar experimentos computacionales para afinar nuestro proceso”.

Desafortunadamente, los primeros intentos de Manor de crear versiones de súper resolución de imágenes de baja resolución no tuvieron éxito. “Cuando intentamos probar el sistema en datos del mundo real de baja resolución que eran mucho más ruidosos que nuestros datos de entrenamiento de baja resolución, la red no funcionó tan bien”.

Manor tuvo otro golpe de suerte cuando Jeremy Howard, fundador de fast.ai, y Fred Monroe, de la Iniciativa de Investigación Médica de Wicklow AI (WAMRI.ai), llegaron a Salk en busca de problemas de investigación que pudieran beneficiarse del aprendizaje profundo.

“Estaban entusiasmados con lo que estábamos haciendo. Era una aplicación perfecta para sus métodos de aprendizaje profundo y su deseo de ayudar a llevar el aprendizaje profundo a nuevos dominios”, recordó Manor. “Comenzamos a usar algunos de sus trucos que habían establecido, incluida la crappificación”.

En el momento de su reunión, Manor y Fang habían disminuido computacionalmente la resolución de sus imágenes para parejas de entrenamiento, pero aún no estaban lo suficientemente mal. También estaban utilizando un tipo de arquitectura de aprendizaje profundo llamada redes generativas de confrontación (GAN).

“Sugirieron agregar más ruido computacionalmente”, recordó. “‘Agregue algo de desenfoque y diferentes tipos de ruido para hacer que las imágenes sean realmente malas’. Habían construido una biblioteca de crappificaciones y crappificamos nuestras imágenes hasta que se parecía mucho más, o incluso peor, a cómo se ve cuando se adquiere una imagen de baja resolución en el mundo. También nos ayudaron a cambiar de GAN a U- Arquitecturas de red, que son mucho más fáciles de entrenar y mejores para eliminar el ruido “.

Manor volvió a entrenar su sistema de inteligencia artificial utilizando los nuevos pares de imágenes y la arquitectura de aprendizaje profundo y descubrió que podía crear imágenes de alta resolución que eran muy similares a las que se habían creado originalmente con mayor aumento. Además, expertos capacitados pudieron encontrar características de las células cerebrales en versiones desencriptadas de las muestras de baja resolución que no se pudieron detectar en los originales.

Finalmente, pusieron su sistema a prueba: aplicando el método a imágenes creadas en otros laboratorios con diferentes microscopios y preparaciones.

“Por lo general, en el aprendizaje profundo, hay que volver a entrenar y ajustar el modelo para diferentes conjuntos de datos”, dijo Manor. “Pero estábamos encantados de que nuestro sistema funcionara tan bien para una amplia gama de conjuntos de muestras e imágenes”.

El éxito significó que las muestras podían tomarse imágenes sin riesgo de daños, y que podían obtenerse al menos 16 veces más rápido de lo que tradicionalmente se hacía.

“Para obtener una imagen de todo el cerebro en resolución completa podría tomar más de cien años”, explicó Manor. “Con un aumento de 16 veces en todo, tal vez se convierta en 10 años, lo cual es mucho más práctico”.

El equipo publicó sus resultados en Biorxiv, los presentó en la F8 Facebook Developer Conference y en el segundo taller NSF NeuroNex 3DEM, e hizo que el código estuviera disponible a través de GitHub.

“Este enfoque no solo funciona. Nuestro modelo de entrenamiento se puede usar de inmediato”, dijo Manor. “Es extremadamente rápido y fácil. Y cualquiera que quiera usar esta herramienta pronto podrá iniciar sesión en 3DEM.org [una plataforma de investigación basada en la web enfocada en desarrollar y difundir nuevas tecnologías para microscopía electrónica tridimensional de resolución mejorada, respaldada por la Fundación Nacional de Ciencia] y ejecutar sus datos a través de él “.

“Uri realmente fomenta esta idea de mejora de la imagen a través del aprendizaje profundo”, dijo Harris. “En última instancia, esperamos que no tengamos imágenes malas. Pero en este momento, muchas de las imágenes tienen este problema, por lo que habrá lugares en los que desea rellenar los agujeros en función de lo que está presente en las secciones adyacentes”.

Manor espera desarrollar un software que pueda hacer la reconstrucción sobre la marcha, para que los investigadores puedan ver imágenes de súper resolución de inmediato, en lugar de en el procesamiento posterior. También ve el potencial para mejorar el rendimiento de los millones de microscopios que ya se encuentran en los laboratorios de todo el mundo y para construir un nuevo microscopio desde cero que aproveche las capacidades de IA.

“Menos costoso, mayor resolución, más rápido: hay muchas áreas en las que podemos mejorar”.

Con una prueba de concepto, Manor y su equipo han desarrollado una herramienta que permitirá avances en la neurociencia. Pero sin colaboraciones fortuitas con Kristen Harris, Howard y Monroe y TACC, es posible que nunca se haya concretado.

” Es un hermoso ejemplo de cómo realmente hacer avances en la ciencia. Se necesita contar con expertos abiertos para trabajar junto con personas de cualquier parte del mundo para hacer que algo suceda”, dijo Manor. “Me siento muy afortunado de haber estado en una posición en la que podría interactuar con todos estos compañeros de clase mundial”.

Vía: News-medicalFuente: Universidad de Texas en Austin, Texas Advanced Computing Center

Comparte en.....