Este artículo de IA de China presenta SegMamba: un novedoso modelo Mamba de segmentación de imágenes médicas en 3D para capturar de manera eficiente correlaciones a largo plazo dentro de características completas en todas las dimensiones

Mejorar el campo receptivo de los modelos es crucial para una segmentación eficaz de imágenes médicas en 3D. Las redes neuronales convencionales (CNN) a menudo tienen dificultades para extraer información global a partir de imágenes médicas en 3D de alta resolución. Una solución propuesta es utilizar una convolución basada en profundidad con un tamaño de núcleo mayor para obtener una gama más amplia de características. Sin embargo, los métodos basados ​​en CNN necesitan ayuda para determinar la relación entre píxeles distantes.

Recientemente, se han realizado extensas investigaciones sobre arquitecturas de transformadores que utilizan mecanismos de autoenfoque para extraer información global para la segmentación de imágenes médicas en 3D, como TransBTS, que combina 3D-CNN con transformadores. ; UNETR utiliza Vision Transformer (ViT) como codificador para explorar información contextual. Sin embargo, los métodos basados ​​en transformadores adolecen de dificultades computacionales debido a la alta resolución de las imágenes médicas en 3D, lo que conduce a una disminución en la velocidad.

Para abordar el problema del modelado de secuencias largas, los investigadores han introducido previamente el modelo de espacio de estados (SSM) Mamba para modelar de manera eficiente correlaciones a largo plazo a través de un mecanismo de selección y algoritmos con reconocimiento de hardware. Varios estudios han utilizado Mamba para tareas de visión por computadora (CV). Por ejemplo, U-Mamba integra la capa Mamba para mejorar la segmentación de imágenes médicas.

Al mismo tiempo, Vision Mamba ofrece un bloque Vim que incluye SSM bidireccional para modelado de contexto visual global e incorporación de ubicación para comprender el conocimiento de la ubicación. VMamba presenta un módulo CSM que cierra la brecha entre el escaneo de matrices 1D y secciones transversales simples 2D. Sin embargo, los bloques transformadores tradicionales tienen dificultades para manejar características a gran escala, por lo que es necesario modelar la relación entre características de alta dimensión para mejorar la percepción visual.

Inspirados por esto, investigadores de la Academia de Inteligencia Artificial de Beijing presentaron SegMamba, una nueva arquitectura que combina estructuras en forma de U con Mamba para modelar características globales completas a varias escalas. Utilizan Mamba específicamente para la segmentación de imágenes médicas en 3D. SegMamba exhibe una capacidad notable para modelar correlaciones a largo plazo dentro de datos volumétricos mientras mantiene una eficiencia notable en comparación con los métodos tradicionales basados ​​en CNN y transformadores.

Los investigadores realizaron extensos experimentos con el conjunto de datos BraTS2023 para confirmar la efectividad y eficiencia de SegMamba para la segmentación de imágenes médicas en 3D. A diferencia de los métodos basados ​​en transformadores, SegMamba utiliza principios de modelado de espacio de estados para modelar todas las propiedades del volumen manteniendo la máxima velocidad de procesamiento. Incluso con una especificación de volumen de resolución 64 × 64 × 64 (equivalente a una longitud de secuencia de 260k), SegMamba muestra una eficiencia impresionante.

Comprobar el Papel y Github. Todo el crédito por este estudio va a los investigadores de este proyecto. Y no olvides seguirnos Gorjeo y noticias de Google. Unir nuestro SubReddit de 36k+ ML, Más de 41.000 comunidades de Facebook, canal de discordiay LinkedIn Grpor favor.

Si te gusta nuestro trabajo, te encantará nuestro trabajo. Boletin informativo..

No olvides unirte a nosotros canal de telegramas