Zyphra Open-Sources BlackMamba: una arquitectura innovadora que combina Mamba SSM con MoD para obtener lo mejor de ambos

Procesar secuencias tan grandes de datos lingüísticos ha sido un desafío importante, ya que los modelos de transformadores tradicionales a menudo se atascan bajo los requisitos computacionales y de memoria. Esta limitación se debe principalmente a la complejidad cuadrática del mecanismo de atención subyacente a estos modelos, que tiende a perder peso a medida que aumenta la longitud de la secuencia. La introducción de modelos de espacio de estados (SSM) y modelos mixtos expertos (ME) ofrece información sobre posibles soluciones, proporcionando una forma de linealizar la complejidad computacional de los primeros y reduciendo la sobrecarga computacional de entrenamiento e inferencia de los segundos. el costo de aumentar los requisitos de memoria.

El modelo BlackMamba de los investigadores de Zyphra es una combinación sofisticada de SSM y MoE diseñados para aprovecharse mutuamente. La arquitectura de BlackMamba se destaca por su innovadora combinación de bloques Mamba no enfocados y MLP enfocados. Esta configuración mejora la eficiencia del modelo y mejora el rendimiento en diversas tareas lingüísticas. Este modelo híbrido es particularmente capaz de procesar largas secuencias de datos, lo que supone un gran desafío para los modelos de PNL existentes.

La metodología detrás de BlackMamba alterna entre bloques Mamba, que evitan los mecanismos de atención tradicionales, y bloques MEB, que involucran selectivamente varios componentes expertos del modelo dependiendo de la entrada, y BlackMamba logra un equilibrio notable entre eficiencia y efectividad. Este equilibrio es crucial para que los modelos de PNL manejen los vastos y variados matices del lenguaje humano sin incurrir en demasiados gastos computacionales.

El rendimiento de BlackMamba se ha evaluado minuciosamente en comparación con los puntos de referencia actuales, lo que demuestra una capacidad superior para manejar largas colas de manera más eficiente y reducir los FLOP de entrenamiento necesarios para lograr un rendimiento comparable o mejor que los diseños de transformadores densos. BlackMamba supera a los modelos SSM y MoE en diversas tareas y exhibe métricas de rendimiento impresionantes en múltiples puntos de referencia. Estos logros muestran que el modelo avanza enormemente en el campo de la PNL, ofreciendo una solución más escalable y rentable para procesar y comprender el lenguaje humano.

El lanzamiento de BlackMamba como código abierto es un compromiso encomiable con la transparencia y la colaboración en la investigación científica. Al hacer que el modelo y los detalles de su entrenamiento estén disponibles públicamente, el equipo de investigación de Zyphra apoya una mayor exploración, experimentación e innovación en la comunidad de IA. Este enfoque de código abierto facilita la adopción y adaptación generalizada de BlackMamba y sienta un precedente para futuros desarrollos en este campo.

Finalmente, la introducción de BlackMamba por parte de los investigadores de Zyphra marca un hito importante en la evolución de los modelos lingüísticos.

• Es una combinación innovadora de modelos de espacio de estados y arquitecturas mixtas de expertos, que ofrece un modelo para futuros avances en el procesamiento del lenguaje natural.
• Un enfoque innovador que equilibra la eficiencia computacional con el rendimiento permite procesar largas colas sin altos costos.
• Mostró el desempeño más alto en muchos indicadores, lo que destacó la eficiencia y eficacia del modelo.
• La versión de código abierto del modelo fomenta la transparencia, la colaboración y una mayor innovación en la comunidad de IA.

Comprobar el Papel y GitHub. Todo el crédito por este estudio va a los investigadores de este proyecto. Y no olvides seguirnos Gorjeo y noticias de Google. Unir nuestro SubReddit de 36k+ ML, Más de 41.000 comunidades de Facebook, canal de discordiay LinkedIn Grpor favor.

Si te gusta nuestro trabajo, te encantará nuestro trabajo. Boletin informativo..

No olvides unirte a nosotros canal de telegramas