Un modelo de apenas 20 millones de parámetros acaba de superar a un rival abierto 65 veces más grande en la tarea de convertir audio en MIDI. Se llama Dettato y lo construyó un desarrollador independiente, que documentó todo el proceso, los benchmarks y las decisiones de arquitectura en kobi.music.
Dettato resuelve un problema conocido como transcripción automática de música (AMT): tomar una grabación de audio, por ejemplo una canción o una interpretación en vivo, y convertirla en eventos MIDI: qué nota sonó, en qué momento exacto empezó y cuándo terminó. Es el paso previo a convertir un audio en partitura, en un archivo que un sintetizador puede reproducir, o en datos que otra herramienta puede analizar (fuente).
Qué es la transcripción de audio a MIDI y qué resuelve Dettato
Pensá en la transcripción de audio como separar una conversación grabada en un cuarto lleno de gente: hay que decidir quién habló, cuándo empezó y cuándo se calló. Con audio musical el problema es parecido, solo que las "voces" son notas superpuestas de varios instrumentos sonando a la vez, muchas veces encima de percusión.
Según su creador, Dettato logra el estado del arte entre los modelos abiertos y queda apenas por encima de Mirelo A2M v1.1 Pro, un modelo cerrado, usando solo 20 millones de parámetros frente a los 1.300 millones de MuScriptor 1.3B: unas 65 veces menos (fuente). El modelo es de código abierto y sus salidas se pueden usar con fines comerciales.
Cómo logra el estado del arte con 65 veces menos parámetros
El propio creador cuenta que empezó a trabajar en Dettato hace unos 10 meses, pero descartó esa primera versión en abril de 2026. El motivo no fue falta de datos: fue la arquitectura. Había tratado la transcripción automática como un problema de datos, es decir, entrenar con más grabaciones, cuando el cuello de botella real estaba en cómo el modelo representa el problema (fuente).
Traza un paralelo con el reconocimiento óptico de partituras (OMR), un campo donde según cuenta construyó su primer modelo. Ambos campos arrancaron con algoritmos clásicos y después le sumaron componentes tipo LLM gigantes, que terminan sobreajustados a datos sintéticos porque abordan el problema de forma global. Reformulado como un problema local, con un modelo por carril de altura tonal (lo que el autor llama un "pitch-lane model"), el tamaño bajó sin perder precisión (fuente).
Dettato usa 20M de parámetros, 65 veces menos que MuScriptor 1.3B.
Los números frente a Mirelo, MuScriptor y YourMT3+
La comparación principal usa tres bancos de pruebas (PHENICX, RWC Classical y RWC Royalty-Free) y promedia tres métricas en un puntaje compuesto: onsets (si el modelo detecta el instante exacto en que arranca cada nota), frames (si sigue bien el tono mientras la nota suena) y offsets (si detecta cuándo termina). Hay además una métrica aparte para percusión, drums (fuente).
ModeloParámetrosCompositeOnsetsFramesOffsetsDrumsDettato20M60.870.879.140.952.5Mirelo A2M v1.1 Pro (cerrado)no publicado56.167.175.740.141.4MuScriptor1.300M47.457.071.231.430.1YourMT3+46M45.758.263.930.530.0
No es un barrido total. En el detalle por banco de pruebas, Dettato llega a 91.3 en Bach10 y a 64.8 en PHENICX-Anechoic, pero en RWC Classical el modelo cerrado Mirelo A2M v1.1 Pro saca 65.8 contra 64.4 de Dettato: la única categoría publicada donde el modelo cerrado le gana (fuente). Mirelo tampoco reportó resultados en varios de esos bancos (Dagstuhl ChoirSet, RWC Popular, RWC Genre, RWC Jazz y Slakh2100), así que la comparación completa solo existe para Dettato, MuScriptor y YourMT3+.
Entrenado sin una sola grabación con copyright
La parte menos técnica y más relevante para quien quiera usar Dettato en un producto es cómo se entrenó. La mezcla combina grabaciones de instrumentos sintéticos con partes solistas con licencia Creative Commons tomadas del dataset URMP; el resto de los instrumentos se genera combinando unos 20 soundfonts con una técnica que el propio autor publicó antes, llamada "soundfont babies". Ninguna grabación con copyright entró al entrenamiento (fuente).
📌 Nota: esto no es lo mismo que decir que el modelo es perfecto: es una garantía sobre el origen de los datos de entrenamiento, no sobre la precisión de cada transcripción.
Lo que dice la comunidad: límites antes de llevarlo a producción
El lanzamiento se discutió en Hacker News bajo el título "Show HN: I made an audio-to-MIDI model 60x more efficient". Dos comentarios ahí aportan algo que el anuncio original no menciona.
Un usuario identificado como gpugreg señaló un problema práctico, no técnico: si el servidor demora en responder, alguien impaciente puede reenviar el mismo archivo varias veces y terminar pagando varias veces por la misma conversión. Por eso recomendó implementar deduplicación de solicitudes en el sitio antes de escalar el servicio (fuente).
Otro usuario, mycall, cuestionó qué tan bien generaliza el modelo a sonidos de percusión: entrenar con los propios sonidos percusivos del autor deja afuera un rango mucho más amplio, calcula más de 10.000 timbres posibles y no todos son percusión, del que puede cubrir un conjunto reducido de muestras (fuente). Es exactamente el tipo de limitación que no aparece en un benchmark agregado, pero que importa si el audio de entrada tiene instrumentos poco convencionales.
Cuándo no conviene usar Dettato
El propio creador pone un límite claro al alcance del modelo: reconoce que es difícil juzgar la precisión real para un caso de uso concreto sin probarlo, y admite que separar instrumentos correctamente es uno de los puntos donde Dettato rinde peor (fuente).
Además, la salida es MIDI de interpretación alineado al tiempo (lo que se llama "performance MIDI"), no una partitura legible. Dettato no reemplaza a un transcriptor de partituras: resuelve un problema distinto, el de los eventos MIDI en bruto. Para quien necesita notación musical, el propio autor recomienda dos herramientas con ese enfoque específico, Songscription y Klangio, en lugar de forzar la salida de Dettato a ese uso (fuente).
El entrenamiento combina el dataset CC de URMP con soundfonts propios, sin grabaciones con copyright.
Qué significa esto para un desarrollador en LATAM
Para alguien que construye una funcionalidad de transcripción, una app de oído musical, un plugin de DAW, una herramienta educativa de práctica instrumental, el tamaño de Dettato cambia la ecuación de costos. Un modelo de 20 millones de parámetros corre en CPU o en una GPU modesta, mientras que MuScriptor necesita más memoria y cómputo para una ganancia menor en precisión (fuente). Eso importa especialmente para un equipo chico que no puede pagar GPUs grandes en producción.
La licencia abierta y el entrenamiento sin grabaciones con copyright también simplifican la revisión legal antes de integrarlo en un producto comercial, algo que rara vez se puede decir de datasets de audio donde el origen de cada grabación no está del todo claro. Si el proyecto necesita datos MIDI para análisis, acompañamiento automático o práctica musical, Dettato es un candidato directo para probar primero por su relación entre tamaño y precisión. Si el objetivo final es generar una partitura legible para un músico, conviene evaluar Songscription o Klangio en paralelo, porque Dettato no resuelve ese problema y nunca se propuso hacerlo.
Referencias
- Introducing Dettato - kobimusic: anuncio oficial, benchmarks y detalles de entrenamiento del modelo.- Show HN: I made an audio-to-MIDI model 60x more efficient: hilo de discusión original en Hacker News.- Comentario de gpugreg en Hacker News: sugerencia de deduplicar solicitudes para evitar cobros repetidos.- Comentario de mycall en Hacker News: objeción sobre la generalización del modelo a sonidos de percusión.
Seguimos el tema en @programacion.

