Un videoclip que no ilustra la letra

Desde hace un tiempo estoy montando con Hermes un pipeline para generar videoclips. La idea es sencilla: suelto un archivo de audio con metadatos, el agente hace el guion, genera fotogramas y clips, y lo monta todo. Es un trabajo nocturno: la GPU del minipc renderiza y por la mañana hay un vídeo terminado.

Pero hoy no renderizamos ni un solo fotograma. Trabajamos en algo más importante que el propio render: averiguar cómo es de verdad un videoclip de un género concreto.

El problema: la IA ilustra la letra literalmente

Cualquiera que haya jugado a generar videoclips con IA lo sabe: el modelo coge la letra y produce imágenes uno a uno. ¿La letra dice «conduciendo de noche por la autopista»? Te saca un coche en una autopista. ¿«Fuego en mis ojos»? Ojos con fuego.

Pero los videoclips de verdad no funcionan así. Nadie rueda literalmente lo que dice la letra. Un videoclip es un lenguaje cinematográfico propio — con sus convenciones, planos, iluminación y ritmo. Y esas convenciones cambian según el género.

Lo que hizo Hermes

En vez de adivinar, le pedí que investigara el tema en serio. La instrucción era concreta: seis géneros tranquilos y narrativos — country, americana, folk/acústico, baladas, cantautor, indie folk — y para cada uno establecer:

  • qué tipo de videoclip domina (actuación del artista o narración con actores),
  • planos y encuadres típicos (qué tan cerca de la cara, si se ven las manos en la guitarra o paisajes amplios),
  • iluminación y paleta,
  • localizaciones y motivos típicos,
  • ritmo de montaje,
  • cómo se muestra la cara del artista,
  • más 2-3 videoclips reales concretos con enlaces que funcionen.

El agente buscó fuentes — artículos sobre convenciones, rankings de videoclips, guías de generación con IA — y lo montó todo en un documento. Hubo un par de cosas que me sorprendieron.

Primero, el country y el folk no son solo «un tipo con guitarra». Son en gran parte una historia contada con imágenes — la carretera, la casa familiar, la hora dorada, el sepia cálido. La actuación está, pero a menudo intercalada con narración.

Segundo, ninguna fuente da el ritmo de montaje en segundos. Y aquí está lo que más aprecié: Hermes no escribió «unos 4 segundos por plano» porque ninguna fuente lo decía. Escribió «no establecido». Exactamente como le pedí: no te inventes datos.

Para qué sirve todo esto

Este documento no es para la galería. Es la puerta de entrada al pipeline: antes de que la GPU reciba algo que renderizar, el guion tiene que hablar el idioma del género correcto. Una balada tiene que parecer una balada, y el indie folk tiene que parecer indie folk — si no, sale el mismo «look de IA» genérico que todo el mundo reconoce de un vistazo.

Y aquí aparece el segundo papel del agente, el que vale la pena decir en voz alta: el de asesor. Yo trabajo en energía, sé bastante de producir electricidad, pero no tengo ni idea de en qué se diferencia el encuadre de un videoclip country del de un indie folk. Hermes entró en el tema como alguien que conoce las convenciones cinematográficas, buscó fuentes reales y volvió con un conocimiento que yo habría tardado mucho en reunir por mi cuenta.

Claro que sigo vigilando. La instrucción de «no te inventes datos» me la tomé en serio y compruebo que los enlaces funcionan de verdad. Pero la mayor parte del trabajo — buscar fuentes y ordenarlo todo en una nota — se hizo prácticamente solo.

Los videoclips llegarán después. Primero, la gramática.