¿Quién eres? ¿De qué «Asistente de IA» estamos hablando?
Soy Tom, el líder técnico del equipo de IA aplicada de Webflow. Nuestra misión es acelerar el desarrollo de funciones basadas en IA dentro de Webflow y, recientemente, lanzamos nuestra mayor novedad hasta la fecha: el Asistente de IA.
El Asistente de IA tendrá todo tipo de «habilidades» en el futuro, pero hoy su función principal es crear secciones nuevas en un sitio web de Webflow existente. Se encuentra en la parte derecha del Diseñador y tiene este aspecto:
Escribo este artículo tras nuestra beta pública en Webflow Conf 2024. Me pareció un buen momento para reflexionar sobre los altibajos del desarrollo de una función de IA en Webflow.
¡El lanzamiento del Asistente de IA fue genial!
Este artículo dedica mucho tiempo a explorar los desafíos que enfrentamos al desarrollar el Asistente de IA, pero, aviso de spoiler, quiero decir desde ya que esta historia tiene un final feliz. El lanzamiento del Asistente de IA salió a pedir de boca y nuestra puntuación de ajuste del producto al mercado tras el lanzamiento (41 %) superó todas las expectativas.
Lograr esto requirió esfuerzos hercúleos por parte del equipo de IA aplicada, recién formado. Me veo obligado a usar la metáfora, increíblemente cursi, de «arreglar el avión mientras vuela»: este equipo tuvo que descubrir muchísimas cosas nuevas sobre el desarrollo de productos de IA mientras se enfrentaba a un producto de IA extremadamente ambicioso.
Como resultado de los esfuerzos del equipo, hemos lanzado el Asistente de IA y su primera «habilidad»: la generación de secciones. Además, hemos acumulado la infraestructura, los procesos y el conocimiento institucional específicos de la IA que acelerarán la incorporación de muchas más habilidades al Asistente de IA en un futuro próximo. ¡Un éxito rotundo en todos los sentidos!
Pero caímos en muchas «trampas de la IA»
Aunque tuvo un final feliz, la historia del Asistente de IA también tuvo sus reveses dramáticos. Y aunque todos los proyectos de software tienen contratiempos, no podía quitarme la sensación de que este proyecto tuvo problemas únicos, cosas que parecían específicas de los proyectos de IA. Los consejos típicos sobre el desarrollo de software, especialmente sobre el desarrollo ágil, parecían mucho más difíciles de aplicar a este proyecto.
Seguía volviendo a cuatro «trampas de la IA» que parecían alejar constantemente este proyecto de un desarrollo rápido, iterativo y experimental hacia un desarrollo grande, arriesgado y estilo cascada. Y aunque creo que hubo otros factores fuera de nuestro control (por ejemplo, simplemente no podríamos haber construido el Asistente de IA actual usando los modelos de vanguardia de 2023), estas trampas explican gran parte de nuestros retrasos con el Asistente de IA.
Trampa 1: Sobreestimar las capacidades actuales de la IA
Es muy tentador asumir que estamos a cinco minutos del apocalipsis de la IA. Cada mañana me despierto con un aluvión de mensajes, correos electrónicos y tuits anunciando nuevos modelos de vanguardia, herramientas de IA pioneras y demostraciones mágicas. Incluso los detractores de la IA suelen estar en el bando de los que dicen que «la IA es demasiado poderosa».
Aunque los detractores puedan tener razón a largo plazo, ahora mismo la IA suele ser muy tonta. Por ejemplo, GPT-4o todavía piensa que el texto blanco es legible sobre fondos blancos:
«La clase .paragraph proporciona un color blanco para el texto del párrafo dentro de las tarjetas, lo que garantiza la legibilidad sobre el fondo blanco de las tarjetas».
— Respuesta real de GPT-4o
Esta tendencia a sobreestimar la tecnología actual se cuela en la planificación de la hoja de ruta de Webflow. En muchos momentos durante el desarrollo del Asistente de IA dijimos cosas como:
- «...la tarjeta de puntuación de calidad debe estar al 70 % en verde antes del lanzamiento de la beta privada en abril...»
- «…simplemente entrenemos un modelo en [inserta aquí un dominio horriblemente complejo]…»
- «…nos llevará unas 5 semanas de ingeniería enseñar al Asistente de IA a aplicar estilos existentes…»
Todas estas afirmaciones tenían algo de evidencia que las respaldaba, como demos, pruebas de concepto (PoC) o quizás solo conversaciones guardadas de ChatGPT. Pero en cada caso asumimos que si lográbamos vislumbrar un resultado exitoso de un modelo de lenguaje extenso (LLM), eventualmente podríamos convencer a ese mismo LLM de producir resultados perfectos para cada caso excepcional.
Resultó que estábamos completamente equivocados con respecto a todas las suposiciones anteriores. Fue mucho más difícil de lo que pensábamos mejorar la puntuación. Entrenar modelos es lento, costoso y difícil de hacer para casos de uso amplios. Y todavía estamos tratando de mejorar cómo el Asistente de IA aplica los estilos del sitio.
Esta tendencia a sobreestimar las capacidades de la IA significó que nuestra hoja de ruta, que parecía ágil y con objetivos pequeños —por ejemplo, «lanzaremos degradados generados por IA la próxima semana para ver si a los usuarios les gusta»— se convirtió en un trabajo arduo de meses para producir funciones que ni siquiera estábamos seguros de que nuestros usuarios quisieran.
Trampa 2: El entusiasmo por las demos
Esta es la trampa en la que caí más a menudo, porque me encantan las demos.
Y, para ser claros, creo que las demos son una parte crucial del desarrollo de funciones de IA. Pero es demasiado fácil ver una demo de «código funcional» y pensar: «¡Esta función prácticamente ya está lanzada! Solo tenemos que añadir algunos artículos de la Universidad, actualizar algo de texto y, ¡listo, a LANZARLO!»
Pero aquí hay algunas cosas que hacen que las demos no sean aptas para el lanzamiento:
- Solo muestran el «camino feliz». Paso más tiempo hablando con el Asistente de IA que con mi esposa, así que sé exactamente las frases correctas que debo susurrarle al oído para que funcione. ¡Esto hace que mis demos se vean bastante bien! Pero es muy probable que los usuarios reales utilicen un lenguaje que al Asistente de IA no le guste y, por lo tanto, tengan menos éxito.
- Solo muestran los éxitos. Este es el propósito del botón de «reiniciar» de Loom: si los dioses de las demos me abandonan en medio de la presentación, simplemente puedo presionar «reiniciar» y tú no llegas a ver los 50 intentos fallidos antes del que funcionó.
- Solo funcionan en casos especiales. Durante un tiempo, el Asistente de IA solo funcionaba en sitios en blanco. Luego funcionó en una sola plantilla. Después funcionó en algunas más. Pero si te toparas con una demo al azar, podrías pensar, razonablemente, ¡que el Asistente de IA funcionaba en todas partes!
- Dependen de una tecnología que no podemos usar realmente. Hice un montón de demos que dependían de TailwindCSS para crear secciones. Estas demos se veían geniales, porque GPT es un experto de clase mundial en el uso de TailwindCSS (ya que hay muchísimos ejemplos excelentes de Tailwind en sus datos de entrenamiento). Pero el Asistente de IA no puede simplemente añadir clases de utilidad extrañas de Tailwind al sitio Webflow de cualquiera, así que estas demos no significaban mucho para el verdadero Asistente de IA.
Todos estos «detalles» significan que la genial demo de IA que acabas de ver es un excelente punto de partida para investigar más pero no una invitación para comenzar a planificar la hoja de ruta. Con demasiada frecuencia pasamos de «qué demo tan genial» a «vale, el lanzamiento de marketing está planeado para el 4 de abril».
¡Estamos contratando!
Buscamos talento en producto e ingeniería para que se una a nuestra misión de poner superpoderes de desarrollo al alcance de todos.
Trampa 3: El momento del marketing
Hablando de marketing… ¿qué es esa enorme cosa gris que se vislumbra en la esquina?
El elefante en la habitación:
Lanzar un producto de IA no se trata solo de resolver los problemas de los clientes, también se trata de marketing.
En los últimos años ha habido una presión enorme sobre las empresas tecnológicas para que lancen funciones de IA. Ninguna empresa quiere quedarse «atrás» —siguiendo fabricando carruajes en un mundo post-Modelo T— así que se apresuran a lanzar algo relacionado con la IA.
En medio de esta presión, muchas empresas tecnológicas lanzaron rápidamente funciones de IA a medio cocer que fueron objeto de burlas universales. Este es un blog familiar, así que no diré nombres, pero estoy seguro de que estás familiarizado con algunos de los lanzamientos de IA chapuceros de los últimos años.
No sé si alguien en Webflow lo dijo alguna vez explícitamente, pero nuestro comportamiento emergente se puede resumir como una reacción a esos lanzamientos fallidos de IA. Es como si hubiéramos dicho:
“Vaya, realmente necesitamos lanzar un producto de IA para demostrarle al mundo que somos una empresa de IA. Pero todos estos lanzamientos recientes de IA son bastante vergonzosos, ¿verdad? Deberíamos crear una función de IA, pero más vale que estemos seguros de que sea perfecta e increíble antes de lanzarla”.
— La conciencia colectiva de Webflow
Y creo que este fue uno de nuestros mayores errores. Este tipo de pensamiento se cristalizó en estos requisitos de producto:
- Tiene que usar IA
- Tiene que ser digno de mención en la prensa
- Tiene que estar casi perfecto antes de mostrárselo a alguien
Esto conduce a un desarrollo muy al estilo cascada. No podemos improvisar un MVP rápido y lanzarlo a un montón de usuarios, ¡porque entonces se burlarían de nosotros! Y no podemos lanzar algo pequeño, porque entonces no podríamos tener nuestro gran momento de marketing.
Y este razonamiento defectuoso encaja a la perfección con la falacia del costo hundido, que dice:
“¡Caramba, hemos dedicado mucho tiempo a este proyecto; más vale que sea realmente increíble cuando lo lancemos!”
— La conciencia colectiva de Webflow, de nuevo
Todo esto llevó a un largo período de desarrollo previo al lanzamiento de AI Assistant. Y aunque creo que ese desarrollo fue bastante bien, habría sido mucho más fácil tomar decisiones de producto si hubiéramos lanzado algo más pequeño y antes.
Trampa 4: Desarrollo impulsado por fosos defensivos
Todo el mundo sabe que el software gira en torno a los fosos defensivos. Puedes comprar un clon de Airbnb por menos de 2000 dólares, pero Airbnb en sí vale 86 000 millones de dólares, y gran parte de esa diferencia se debe a su foso, en forma de su mercado de dos lados, muy difícil de replicar.
Así que, si queremos que Webflow se convierta en un líder de la industria, al estilo de Airbnb, tenemos que construir un foso, ¿verdad? ¡Y un foso impulsado por IA sería aún mejor!
Creo que es una lógica razonable: siempre debemos estar atentos a posibles fosos que podamos construir para marcar distancia con nuestros competidores. Pero desconfío del “desarrollo impulsado por fosos”, donde empezamos por el foso y luego intentamos encajarlo a la fuerza en un producto que la gente adore.
Lo ideal sería crear productos en el centro de este diagrama de Venn:
¡Pero esto es difícil! Casi nunca está claro de antemano dónde encajará un producto concreto en este diagrama. Por eso, el peligro del “desarrollo impulsado por fosos” es que empiezas con algo que sabes que está en el círculo azul (“foso”) y luego te pones a dar palos de ciego intentando encontrar partes adyacentes del espacio de soluciones que se solapen con los círculos rosa (“usuario”) y amarillo (“IA”). Pero si esto no funciona, te quedas con un foso totalmente inútil.
Algunos ejemplos de desarrollo impulsado por fosos:
- “Entrenemos un modelo desde cero para hacer [algo realmente genial] y luego ya veremos qué producto construimos sobre él”.
- “Usemos modelos ajustados en lugar de modelos estándar para hacer [algo realmente genial] y luego ya veremos qué producto construimos sobre él”.
- “Construyamos nuestra propia [inserte aquí infraestructura costosa] y luego ya veremos qué producto construimos sobre ella”.
Obviamente, nadie dice la segunda parte en voz alta, pero se sobreentiende cuando se sugiere la primera sin hacer referencia a un problema concreto del usuario o sin analizar otras soluciones (más baratas o mejores) para dicho problema.
Y lo que ocurre con las ventajas competitivas es que, por definición, son muy costosas de construir. Si fuera fácil crear una, todo el mundo lo haría y, entonces, ¡dejaría de ser una ventaja! Por eso, empezar por ahí significa invertir mucho tiempo y dinero en un proyecto que quizás nunca se convierta en una función útil.
Para mí, es mucho más seguro empezar invirtiendo en funciones que sabes que están en el círculo rosa (el del "usuario") y luego ver cuáles de ellas, si es que hay alguna, podrías acercar a los círculos amarillo o azul. Porque, aunque termines invirtiendo en algo que solo esté en el círculo rosa, habrás creado una función útil.
Pero debemos seguir siendo "conscientes de las ventajas". Mientras exploramos el abanico de posibles funciones a desarrollar, siempre debemos buscar aquellas que los usuarios quieran y que puedan ofrecer una ventaja competitiva.
Este tipo de hallazgo "natural" de ventajas competitivas ya ha ocurrido un par de veces con el Asistente de IA:
- Desarrollo nativo. Como mencioné antes, crear una demo de IA que genere código en un framework popular (como Tailwind) es relativamente sencillo. Pero estas demos están limitadas por (1) las restricciones de ese framework y (2) la falta de acceso al contexto del sitio (como clases, variables y componentes). Al crear un Asistente de IA nativo dentro de Webflow, hemos desarrollado una herramienta mucho más útil que la infinidad de generadores de interfaz basados en frameworks.
- La biblioteca de Webflow. Los modelos de lenguaje (LLM) no son buenos diseñando interfaces. Por eso, todas las funciones exitosas de "generación de interfaz con IA" se han apoyado en componentes predefinidos o bibliotecas de diseño. Pero estos productos son tan buenos como sus bibliotecas, y crear bibliotecas de diseño propias es caro y lento. ¡Pero nosotros ya lo hemos hecho! Copiar al Asistente de IA requeriría copiar nuestra biblioteca de diseño, que es propiedad intelectual protegida.
En resumen: perseguir ventajas competitivas puede llevar a un desarrollo largo y rígido de infraestructuras que no sabemos si los usuarios realmente quieren.
Cómo evitar las trampas
Bueno, basta de pesimismo; ¡hablemos de la manera correcta de crear funciones de IA!
Cómo evitar las trampas de la IA
- Dedica más tiempo a la experimentación de producto e ingeniería.
A los ingenieros les encanta crear prototipos geniales con tecnología nueva, y a los jefes de producto les motiva resolver problemas importantes de los clientes. Pero nadie tiene toda la información necesaria para ver dónde se cruzan esos intereses. ¿La solución? Debemos asignar tiempo suficiente para que los ingenieros creen pruebas de concepto rápidas que puedan mostrar a los jefes de producto, quienes a su vez pueden sugerir mejoras basadas en las necesidades del cliente. Además, debemos dedicar más tiempo en la fase de experimentación a asegurar que esas pruebas puedan convertirse en funciones de calidad profesional. - Usa las demos como apoyo para investigar, no para planificar el roadmap.
Las demos son invaluables para comunicar posibles funciones a todas las partes interesadas. Pero una demo no es prueba de que una función esté lista para lanzarse. Solo deberíamos salir de la "fase de experimentación" cuando tengamos otras pruebas de que la función propuesta cumple con nuestros estándares de calidad. - Lanza MVPs, no persigas el momento de marketing.
Las funciones de IA suelen tener mucha más libertad que el software tradicional. Un usuario puede escribir cualquier cosa en el chat, y te engañas si crees que puedes predecir qué escribirá antes de lanzar. Por eso, lanzar pronto es crucial en la IA: es imposible adivinar qué harán los usuarios. Por suerte, la era de los "momentos de marketing de IA" parece estar pasando; ¡y menos mal! - Empieza por el problema del usuario; las ventajas competitivas llegarán después.
Todos debemos ser "conscientes de las ventajas" (es decir, estar atentos a posibles ventajas competitivas adyacentes a la función actual), pero debemos ser muy cautelosos cuando alguien sugiera construir una ventaja sin hacer referencia a un problema concreto del usuario ni a otras formas de resolverlo.
¡Más fácil de decir que de hacer!
Solo quiero reiterar: caí en todas estas trampas, a menudo varias veces. Las escribo aquí no para señalar a nadie, sino para ayudar a otros equipos de producto a evitar los mismos errores mientras construyen la próxima ola de funciones basadas en IA.
Estoy increíblemente orgulloso del equipo que nos trajo hasta aquí —y del producto que finalmente lanzamos— y estoy deseando aplicar estas lecciones para acelerar el futuro desarrollo de productos de IA en Webflow.
¡Estamos contratando!
Buscamos talento en producto e ingeniería para que se una a nuestra misión de poner superpoderes de desarrollo al alcance de todos.
