· seed · Actualizado 16-10-2026
Criterios de aceptación y reglas para detener un piloto de IA
Un piloto de viabilidad debe resolver una decisión, no demostrar que se puede construir todo un producto. Antes de crear un prototipo, define la tarea del usuario, la situación actual, las pruebas necesarias para continuar y las condiciones para parar. Elige umbrales para este flujo; no existe una puntuación adecuada para todos los usos de IA.
Escribe la prueba de aceptación primero
- Pregunta: ¿qué incertidumbre resolverá el piloto?
- Alcance: ¿qué usuario, entradas, salida y paso humano se incluyen? ¿Qué queda fuera?
- Referencia: ¿cómo se hace hoy la tarea y qué ejemplos representativos se pueden comparar?
- Criterios de éxito: define calidad, seguridad, encaje en el flujo, latencia y límites de gasto relevantes.
- Responsable: ¿quién revisa la muestra y decide continuar, reducir, repetir o parar?
Incluye casos habituales, información ausente, situaciones límite y una opción clara de no responder. Mantén fija la muestra al comparar un cambio y separa resultados medidos de opiniones de revisión. Si cambian la tarea o los datos, registra una prueba nueva en vez de comparar ejecuciones distintas.
Ejemplo de decisión para un piloto
Este ejemplo ficticio plantea una prueba; no es un resultado observado ni un estándar universal. Un equipo evalúa un asistente que redacta descripciones de producto a partir de un catálogo aprobado. Antes de construirlo, podría fijar una muestra de 20 artículos, exigir que al menos 18 borradores cumplan su criterio de integridad, permitir cero atributos inventados y limitar el piloto a un tiempo y gasto acordados. También registra el proceso manual actual como referencia. Esas cifras son decisiones del ejemplo; otros flujos necesitan umbrales acordes a sus riesgos y valor.
Cuándo parar, reducir o repetir
Detén el piloto si supera el límite de tiempo o gasto, no se pueden usar los datos necesarios bajo las condiciones aprobadas o falla repetidamente una regla crítica de seguridad o exactitud. Reduce el alcance si solo es poco fiable una clase de entradas. Repite después de un cambio identificado, usando la misma muestra representativa y una comprobación aparte del caso corregido. Si la muestra es pequeña o poco representativa, declara el resultado inconcluso en vez de aprobarlo.
Lista de viabilidad
- Una pregunta de decisión y una tarea acotada.
- Situación de referencia y ejemplos de evaluación representativos.
- Definiciones de éxito, fallo, parada e inconcluso por escrito.
- Límites acordados de tiempo, gasto, acceso a datos y revisión humana.
- Responsable y siguiente decisión registrados junto con las pruebas.
Para una carta de reglas de parada, consulta criterios para detener experimentos de IA. El diseño de la muestra se trata en conjuntos mínimos de evaluación y cómo reducir alcance en recortes de alcance para experimentos.
Para hablar de diseño de experimentos, consulta nuestros servicios.