Métricas de éxito de un hackathon que importan después del demo day
Una lista de verificación para compradores sobre cómo medir el éxito de un hackathon: participantes únicos, proyectos evaluados, alcance universitario y estatus posterior al programa, en lugar de conteos de asistencia.

¿Qué significan estos términos aquí?
Un participante único es una persona identificada que realmente construyó algo durante el programa. Un proyecto evaluado es una entrega calificada contra una rúbrica publicada antes del evento. El estatus posterior al programa es dónde está cada equipo treinta días después: sigue construyendo, en pausa o disuelto. Estos tres términos sostienen todo el artículo.
Estás redactando el RFP. O ya firmaste uno, el fin de semana ya pasó, las fotos se ven muy bien y tu CFO pregunta qué obtuvo la empresa a cambio del gasto. Si la respuesta del proveedor empieza por cuánta gente asistió, no has aprendido casi nada sobre si el dinero funcionó.
La asistencia es el número más fácil de producir en esta industria y el más difícil de defender. Mide logística, no resultados. La investigación sobre lo que realmente pasa con los proyectos de un hackathon después del demo day es contundente, y cualquier comprador que la lea dejará de tratar una sala llena como evidencia de algo.
Puntos clave
- Alrededor de dos tercios de los proyectos de hackathon no muestran trabajo continuo después de que termina el evento, así que la supervivencia, no la asistencia, es la señal que vale la pena comprar.
- Cinco métricas resisten el escrutinio. Participantes únicos. Proyectos evaluados. Alcance universitario. Calidad del jurado. Estatus posterior al programa a los 30 días.
- Las cifras de asistencia van en el reporte como contexto de apoyo, nunca como el resultado principal.
- Exige un reporte escrito con un formato definido antes de firmar.
- Por ejemplo: imagina que dos proveedores te proponen el mismo fin de semana. Uno promete 500 registros. El otro promete un reporte que nombra a 180 builders y a cada miembro del jurado con su cargo. El segundo número es el que puedes defender frente a tu CFO.
Por qué el conteo de asistentes falla como medida
El trabajo académico más citado sobre la sostenibilidad de los hackathons dio seguimiento a proyectos de hackathons públicos y encontró que alrededor de 65% no mostraba actividad continua después de que terminaba el evento, y que solo cerca de 3.55% seguía activo cinco meses después (Nolte, Chounta y Herbsleb, Proceedings of the ACM on Human-Computer Interaction, CSCW, 2020). Una revisión de literatura sobre los resultados de los hackathons coincide: los resultados son reales pero desiguales, y rara vez se miden después del fin de semana (Medina et al., 2020).
¿Qué significa esto para un comprador? Lee los dos hallazgos juntos. Un recinto lleno te dice que el reclutamiento funcionó. No dice nada sobre si se construyó algo que sobreviva al lunes por la mañana. Cuando la mayor parte de lo producido se apaga por diseño, la asistencia no puede decirte si el programa generó valor. ¿Qué sí puede? Las cinco métricas de abajo.
También hay una brecha de conversión a la entrada. La guía publicada por el propio Devpost sitúa la conversión de registrados a builders activos en algún punto entre 5% y 33% según el evento (la página de producto de Devpost). Mil registros pueden significar trescientos builders o cincuenta. Los registros son intención. Los builders son el recurso que pagaste por convocar.
Nada de esto significa que los hackathons sean una mala compra. Significa que la medición tiene que especificarse desde el inicio, porque nadie la ofrece por voluntad propia después. La investigación sobre hackathons corporativos señala con claridad que el retorno de la inversión es difícil de establecer y depende por completo de que los objetivos se definan antes de que corra el evento (Roy y Laskowski, 2017).
Las cinco métricas que resisten el escrutinio
1. Participantes únicos, no registros
Pide personas deduplicadas que construyeron algo durante el programa. Una persona que asiste en dos ciudades y se registra dos veces sigue siendo un solo participante. El método de conteo importa tanto como el conteo mismo. Si un proveedor no puede explicar su método de deduplicación, trata sus demás números con sospecha.
Los registros siguen teniendo un uso, pero solo como denominador de una razón. Registros divididos entre builders únicos es una métrica de calidad del reclutamiento. Una sala más pequeña donde la mayoría construyó le gana a una sala enorme donde la mayoría solo miró.
2. Proyectos entregados contra una rúbrica publicada
Un proyecto que no fue evaluado contra criterios publicados antes del evento es un demo, no un resultado. La rúbrica es lo que hace defendible el conteo. Marcos públicos como la guía de evaluación de Major League Hacking y rúbricas publicadas por universidades, como la de Claremont Graduate University, le dan a los patrocinadores un punto de referencia externo, de modo que la vara quedó fijada antes de que alguien escribiera una línea de código.
Pide tres números aquí: proyectos entregados, proyectos evaluados como completos contra la rúbrica y proyectos que superaron el umbral de calidad que acordaste con el proveedor. El tercer número es el que predice si algo continúa.
3. Alcance universitario, contado con honestidad
¿Qué cuenta como alcance? Instituciones con nombre entre los builders reales. No volantes. No contactos de clubes estudiantiles. En México esto importa más que en la mayoría de los mercados. Las comunidades de campus son el lugar donde muchos desarrolladores en activo tocan por primera vez el stack de una empresa. El Octoverse 2024 de GitHub situó a los desarrolladores registrados en México en alrededor de 1.9 millones, con un crecimiento de cerca de 21% año con año (GitHub Octoverse 2024). Un programa que puede nombrar quince instituciones de las que atrajo builders ha producido un mapa de reclutamiento. Un programa que no puede nombrar cinco ha producido una lista de correos.
4. Calidad del jurado
La calidad del jurado es un indicador indirecto de lo que significan las calificaciones. Una rúbrica aplicada por ingenieros senior de la empresa patrocinadora produce señal: listas de entrevistas, retos de seguimiento. Una rúbrica aplicada por quien estuviera disponible produce ruido. Pide la lista del jurado con sus cargos y pregunta si las entregas se anonimizaron. Ambas preguntas toman treinta segundos. También sirven al revisar el paquete para patrocinar un hackathon en México.
5. Estatus posterior al programa a los 30 días
Casi nadie reporta esta métrica, y ataca directamente el problema del 65%. Treinta días después del demo day, cada equipo responde una sola pregunta: ¿siguen construyendo? Las respuestas se ordenan en sigue construyendo, en pausa y disuelto. Cada equipo que sigue en marcha se convierte en un candidato concreto de seguimiento para contratación, fondos o un piloto. Frente a la línea base de la investigación, incluso una continuidad modesta destaca.
| Métrica | Qué pedir | Qué sustituye |
|---|---|---|
| Participantes únicos | Builders deduplicados, con el método de conteo declarado | Totales de registros |
| Proyectos evaluados | Entregas calificadas contra una rúbrica publicada de antemano | Conteos de fotos del demo day |
| Alcance universitario | Instituciones con nombre representadas entre los builders | Volantes y contactos de clubes |
| Calidad del jurado | Lista con cargos, calificación anonimizada sí o no | "evaluaron expertos de la industria" |
| Estatus posterior al programa | Estatus por equipo a los 30 días | Nada. Normalmente está ausente por completo |
Dónde pertenece la asistencia
Para ser claros, la asistencia no carece de valor. Es evidencia de una sola cosa: si el reclutamiento funcionó. Los totales de check-in, las tasas de ocupación por sesión y las tasas de inasistencia te dicen si tus canales de reclutamiento llegaron a personas reales. En nuestros propios programas, los check-ins acumulados a lo largo de las sesiones han cumplido exactamente ese papel, como una fila de apoyo en la sección de operaciones de un reporte y no como su titular. La misma disciplina aplica a las menciones en prensa: prueban que la historia viajó, no que se construyó algo.
La prueba es simple. Quita de un reporte cualquier cifra del tipo asistencia. Si no queda nada importante, el reporte medía logística. Si las cinco métricas de arriba permanecen, el reporte medía resultados.
El formato de reporte que debes exigir en el RFP
Especifica el entregable antes de firmar. Un reporte posterior al programa que se pueda defender tiene seis secciones:
- Datos del programa. Fechas, ciudades, sedes, presupuesto contra plan y cualquier sobrecosto explicado.
- Participantes. Builders únicos con método de conteo, razón de registros a builders y los desgloses demográficos que acordaste con el proveedor.
- Proyectos. Conteos de entregados, evaluados como completos y por encima del umbral, con la rúbrica adjunta.
- Alcance. Universidades, instituciones y comunidades con nombre representadas entre los builders reales.
- Jurado y mentores. Lista con afiliaciones.
- Seguimiento a los 30 días. Estatus por equipo, con siguientes pasos para los equipos que siguen construyendo.
¿Cómo detectas rápido a un buen proveedor? Los proveedores que operan así envían un reporte de muestra esa misma semana. Los proveedores que se resisten ya te dijeron algo útil.
Formas comunes en que la medición sale mal
- Registros reportados como participantes. Pide el método de deduplicación cada vez.
- Conteos de proyectos sin rúbrica. Los demos sin evaluar se inflan con facilidad y no predicen nada.
- Satisfacción de encuesta citada sin el número de respuestas. Una calificación promedio dice poco hasta que sabes si respondieron cuarenta personas o cuatrocientas.
- Menciones en prensa presentadas como resultados. Son un resultado de comunicación, no de construcción.
- Seguimiento prometido pero nunca entregado. Pon la fecha del reporte a 30 días en el contrato, no en la presentación de la propuesta.
Una lista de verificación breve para el comprador
¿Qué preguntas primero? Participantes únicos, no registros. Después proyectos evaluados, no conteos de fotos. Después alcance universitario entre los builders reales. Después la lista del jurado. Después el estatus a los 30 días.
¿Qué ignoras? Registros en bruto. Conteos de prensa usados como prueba de que se construyó algo. Calificaciones de encuestas sin número de respuestas. Promesas de embudos de conversión armados después de los hechos.
¿Por qué este orden? Porque cada punto es barato de verificar y difícil de falsear. Un proveedor que puede responder los cinco ya opera un programa real. Un proveedor que no puede está vendiendo un fin de semana.
Trabaja con nosotros
Mobil3 diseña y opera hackathons y retos de innovación en México y América Latina, y reporta cada programa contra el formato descrito arriba: participantes únicos, proyectos evaluados, alcance universitario y estatus posterior al programa. Si estás incluyendo un hackathon en un RFP, pide nuestra estructura de reporte de muestra. Déjanos tus datos en la página de contacto o escribe a [email protected].
Sobre esta guía
Esta guía fue escrita por Ian Lee, fundador de Mobil3, a partir de la operación directa de programas en México. Para preguntas sobre este artículo o sobre nuestro proceso editorial, escríbenos a [email protected] o lee más sobre nosotros. Para el lado operativo de estos programas, lee cómo organizar un hackathon para desarrolladores. Relacionado: la adopción de desarrolladores como programa y cómo trabajar con universidades en México.
Preguntas frecuentes
- ¿Cómo se mide el éxito de un hackathon?
- Mide participantes únicos, proyectos entregados contra una rúbrica de evaluación publicada, alcance universitario, calidad del jurado y estatus posterior al programa a los 30 días. La asistencia es un número de apoyo, no el resultado.
- ¿Se puede medir el ROI de un hackathon?
- Parcialmente. La investigación muestra que la mayoría de los proyectos de hackathon se apagan en cuestión de meses, así que una medición honesta se concentra en lo que sobrevivió: equipos que siguen construyendo, conversaciones de contratación y un reporte escrito que un patrocinador pueda defender internamente.
- ¿Qué debe incluir el reporte de un patrocinador después de un hackathon?
- Conteo de participantes únicos, conteo de proyectos evaluados contra una rúbrica publicada, alcance en universidades e instituciones, lista del jurado, presupuesto contra plan y un seguimiento a los 30 días sobre qué equipos siguieron construyendo.