Entender cómo un ordenador aprende a reconocer imágenes a partir de ejemplos que hace el propio alumnado, y que lo que aprende depende de cómo son esos ejemplos. El alumnado hace fotos de su mano con la cámara, entrena el modelo y juega con él a piedra, papel o tijera.
El alumnado descubre que:
el modelo no ve «una mano»: ve toda la imagen convertida en números que describen sus formas y colores. Si todas las fotos de piedra tienen la misma camiseta o el mismo fondo detrás, puede aprender la camiseta en lugar de la mano;
hace falta una clase nada (sin mano): sin ella, el modelo siempre elige piedra, papel o tijera, aunque no haya nadie delante de la cámara;
el acierto con imágenes nuevas que calcula el modelo sale casi del 100 %, pero engaña: las fotos hechas seguidas son casi iguales, y esconder una y probarla es como estudiar con el examen. La prueba de verdad es jugar en otro sitio, con otra luz o con otra mano;
un modelo entrenado con las manos de una sola persona puede funcionar peor con las de otras personas: los sistemas reales de reconocimiento de imágenes necesitan datos diversos para no tener sesgos.
Privacidad
La imagen de la cámara se procesa en el navegador y no se envía a ninguna parte. El proyecto no guarda ninguna foto: de cada ejemplo solo guarda una lista de 1280 números que no permite volver a ver la imagen. Aun así, conviene hacer las fotos solo de la mano, sin la cara. El navegador pide permiso para usar la cámara la primera vez; si no se da, la plantilla no puede hacer fotos.
Qué hay en la plantilla
Un fondo Cámara, encima del cual se ve la imagen de la cámara.
El objeto Ordenador, con cuatro disfraces: duda, piedra, papel y tijera.
Cuatro botones abajo: piedra, papel, tijera y nada, y un botón verde para jugar.
Variables a la vista: veo y seguridad (lo que el modelo cree que ve ahora mismo), tus puntos y puntos ordenador, y cuatro contadores con las fotos de cada clase.
La lista jugadas (piedra, papel, tijera), de donde el ordenador elige al azar.
La extensión Aprendizaje automático: imágenes, que se añade sola al abrir la plantilla.
Escenario, programa 1 (bandera verde): enciende la cámara y pone los puntos a 0.
Escenario, programa 2 (bandera verde): por siempre, actualiza los contadores y, si el modelo está entrenado, muestra en veo y seguridad qué ve la cámara.
Botones de clase (al hacer clic): mientras se mantenga pulsado, añade una foto de la cámara a la clase del botón cada 0,2 segundos.
Botón verde (al hacer clic): si alguna clase tiene menos de 10 fotos, avisa. Si no, entrena el modelo, dice el acierto que espera y envía juega.
Ordenador (al recibir juega): cuenta atrás, elige una jugada al azar y mira la mano. Si la seguridad es menor que 60 o ve nada, pide volver a probar. Si no, enseña su jugada, decide quién gana y suma el punto.
Las fotos se quedan dentro del proyecto: al volver a pulsar la bandera no se borran. Para empezar de cero, se vuelve a abrir la plantilla.
Bloques que aparecen
Bloque
Categoría
Para qué sirve
al hacer clic en la bandera / al hacer clic en este objeto / al recibir
Eventos
Empieza cada parte
enviar y esperar
Eventos
Empieza una partida
enciende la cámara / fija la transparencia de la cámara a
Aprendizaje automático: imágenes
Muestra la cámara en el escenario
añade la imagen de cámara a la clase
Aprendizaje automático: imágenes
Hace una foto y la guarda como ejemplo
entrena el modelo / acierto con imágenes nuevas (%)
Aprendizaje automático: imágenes
Aprende de las fotos y estima el acierto
clase de la imagen de cámara / confianza para la imagen de cámara (%)
Aprendizaje automático: imágenes
Qué ve y lo seguro que está
¿el modelo está entrenado? / número de ejemplos de
Aprendizaje automático: imágenes
Estado del modelo y contadores
repetir hasta que / por siempre / si entonces / si no / esperar
Control
Fotos seguidas, bucle de la cámara y decisiones
¿ratón presionado?
Sensores
Fotos mientras se mantiene pulsado el botón
= / < / y / o / no / unir / número aleatorio
Operadores
Reglas del juego, umbral y jugada del ordenador
dar a / sumar a / elemento de
Variables
Jugadas, seguridad y puntos
decir / cambiar disfraz a / fijar tamaño al
Apariencia
Cuenta atrás, jugada y botón pulsado
Desarrollo
Inicio (5 min, sin ordenador). ¿Cómo sabe el móvil que en una foto hay una cara o un perro? ¿Alguien le ha dicho cómo es un perro? Explicar que hay programas que aprenden de muchos ejemplos.
Primeras fotos (10 min). Pulsar la bandera y dar permiso a la cámara. Hacer unas 15 fotos de cada clase manteniendo pulsado el botón: piedra, papel, tijera y nada (la cámara sin mano). Mover un poco la mano mientras se hacen las fotos.
Jugar (10 min). Pulsar el botón verde. Anotar el acierto que el modelo espera y, en 10 partidas, cuántas veces ha reconocido de verdad la mano. Mirar veo y seguridad mientras se mueve la mano: ¿cuándo se equivoca?
Ponerlo a prueba (10 min). Jugar con la mano de la otra persona de la pareja, acercando o alejando la mano, en otro sitio de la clase o con otra luz. ¿Funciona igual? ¿Por qué el acierto esperado (casi el 100 %) no coincide con el real?
Mejorar los datos (10 min). Añadir fotos variadas donde fallaba: las dos manos, distancias y fondos distintos. Volver a pulsar el botón verde y comparar.
Cierre (5 min). Si un sistema de reconocimiento de caras se entrena casi solo con fotos de un tipo de personas, ¿qué pasará con las demás? ¿Quién debería revisar los datos?
Solución
No hay una única solución: se valora que las fotos sean variadas y que el alumnado compruebe el modelo en condiciones nuevas.
Con unas 15 fotos por clase de una sola persona, en el mismo sitio, el acierto esperado suele ser del 95-100 % y el modelo reconoce bien la mano de quien ha hecho las fotos. Falla más cuando cambia la persona, la distancia o el fondo, y sobre todo entre piedra y tijera, que de lejos se parecen. Con fotos de las dos manos de la pareja y desde distancias distintas, el juego funciona mucho mejor.
Sin fotos de nada, el modelo dice una jugada aunque no haya ninguna mano. La plantilla no deja jugar hasta que hay 10 fotos de cada clase, nada incluida.
Errores habituales
Hacer todas las fotos sin mover la mano. Son casi iguales: el modelo aprende poco y el acierto esperado engaña más.
No hacer fotos de nada. El modelo siempre ve una mano.
Que la cara salga en las fotos. No hace falta y no conviene: mejor la mano cerca de la cámara.
Hacer fotos de la mano equivocada en una clase. Para corregirlo, hay que volver a abrir la plantilla (o usar el bloque borra la clase).
Demasiada luz detrás. Con una ventana al fondo, la mano se ve oscura y cuesta más reconocerla.
Ampliación
Cambiar el umbral de 60 y ver cuándo el ordenador pide volver a probar.
Añadir una cuarta jugada (por ejemplo, lagarto o Spock) con su botón, disfraz y reglas.
Usar la fuente disfraz de la extensión en lugar de la cámara: dibujar piedras, papeles y tijeras en el editor de pintura y enseñarle los dibujos.
Comparar con la plantilla «El filtro de spam»: ¿por qué en las dos el acierto esperado es demasiado optimista?
Observación y evaluación
Indicador
Sí
Con ayuda
Todavía no
Hace fotos variadas de cada clase (mano, distancia, fondo)
Explica por qué hace falta la clase «nada»
Explica por qué el acierto esperado no coincide con el real
Comprueba el modelo en condiciones nuevas y lo anota
Relaciona la diversidad de los datos con los sesgos de los sistemas reales
Pensamiento computacional
Datos y aprendizaje automático: el modelo aprende de las fotos, no de unas reglas escritas.
Evaluación: probar con datos distintos de los de entrenamiento.
Condicionales compuestos: las reglas del juego (piedra gana a tijera, papel gana a piedra, tijera gana a papel) con y y o.
Bucles y eventos: fotos mientras se mantiene pulsado el botón, bucle de la cámara y partida con mensajes.