Octopus, el chanta

El Pulpo Paul es un ejemplo excelente de survivorship bias.

El survivorship bias es un caso particular de sesgo de selección. Imaginemos que para analizar la estatura de Argentina se realiza un muestreo en un club de basquet. Seguramente la muestra tendrá un sesgo ya que la gente que juega al basquet presumiblemente será más alta que el resto de la población. No es representativa, hay un sesgo de selección. El sesgo de supervivencia vendría a ser algo parecido, pero el sesgo radica en que cierto tipo de individuos se bajan de la muestra debido a que no son "exitosos". Por ejemplo, hay empresas que se bajan de las encuestas de clima laboral (esas que siempre gana Google) porque saben que les va a dar mal. O que quiebran y desaparecen de listados de performance. En consecuencia, la muestra de empresas no es aleatoria. Más crudamente, a algunos les habrá llegado un email hace años diciendo que la mejor manera de hacerse rico era enviar 100 emails diciendo que la bolsa iba a subir y 100 diciendo que iba a bajar. Al día siguiente, repetir el ejercicio con los que han recibido el email acertado (ahora 50 emails diciendo que sube y 50 diciendo que baja). Al tercer día 25 y 25, al cuarto 12 y 13, al quinto 6 y 6. Al finalizar la semana habrá 6 personas que te van a creer que sos un genio y te van a pagar para que les des tus consejos. Y fue todo aleatorio.

Lo mismo pasa con los animales que predicen. Todos vimos los videos del Pulpo Paul predecir con mucha fortuna varios resultados. Amen de que es posible que el dado estuviera cargado, hay un elemento más básico y es que estadísticamente es bastante probable que de un grupo de J animales que tiran monedas al aire 14 veces haya uno que acierte al menos 12 veces (según tengo entendido, 12/14 fue la performance del pulpo). La gente se sorprende porque si fuera algo aleatorio, uno esperaría en promedio 7 aciertos de 14. Pero esos aciertos son como los emails sobre la bolsa. Pongamos 50 grupos de 20 personas a tirar 14 veces una moneda al aire e intentar acertarla. De las 14000 tiradas, aproximadamente 7000 serán cara. Es más, dentro de cada uno de los 50 grupos, el promedio de caras será 7. Sin embargo, aleatoriamente siempre habrá gente que lance más caras y siempre habrá gente que lance más cecas. Comparemos el número de caras que lanzaron aquellos que lanzaron más caras dentro de cada grupo. Me tomé la molestía de desvelarme con Stata y lo simulé burdamente. Vamos a tener 50 personas (1 por cada grupo), cuyo promedio de caras ha sido 10.58, con un desvío estándar de 1,08. El que menos caras lanzó obtuvo 9 caras. El que más, 14. En cambio, los 50 tipos que han obtenido el mediocre puesto 10 dentro de cada grupo de 20 individuos han obtenido un promedio de 7,14, con un mínimo de 6 y un máximo de 8.

La diferencia entre los resultados responde a lo que dijimos antes. Más técnicamente, no se trata de la misma variable aleatoria. En un caso estamos trabajando con una binomial y en otro caso un estadístico de orden de J variables binomiales independientes e identicamente distribuídas. O lo que es lo mismo en castellano, la distribución de estatura de los Argentinos no es la misma que la de la Selección de Basquet. El caso del Pulpo Paul es equivalente al de las monedas que mencioné antes. Si uno asume que hubo 20 animales (hipótesis conservadora) que iban a adivinar aleatoriamente (tirando una moneda) resultados de partidos del mundial, la probabilidad de que el que mejor acierte (el Pulpo Paul) tenga entre 11 y 14 aciertos es aproximadamente 48%. Entre 12 y 14 aciertos, 14%. Más de 12 aciertos, 4%. El Pulpo Paul está en ese 14%.

Les dejo el grafiquito del histograma del número de aciertos del animal más suertudo (Pulpo Paul) y del animal más mediocre (el que salió décimo entre los 20 participantes).

Por cierto, se pueden obtener los mismos resultados haciendo las cuentas analíticamente, pero me daba fiaca y creo que el post se iba a entender menos