martes, 13 de julio de 2010

Octopus, el chanta

El Pulpo Paul es un ejemplo excelente de survivorship bias.

El survivorship bias es un caso particular de sesgo de selección. Imaginemos que para analizar la estatura de Argentina se realiza un muestreo en un club de basquet. Seguramente la muestra tendrá un sesgo ya que la gente que juega al basquet presumiblemente será más alta que el resto de la población. No es representativa, hay un sesgo de selección. El sesgo de supervivencia vendría a ser algo parecido, pero el sesgo radica en que cierto tipo de individuos se bajan de la muestra debido a que no son "exitosos". Por ejemplo, hay empresas que se bajan de las encuestas de clima laboral (esas que siempre gana Google) porque saben que les va a dar mal. O que quiebran y desaparecen de listados de performance. En consecuencia, la muestra de empresas no es aleatoria. Más crudamente, a algunos les habrá llegado un email hace años diciendo que la mejor manera de hacerse rico era enviar 100 emails diciendo que la bolsa iba a subir y 100 diciendo que iba a bajar. Al día siguiente, repetir el ejercicio con los que han recibido el email acertado (ahora 50 emails diciendo que sube y 50 diciendo que baja). Al tercer día 25 y 25, al cuarto 12 y 13, al quinto 6 y 6. Al finalizar la semana habrá 6 personas que te van a creer que sos un genio y te van a pagar para que les des tus consejos. Y fue todo aleatorio.

Lo mismo pasa con los animales que predicen. Todos vimos los videos del Pulpo Paul predecir con mucha fortuna varios resultados. Amen de que es posible que el dado estuviera cargado, hay un elemento más básico y es que estadísticamente es bastante probable que de un grupo de J animales que tiran monedas al aire 14 veces haya uno que acierte al menos 12 veces (según tengo entendido, 12/14 fue la performance del pulpo). La gente se sorprende porque si fuera algo aleatorio, uno esperaría en promedio 7 aciertos de 14. Pero esos aciertos son como los emails sobre la bolsa. Pongamos 50 grupos de 20 personas a tirar 14 veces una moneda al aire e intentar acertarla. De las 14000 tiradas, aproximadamente 7000 serán cara. Es más, dentro de cada uno de los 50 grupos, el promedio de caras será 7. Sin embargo, aleatoriamente siempre habrá gente que lance más caras y siempre habrá gente que lance más cecas. Comparemos el número de caras que lanzaron aquellos que lanzaron más caras dentro de cada grupo. Me tomé la molestía de desvelarme con Stata y lo simulé burdamente. Vamos a tener 50 personas (1 por cada grupo), cuyo promedio de caras ha sido 10.58, con un desvío estándar de 1,08. El que menos caras lanzó obtuvo 9 caras. El que más, 14. En cambio, los 50 tipos que han obtenido el mediocre puesto 10 dentro de cada grupo de 20 individuos han obtenido un promedio de 7,14, con un mínimo de 6 y un máximo de 8.

La diferencia entre los resultados responde a lo que dijimos antes. Más técnicamente, no se trata de la misma variable aleatoria. En un caso estamos trabajando con una binomial y en otro caso un estadístico de orden de J variables binomiales independientes e identicamente distribuídas. O lo que es lo mismo en castellano, la distribución de estatura de los Argentinos no es la misma que la de la Selección de Basquet. El caso del Pulpo Paul es equivalente al de las monedas que mencioné antes. Si uno asume que hubo 20 animales (hipótesis conservadora) que iban a adivinar aleatoriamente (tirando una moneda) resultados de partidos del mundial, la probabilidad de que el que mejor acierte (el Pulpo Paul) tenga entre 11 y 14 aciertos es aproximadamente 48%. Entre 12 y 14 aciertos, 14%. Más de 12 aciertos, 4%. El Pulpo Paul está en ese 14%.

Les dejo el grafiquito del histograma del número de aciertos del animal más suertudo (Pulpo Paul) y del animal más mediocre (el que salió décimo entre los 20 participantes).


Por cierto, se pueden obtener los mismos resultados haciendo las cuentas analíticamente, pero me daba fiaca y creo que el post se iba a entender menos

20 comentarios:

Anónimo dijo...

Sam,
hay que decir que desde el segundo partido de primera ronda (cuando predijo que Alemania perdía) todos empezaron a mirar al pulpo y nadie habló de otro animal. Desde ese momento deja de haber survivorship bias. Y fueron 5 partidos seguidos que predijo. Es como que uno pegue 5 veces seguida color en la ruleta; difícil sí, imposible no.
frank

Genérico dijo...

A la segunda línea me di cuenta que ya esperaba un post asi de Sam.

Hablando de eso Frank tiene razón. El otro día en el casino fallé cuatro chances seguidas en una martingala del subdesarrollo... todo mal.

Abrazo.

elgrancayman dijo...

me gustaria ver que opina paul de un eventual ballotage....

Rollo Tomasi dijo...

coincido con el primer comentario. Ya era por lejos el oráculo más famoso y no paraba de pegarla.

Santiago_Ant dijo...

El post se desvia del eje de la discusión que plantea a partir del 2do parrafo..
Explicas muy bien las leyes probabilísticas, pero el pulpo la pegó en 7 partidos seguidos!!! y para todo el mundo!! no usó el caso de los mails...(me tomé en trabajo de buscarlo)..

Según tu comentario no existiría la predicción de ningún tipo, porque siempre cae en algún lugar de la distribución...

Santiago_Ant dijo...

Porque a todos los cerebritos matemáticos siempre les jode el culo ajeno???

Hay cosas que no se explican..sabelo!! el pulpo la sabe lunga...

Y la matematica pifia mucho..sino pegate una vuelta por el indice castrol

Anónimo dijo...

Lo más fantástico es que esto no se trata de acertar si sale cara o ceca, sucesos con 50% de probabilidad cada uno. En el fútbol los enfrentamientos no son de igual a igual, hay candidatos y favoritismo (por eso las apuestas no pagan igual cada resultado). Que despues del 4-0 de Alemania a Australia el pulpo prediga que gana serbia no estaba en los planes de nadie!! Yo cambiaria el foco de analisis, para mi una vez que el pulpa vaticina resultado condiciona a los jugadores....

Sam Rothstein dijo...

Santiago, el punto no era que el pulpo no tiene suerte. Tuvo mucho culo!!

El punto que se marca es que el pulpo no "predice" mejor los partidos que tirar la moneda al aire. Claro que es super improbable acertar 12/14 partidos. La probabilidad es menor al 1%. Pero no es tan improbable que "el que tuvo mas suerte" prediga 12/14.

Por ponerlo de otro modo, si uno juega a la ruleta rusa veinte veces seguidas, el que sobreviva va haber tenido mucha suerte ya que la probabilidad de sobrevivir es 2,6% (5 dividido 8, luego elevado a la 20). Pero es muy probable (en realidad, una certeza) que el que haya sobrevivido "acerto" 20/20.

Lo del comment de Frank y Rollo. Si el tipo fue el survivor de los primeros cuatro partidos (4/4) y es el unico en carrera, la probabilidad de acertar los otros 4 partidos es 6.25%.

Sam Rothstein dijo...

Anonimo, lo que tiene 50% de probabilidad no es que Alemania le gane a Australia, sino que el pulpo acierte el resultado.

Marote dijo...

Sam reconocelo, el pulpo es un moustro, un genio!! La probabilidad de acertar los ocho resultados que pegó en el mundial al hilo es 0,5 a la 8 (0,004).. Un animal indiscutible.. Y encima en la primera ronda no lo dejaban inclinarse por el empate!!

Anónimo dijo...

Sam,
dejate de joder con el survivorship bias. Desde que empezó el Mundial solo se habla del pulpo. Cómo ya dije antes, si querés arrancá del 3 partido en adelante post-derrota acertada contra Serbia. Ahí dejaste de tener survivorship bias porque el pulpo era el único en escena!!
No fueron 4 partidos. Tras Serbia fueron 6 partidos.
El tercero de alemania, los 4 de segunda ronda y la final

frank

Anónimo dijo...

SAM LTA!!!!

Sam Rothstein dijo...

frank, el pulpo paul aparecio fuerte despues de Alemania-Inglaterra.

Fijate en GoogleTrends

(para Argentina):http://www.google.com/trends?q=pulpo+paul&ctab=0&geo=ar&geor=all&date=mtd

(para los alemanes, que lo deberian conocer desde antes... aparece fuerte despues del partido con Ghana):
http://www.google.com/trends?q=oktopus&ctab=0&geo=de&geor=all&date=mtd&sort=0

(para el mundo)
http://www.google.com/trends?q=paul+the+octopus&ctab=0&geo=all&date=mtd&sort=0

Santiago_Ant dijo...

Si aparte del pulpo oráculo todo poderoso, hubiéramos presenciado las predicciones de una foca, un chancho, una loro y un canarito, tendrías algo de razón...pero NO!!!! El pulpo es el único bicho que la tuvo lunga desde el vamos!!!

Y no empezó en Alemania-Ghana, ENG o AUST...El pulpo arrancó en la EUROCOPA 2008, cuatos de final de alemania...Y LA VIENE PEGANDO DESDE ENTONCES...

ENTIENDO QUE A TANTA PSSSSSEUDOO RACIONALIDAD MATEMATICA, LE JODA LA COMPETENCIA DE UN ENTE QUE TIENE 8 LARGAS!!! Pero la vida el así y la matematica y e futbol SE LLEVAN A LAS TROMPADAS...

Santiago_Ant dijo...

Quiero foto de los cerebritos de la calificadora de riesgos que "analizó" y le daba campeón Inglaterra.

VIVA EL PULPO!!!!!

Sam Rothstein dijo...

Wikipedia como medida de cuando aparecio el pulpo en el mundo realmente. La pagina del pulpo paul se creo el 30 de Junio.

http://en.wikipedia.org/w/index.php?title=Paul_(octopus)&offset=20100708222144&limit=500&action=history


El pulpo ese es un salame!!!

cosasdehombres dijo...

mucho bla bla, pero acá vos posteaste todas las tablas de apuestas del mundial. Y ahí tenés a consultoras económicas y a técnicos deportivos (miles de animales) tirando a cara y ceca, y no hubo NI UNO que le pegara a TODAS como el pulpo.
Es más, si algún jugador compulsivo ingés se guiaba por el pulpo y lo invertía todo (su guita, casa, coche y ganancias de apuesta pasada); al tener una seguidilla de 8 apuestas ganadas le partía la banca.
Si pasaba en Argentina donde el pueblo ES superstisioso habían 150.000 ganadores (cada vez que hay algo salta la quiniela, por el número de la muerte de un famoso, por una fecha histórica, etc).
Es más, si el pulpo estaba "arreglado" significa que su cuidador es un genio del fútbol desconocido -y un ganador en potencia del PRODE.

Anónimo dijo...

Mucha estadística pero de castellano... "hubieron 20 animales"?

Anónimo dijo...

durísimo.
Y eso que en las cadenas de mail no se las dejo pasar!!

frank

Sam Rothstein dijo...

Yo no veo ningún "hubieron 20 animales" en el post!

;)