¿Tocan las encuestas? ¡A quién le importa!

Una batalla perdida

En 1974 Amos Tversky y Daniel Kahneman publicaron un artículo seminal llamado «Juzgando en la incertidumbre: heurísticas y desviaciones»1  que se constituiría en la piedra fundacional de una nueva corriente de pensamiento científico que da por tierra al ser pensante y racional que toma decisiones consistentes en base a opciones, valores y probabilidades. El camino fue largo, y ya después de la muerte de Tversky, ocurrida en 1996, Daniel Kahneman recibió un premio Nobel en economía por el aporte. Uno de los puntos centrales de la nueva teoría es la comprobación empírica y fuertemente documentada de que la intuición es incapaz de pensar estadísticamente.

La intuición es ese conjunto de habilidades de nuestro cerebro que nos permite interactuar con el entorno que nos rodea sin necesidad de pensar conscientemente. La misma habilidad que nos permite seguir al GPS y manejar a la vez, que nos hace capaces de cantar mientras tocamos la guitarra, o de escribir en un teclado sin mirarlo, es el intérprete habitual cuando miramos la televisión, escuchamos radio, leemos las noticias por Internet y la mayoría de las veces en que leemos las noticias de la prensa escrita sobre papel del viejo.

Esta maravilla que nos permite ser homo-digitalis hiperconectados, multitarea y multifunción tiene sus fronteras y limitaciones, y una de ellas es la incapacidad de pensar estadísticamente de forma intuitiva: sin un razonamiento atento, cuidadoso y consciente el cerebro reemplaza de forma sistemática lo probable por lo plausible: la intuición juzga con rapidez si las piezas del relato encajan unas con otras (el relato es plausible) sin tomar en cuenta la información que no este «a la vista». Es lo que Tversky y Kahneman denominaron «Lo que ves es todo lo que hay» (What You See Is All There Is – WYSIATI).

Para los que nos apasiona el tema de las encuestas la conclusión es devastadora: la batalla está perdida de antemano. Una buena gráfica y una explicación interesante que la acompañe construyen un relato sólido, fuertemente plausible, suficiente para la intuición de los telespectadores, inclusive la mayoría de los que cuentan con los conocimientos necesarios para una interpretación más sofisticada de los valores que se muestran. Si lo que ven no dispara ninguna alerta, la intuición lo dará por bueno: «Lo que ves es todo lo que hay». Es que nuestro ser racional, la parte del cerebro capaz de aplicar inteligencia y conocimiento a un análisis profundo de los problemas, lo que Kahneman denomina el «Sistema 2», es haragán y desatento, y deja que nuestra intuición haga a sus anchas, sobre todo en ambientes de muy baja implicancia o riesgo, como el de mirar el informativo.

Tal vez en algún momento surja un Edward Snowden de las encuetas, que rompa el hechizo y haga que de pronto todos vean con meridiana claridad lo que por años se escondió delante de sus narices.

Una nota esclarecedora

Es muy difícil encontrar información que hable en detalle de la cocina profunda de una encuesta que se da a conocer por un medio de comunicación masiva. En general sucede solamente los días posteriores inmediatos a la elección. Y esta vez no fue la excepción.

Pero este año fuer particular, porque en una nota radial del 6 de junio de 2014 en el programa En Perspectiva, la entrevista de Emiliano Cotelo deja a la luz algunos vericuetos de la realización y publicación de encuestas que es muy pero muy raro encontrar plasmados en declaraciones públicas.

Vamos con algunas citas (las negritas son mías) y algunos comentarios. 

Ignacio Zuasnábar, Equipos Mori: «La encuesta es una herramienta de medición sobre una cosa que ya es pasado cuando terminaste de hacerla. Pero nuestras estimaciones deben ser la combinación de medición y modelización, medición y estimación. Y en esa combinación hubo un fuera de foco bastante evidente».

Hay un reconocimiento tácito de que lo que se publica no es una encuesta, sino el resultado de una «modelización» y una «estimación» sobre esa encuesta. Si estuviera en el boliche, donde al mozo le dicen mozo y no «gerente de satisfacción de las necesidades y deseos de clientes del local», diría que tocan los números antes de mostrarlos. Pero no voy a hacerlo, para que no me puedan acusar de grotesco o ignorante. Igual me queda la duda de si los errores del proceso de «modelización» y «estimación» están incluidos en el famoso +/- 3%.

Eduardo Botinelli – Factum: «si en otras internas los resultados de las encuestas fueron muy ajustados a la realidad no necesariamente es porque las encuestas estén mal hechas, sino que hay algún problema de estimación».

¡Qué pícaro! Un caso de uso abusivo de «Lo que ves es todo lo que hay», ya que los resultados de las otras internas no están a la vista y la historia resulta plausible. Pero no resiste el análisis, ya que tanto las encuestas para las internas de 2004 como para las de 2009 tuvieron porcentajes de acierto bajísimo. Aceptando un error de +/- 5% en el año 2004 acertaron al 29% de los resultados y en el año 2009 acertaron al 37%. Nada digno de elogio y mucho menos «muy ajustado a la realidad».

Botinelli naturalmente conoce perfectamente esta realidad. Ya en octubre de 2004 justificaba sus yerros en una entrevista en radio El Espectador, también con Emiliano Cotelo: «(Factum) daba 49 para el Frente y 30 para el PN,… que esa proporción de cinco a tres entre la izquierda y los blancos podía ser mucho menor, bastante menor, y que existía, aunque con menos probabilidades, la posibilidad de que el EP-FA perdiera el primer lugar.» El resultado final fue de 42.7% para el FA y 41.5% para el PN. 

Mariana Pomiés – Cifra: «el error está en cómo estimamos la veracidad o cómo trasladamos esos datos a lo que podía pasar el domingo. Creo que la herramienta, si miramos la encuesta «pelada» nuestra, se comportó mucho mejor que nuestro trabajo de estimación de qué iba a pasar esa semana.»

«Una cosa es la herramienta, la encuesta en sí misma. Pero ninguna encuestadora trabaja solamente con eso, nunca damos los datos pelados, porque sabemos que las encuestas tienen errores de medición, sabemos que hay votos subdeclarados, que no siempre lo que recogemos, por ejemplo, refleja el pasado»

«al menos en el caso de Cifra, el problema fue más del trabajo con los datos que los datos en sí mismos»

«vemos que nuestras herramientas no estaban tan erradas, sino que el trabajo que hicimos con esos datos y las estimaciones fueron lo que nos hizo caer en ese error».

Muy interesante concepto el de la encuesta «pelada» y mucho más aún la confesión de que nunca dan los «datos pelados». ¿A qué se refiere exactamente?

Voy a hacer una interpretación libre, y totalmente bajo mi responsabilidad: la encuesta pelada, la de verdad, la que nunca nos dan, le dio a Cifra que ganaba Lacalle Pou, y ellos la tocaron (bueno, eliminemos el lenguaje de boliche, digamos que «modelizaron y estimaron») hasta que les dio arriba Larrañaga, igual que a los demás. ¿Se anima la Sra. Pomiés a publicar la famosa «encuesta pelada» para desmentirlo?

Ignacio Zuasnábar – Equipos Mori: «En el año 2009 la desviación promedio de las encuestas publicadas sobre los resultados había sido 3,7%, considerando todas las estimaciones a candidatos, y ahora fue de 5,2%. Claramente hubo un aumento en la desviación promedio, por lo cual acá estamos en el debe»

Medir las encuestas contra los resultados de la elección es un método válido. El argumento de que la encuesta es una foto y no un pronóstico no corresponde. Los datos de 3,7% y 5,2% son correctos. Zuasnábar es directo y sincero.

Mariana Pomiés – Cifra: «Siempre está esa discusión en la que al menos nosotros nos sentimos con el deber de decir algo que la gente entienda, y no solo que entienda lo que estamos diciendo sino que sienta que estamos tratando de comunicarle alguna certeza«.

La necesidad de comunicar certeza apunta directamente a la construcción de una historia totalmente plausible. El ritmo de la dinámica televisiva tiene exigencias, generan un «deber» de decir algo que la gente entienda, de construir un relato con certezas que alimente correctamente la intuición despreocupada de los espectadores. Y es este deber de naturaleza comercial el que aleja a la encuesta de opinión de la ciencia estadística.

Los datos de las internas de 2014

Metodología

La metodología es la misma que la utilizada en 2004 y 2009. Se basa en la comparación de los resultados de la última serie de encuestas previas a las elecciones internas del 1 de junio de 2014 con los resultados reales que dichas elecciones arrojaron. Este enfoque tiene la ventaja de que no requiere conocer la metodología con que se realiza cada encuesta, sino que busca determinar la validez de los pronósticos.

Los datos

El cuadro muestra el resultado final emitido por la Corte Electoral y el último pronóstico de cada empresa encuestadora previo a la elección. Para calcular el porcentaje de la Corte Electoral se incluyeron en el total de cada partido los votos en blanco tanto departamentales como nacionales según corresponda.

Los cálculos

Para realizar el análisis se determina un valor para el margen de error y para cada uno de los porcentajes de las encuestadoras se calcula si es o no acertado.

El procedimiento es el siguiente:

  • Se fija un margen de error en porcentaje
  • Para cada encuestadora y candidato, se calcula el Valor Absoluto (VA) del error y a partir de él los valores
    • Borde Inferior = pronóstico – VA error
    • Borde Superior = pronóstico + VA error
  • Si el pronóstico está dentro del rango [Borde Inferior | Borde Superior] se cuenta un acierto. De lo contrario se cuenta un fallo.

Para comprenderlo mejor veamos un ejemplo: Interconsult dio en su última encuesta un 19% de intención de voto a Constanza Moreira dentro del Frente Amplio, que terminó obteniendo 21.4% de los votos. Los cálculos en este caso arrojarían los siguientes valores:

Resultado

Para todas las encuestadoras y todos los candidatos se realizaron uno a uno los cálculos correspondientes a 36 pronósticos: Tabaré Vazquez, Constanza Moreira, Luis Lacalle Pou, Jorge Larrañaga, Pedro Bordaberry y José Amorin Batlle. Se omitieron los otros candidatos porque a pesar de que en muchos casos las encuestadoras emiten pronósticos, los valores pequeños son tan errados que ni siquiera merecen análisis. Se hicieron los cálculos correspondientes con porcentajes de error desde 3% hasta 15%. A continuación se muestra el cuadro de resumen de los resultados obtenidos:

Comparativo Histórico

Después de varias elecciones, tenemos datos históricos para comparar. Todos corresponden a la misma metodología.

Si bien un análisis más fino podría derivar alguna enseñanza de las diferencias, la conclusión principal es que con los márgenes de error indicados en las fichas técnicas de las encuestas los aciertos son menos de un quinto. Es decir, si usted decide  apostar a que le van a errar por más de un 3%, hágalo tranquilo: tiene más de 5 a 1 de chances de ganar.

Conclusiones

Ante un fenómeno que no varía, mantenemos las mismas conclusiones que en el pasado, que citamos textualmente:

En 2004 el artículo decía:

«La industria de las encuestas, propone un mensaje pseudo-científico, que intenta mostrar un panorama muy distinto al que arrojan los datos. Independientemente de la encuestadora, el medio que difunde los datos, el candidato que festeja y el que dice que la encuesta está arreglada, los distintos voceros de las empresas analizan la realidad como si su herramienta de medición tuviera la precisión de un rayo láser, cuando tienen entre sus manos apenas un trabuco naranjero.»

Reafirmamos en un 100% esta afirmación.

Hacia una Ley de Encuestas

Se publicó en la prensa la intención de algunos legisladores de regular el funcionamiento de las empresas encuestadoras y la difusión de encuestas. Saludo la iniciativa y me pongo órdenes para trabajar en ello

Sin intención de abarcar la totalidad del tema de regulación, creo que sería importante que esta ley incluyera los siguientes elementos:

  • Registro de que se comenzó una encuesta. Las empresas encuestadoras deben anunciar a un órgano oficial que comenzaron a realizar una encuesta con el fin de difundirla en los medios. A partir de ello se deben dar dos condiciones:
    • Todas las encuestas que se comienzan deben obligatoriamente ser publicadas, independientemente de su resultado.
    • Está prohibido difundir encuestas de las que no se registró el comienzo
  • Publicación de los datos sin procesar. Junto con la difusión de una encuesta la empresa deberá publicar en su sitio Web todos los datos «en crudo», formulario por formulario y encuestado por encuestado, de modo que cualquier ciudadano pueda realizar sus propios cálculos a partir de la información relevada. Esta publicación deberá incluir explícitamente la información de cuántas personas NO contestaron la encuesta.
  • Indicar otras fuentes de datos. Las encuestadoras deberán indicar si los porcentajes de intención de voto surgen exclusivamente de los datos relevados o si se tomaron otros datos para realizar cálculos o ponderaciones, como por ejemplo datos del censo, encuestas anteriores, etc.

Estas consideraciones se aplican exclusivamente a las encuestas que tienen como fin ser divulgadas en los medios. Se excluyen explícitamente las encuestas que las empresas realizan por encargo de empresas, organizaciones o individuos y que tienen como fin exclusivo la difusión en ese entorno restringido.

Fuentes: