Cuadro de un alquimista

Objetivo

El objetivo de este artículo es analizar la validez de las encuestas de opinión que se difunden en Uruguay.

No hay demasiadas opiniones divergentes sobre la afirmación de que las encuestas de opinión lejos de ser inocuas, inciden en la propia política que intentan mirar «desde afuera». Por ello es relevante analizar si realmente tienen la precisión que prometen y sobre todo, si los datos son tan ciertos y precisos como los analistas de encuestas pretenden que son en sus análisis.

Metodología

La metodología se basa en la comparación de los resultados de la última serie de encuestas previas a las elecciones internas del 28 de junio de 2009 con los resultados reales que dichas elecciones arrojaron. Esta enfoque tiene la ventaja de que no requiere conocer la metodología con que se realiza cada encuesta, sino que busca determinar la validez de los pronósticos.

Este artículo es la continuación de 2 artículos anteriores, que aplican la misma metodología sobre las encuestas previas a las elecciones internas 2004 y a las elecciones nacionales 2005.

Hemos recibido varias críticas al respecto de si las encuestas de opinión son o no «pronósticos». Quienes emitieron las críticas sostienen que no se trata de un pronóstico, sino de una foto del momento en que se realizan. La respuesta hay que buscarla en la prensa escrita, radial y televisiva, que así las presentan cuando las difunden: «¿Y este escenario va a cambiar de aquí a octubre?» pregunta el periodista al encuestador … Desde este punto de vista, pasa a ser irrelevante si fueron o no concebidas como pronósticos, dado que las empresas encuestadoras no parecen molestarse cuando los informativos y programas que los contratan las presentan de este modo.

Dejamos fuera del análisis todos los candidatos del partido colorado, con excepción de Bordaberry, el Partido Independiente y Asamblea Popular. En estos casos, dado el pequeño porcentaje de voluntades que captan, son múltiples las causas por las cuales las encuestas tienen márgenes de error muy grandes. Pensamos que lo mismo deberían hacer las encuestadoras, no presentando datos para los candidatos que no tienen 5 o 6 puntos del total de la muestra. Justo es decir que no todas las encuestadoras presentan datos para estos partidos.

Los datos

El cuadro muestra el último pronóstico de cada empresa encuestadora previo a la elección y el resultado final emitido por la Corte Electoral.

Los cálculos

Para realizar el análisis se hace variar el margen de error y para cada uno de los valores se calculan cuántos pronósticos son acertados y cuántos no lo son.

El procedimiento es el siguiente:

  • Se fija un margen de error en porcentaje
  • Para cada encuestadora y candidato, se calcula el valor absoluto del error y a partir de él los valores
    • Borde Inferior = pronóstico – VA error
    • Borde Superior = pronóstico + VA error
  • Si el pronóstico está dentro del rango [Borde Inferior | Borde Superior] se cuenta un acierto. De lo contrario se cuenta un fallo.

Para comprenderlo mejor veamos un ejemplo: Interconsult dio en su última encuesta un 55% de intención de voto a Mujica dentro del Frente Amplio, que terminó obteniendo 52.02% de los votos. Los cálculos en este caso arrojarían los siguientes valores:

Resultado

Para todas las encuestadoras y todos los candidatos se realizaron uno a uno los cálculos correspondientes a los 30 pronósticos, con porcentajes de error desde 3% hasta 15%. A continuación se muestra el cuadro de resumen de los resultados obtenidos:

Conclusiones

En primer lugar, la comparación con los análisis anteriores muestran que con un 3% de margen de error, la precisión ha caído sensiblemente: de 18% en las internas 2004 y 20% en las elecciones 2005 a un 10% en esta instancia. Por otra parte, en el otro extremo de la tabla con un 15% de margen de error en 2004 y 2005 se alcanzaba un 65% de aciertos y este valor ahora asciende a 80%. Esto parece reforzar la idea de que las encuestas de opinión reflejan apenas un panorama borroso de la realidad, y que sus valores están apoyados en márgenes de error muy importantes, por los que los datos varían fuertemente en cada instancia. Queda pendiente una vez más la pregunta de cómo hacen las encuestadoras para presentar mes a mes datos que tienen pequeñísimas variaciones si los pronósticos en los que se basan tienen márgenes de error tan significativos

Por otra parte, estos datos y cálculos muestra otra vez, como en los análisis anteriores, que los pronósticos que las empresas encuestadoras dan a conocer en los diarios, la radio y la televisión están muy lejos de tener el valor y la precisión que los analistas políticos que las divulgan quieren hacer parecer que tienen. Por ejemplo, las conclusiones a las que arriban a partir del cambio de uno o dos por ciento en la intención de voto de un partido son sólo una opinión sin sustento estadístico.

En 2004 el artículo decía:

«La industria de las encuestas, propone un mensaje pseudo-científico, que intenta mostrar un panorama muy distinto al que arrojan los datos. Independientemente de la encuestadora, el medio que difunde los datos, el candidato que festeja y el que dice que la encuesta está arreglada, los distintos voceros de las empresas analizan la realidad como si su herramienta de medición tuviera la precisión de un rayo láser, cuando tienen entre sus manos apenas un trabuco naranjero.»

Reafirmamos en un 100% esta afirmación.

Hacia una Ley de Encuestas

Se publicó en la prensa la intención de algunos legisladores de regular el funcionamiento de las empresas encuestadoras y la difusión de encuestas. Saludamos esta iniciativa.

Sin intención de abarcar la totalidad del tema de regulación, nos parece que sería importante que esta ley incluyera los siguientes elementos:

  • Registro de que se comenzó una encuesta. Las empresas encuestadoras deben anunciar a un órgano oficial que comenzaron a realizar una encuesta con el fin de difundirla en los medios. A partir de ello se deben dar dos condiciones:
    • Todas las encuestas que se comienzan deben obligatoriamente ser publicadas, independientemente de su resultado.
    • Está prohibido difundir encuestas de las que no se registró el comienzo 
  • Publicación de los datos sin procesar. Junto con la difusión de una encuesta la empresa deberá publicar en su sitio Web todos los datos «en crudo», formulario por formulario y encuestado por encuestado, de modo que cualquier ciudadano pueda realizar sus propios cálculos a partir de la información relevada. Esta publicación deberá incluir explícitamente la información de cuántas personas NO contestaron la encuesta. 
  • Indicar otras fuentes de datos. Las encuestadoras deberán indicar si los porcentajes de intención de voto surgen exclusivamente de los datos relevados o si se tomaron otros datos para realizar cálculos o ponderaciones, como por ejemplo datos del censo, encuestas anteriores, etc.

Estas consideraciones se aplican exclusivamente a las encuestas que tienen como fin ser divulgadas en los medios. Se excluyen explícitamente las encuestas que las empresas realizan por encargo de empresas, organizaciones o individuos y que tienen como fin exclusivo la difusión en ese entorno restringido.

Fuentes