Sobre la validez de las encuestas

Metodología

El objetivo de este artículo es analizar la validez de los resultados de las encuestas de opinión pública que se realizan en Uruguay. La metodología está focalizada en la comparación de los resultados de las encuestas ya realizadas en elecciones anteriores con los resultados reales que las elecciones arrojaron. Esta enfoque tiene la ventaja de que no requiere conocer la metodología interna con que se realiza cada encuesta, sino que busca determinar la validez de los pronósticos.

Para realizar el presente análisis, se compararon 20 valores previstos por la última encuesta previa a la elección con los resultados electorales definitivos para:

  • Elecciones internas 1999
  • Elecciones Generales 1999
  • Balotage 1999
  • Elecciones internas 2004

Se consideraron los datos provistos por las encuestadoras: Cifra, Equipos Mori, Factum1 , Interconsult y Radar, lo que constituye un total de 98 pronósticos

Los datos

Para realizar la comparación se preparó una tabla que cuenta la cantidad de aciertos de las encuestadoras si se considera un margen de error determinado. Por ejemplo:

La empresa XYZ pronosticó un valor de 38% para el Partido nacional en las elecciones generales de 1999. El valor real fue de 39.6% con lo que la tabla que se generaría en este caso es:

  • Con un margen de error del 3%, el rango pronosticado es de
    (36.86%,39.14%) por lo que la encuesta falla.
     
  • Con un margen de error del 4%, el rango pronosticado es de
    (36.48%,39.52%) por lo que la encuesta falla.
     
  • Con un margen de error del 5%, el rango pronosticado es de
    (36.1%,39.9%) por lo que la encuesta acierta.
     

Resumen de los datos:


Los datos son contundentes, para tener un porcentaje de aciertos mayor al 50% hay que aceptar un margen de error del 12%, esto quiere decir que si las encuestadoras pronostican que el partido XYZ va a sacar 50% de los votos, en realidad podemos estar más o menos convencidos de que va a sacar entre un 46% y un 54% de los votos.

Inmediatamente surge la pregunta de si una encuestadora es mejor que otra. Está fuera de nuestro alcance definir cuál es mejor, por lo que no vamos a revelar los nombres asociados a cada dato. De todos modos, los datos son de dominio público, están disponibles en Internet y quien quiera puede rehacer las operaciones aritméticas muy sencillas con la que se calcularon los valores aquí expuestos.

Resumen de los datos por encuestadora:

El partido XYZ subió un 1% en tal encuesta

Si bien es posible profundizar el trabajo realizado, en la dirección de comparar los resultados de las encuestas con los resultados reales de los distintos actos eleccionarios, hay una primera conclusión a extraer: a la luz de los datos expuestos, las encuestas marcan a grosso modo, la posición relativa de los partidos políticos y muy poco más. En este marco, las disquisiciones sobre si un candidato pasó de 48% a 47% en una semana o si otro que tenía 24% ahora tiene 25.5% son disquisiciones políticas, no estadísticas.

La industria de las encuestas, propone un mensaje pseudo-científico, que intenta mostrar un panorama muy distinto al que arrojan los datos. Independientemente de la encuestadora, el medio que difunde los datos, el candidato que festeja y el que dice que la encuesta está arreglada, los distintos voceros de las empresas analizan la realidad como si su herramienta de medición tuviera la precisión de un rayo láser, cuando tienen entre sus manos apenas un trabuco naranjero.

Profecía autocumplida

Imagine que usted es el dueño de una empresa encuestadora, y su personal le comunica que el resultado de la encuesta que acaban de digitar en el sistema arroja que el EP-FA tiene en Montevideo el 41% de las preferencias. ¿Qué hacer? ¿Publicar la encuesta? ¿Hacerla nuevamente? ¿Revisar los formularios para detectar posibles «dibujos» de los datos? Son todas decisiones políticas. Las encuestadoras reprocesan, descartan, chequean, vuelven a encuestar, con metodologías razonables para las ciencias sociales pero que invalidan completamente el valor estrictamente estadístico de sus resultados. En definitiva una encuesta debe «dar» en el entorno de lo que le da a las demás empresas, por lo que las encuestadoras jamás publican valores disparatados. Pero estos valores disparatados necesariamente deben aparecer cada tanto si lo estadístico es estrictamente estadístico y lo aleatorio es estrictamente aleatorio, de lo contrario una encuesta no es más que una profecía autocumplida.
 

Fuentes: