Como continuación del artículo anterior «Sobre la validez de las encuestas» y aplicando la misma metodología, nos proponemos analizar los aciertos y errores de las principales empresas que realizan encuestas de opinión y pronósticos electorales en Uruguay.

A los resultados analizados antes del acto electoral del 31 de octubre, se sumaron los pronósticos de las distintas empresas para esta elección. A saber:

El análisis se realiza entonces ahora con un total de 118 pronósticos, en base a los resultados de 5 actos eleccionarios:

• Elecciones internas 1999
• Elecciones Generales 1999
• Balotage 1999
• Elecciones internas 2004
• Elecciones Generales 2004

El Cuadro 2 muestra el porcentaje de aciertos del total de las encuestadoras a medida de que se va aumentando el margen de error. Allí puede verse que la inclusión de los pronósticos de octubre no varía en lo fundamental la tendencia, es más, baja un poco el porcentaje de aciertos, lo que reafirma que el único pronóstico que se cumple siempre es el de que las encuestas tienen mucho más error que el que manifiestan las encuestadoras. Para tener un 50% de aciertos hay que aceptar un 12% de margen de error, en contraposición al 2.4 a 3 por ciento que promocionan las empresas.

Errores y precisión

Un primer problema que surge del análisis de los resultados publicados en la prensa escrita, de los expuestos en radio y televisión y de los publicados en los distintos sitos de las encuestadoras, tiene que ver con los márgenes de error y la precisión con que se presentan los datos. Inclusive una lectura detenida de las fichas técnicas completas² deja abiertas algunos flancos importantes

Cuando se expresa el margen de error: ¿Se trata de margenes de error en porcentaje del valor expresado o en puntos de la encuesta? El juego de palabras que se forma al hablar del error como un porcentaje de un porcentaje, deja siempre la duda de si cuando se afirma que el error es del 3% y se muestra un pronóstico de 10%, quiere decir que se pronostica un valor entre 7% y 13% o que se pronostica un valor entre 9.7% y 10.3%. Para el primer rango, el error estaría siendo expresado en «puntos de la encuesta», en el segundo caso, en «porcentaje del valor».

Si se tratara de una distancia, por ejemplo 10km, entonces no habría problema, porque para el primer caso se diría que el error es de +/-3km y para el segundo caso se diría que es de +/-3%, con lo que se evitarían todas las confusiones. No se trata de un detalle. La ciencia enseña que no se deben considerar válidas medidas menores que el margen de error del instrumento con que medimos. O sea que si son puntos de la encuesta, no se deberían incluir pronósticos de menos de 3%, algo que se hace sistemáticamente con los partidos menores, los votos en blanco y en algunos casos con los indecisos.

Tampoco queda claro el hecho de que los errores varían según se trate de resultados generales o de resultados de los distintos sectores dentro de un partido. Cuando se pronostica que un sector obtendrá el 20% de los votos dentro de su partido, ese pronóstico tiene un error mucho mayor que el pronóstico general que se hace para el partido. Este dato se omite sistemáticamente en los medios y aparece solamente hilando fino en algunas fichas técnicas.

Otra problema importante tiene que ver con la precisión. En ciencia, es necesario expresar las los valores de forma que quien los lee entienda exactamente como se reflejan los márgenes de error de nuestras medidas en los valores que mostramos. Eso se aprende muy temprano, tal como muestran los textos de secundaria: «Las cifras significativas de una medida son todas las cifras seguras y un una única insegura. Siempre que realices una medida debes expresar el resultado utilizando solo las cifras significativas»³. Con un margen de error de 3%, el valor 50.9% es enormemente engañoso. Tanto si el error está expresado como puntos de la encuesta (rango 47.9%-53.9%) como si está expresado en porcentaje del valor, (rango 49.4%-52.4%) la cifra de las unidades es insegura, por lo que el método científico exige redondear y obviar la cifra de los décimos, es decir: se debería haber publicado 51%. Publicar 50.9% como pronóstico de una encuesta responde a las necesidades comerciales o de marketing, a costa de la violación de normas elementales del manejo científico de los errores.

Las picardías y el justificómetro

La dinámica de la presentación de pronósticos a medida que se acerca el día de las elecciones, con todos los medios concediendo espacio a publicitar a su empresa encuestadora, a lo que se suma una verdadera canilla libre de números, encuestas, pronósticos y análisis, hace muy fácil perder la perspectiva. Los televidentes nos vemos literalmente apabullados por números, datos, análisis, que exceden largamente nuestra capacidad de recordar y comparar sin recurrir a procedimientos sistemáticos, algo que el 28 de octubre ninguno de nosotros estaba en condiciones de hacer.

Pero ¿qué pasa cuando uno comienza a analizar con paciencia y detalle lo que dijeron en diversas instancias los distintos analistas y lo que pronosticaron las distintas encuestadoras? Comienza a vislumbrase que con mucha frecuencia se deslizan inexactitudes, se cometen picardías y se justifican errores, con procedimientos que no tienen nada que ver con la ciencia estadística. Citaremos aquí cuatro ejemplos, pero es posible encontrar decenas con solo navegar por Internet contrastando documentos.

1.- El primero de noviembre de 2004, es decir al otro día de la elección, en el programa En Perspectiva de la radio El Espectador, Juan Carlos Doyenart, director de Interconsult afirmó «(las encuestadoras) dieron al Partido Colorado (PC) en el orden del 10-11 por ciento -lo que muchos se resistían a creer- y estuvo en 10,5. O sea: las encuestas siguen siendo un referente fundamental, hay que respetar más este trabajo técnico y su seriedad«. Tal como muestra el Cuadro 1, no es exacto que las encuestadoras dieron al Partido Colorado en el orden del 10-11 por ciento, sino en el orden del 8-12.5 por ciento. De hecho, la propia encuestadora que Doyenart dirige, según los datos proporcionados en el informativo de Canal 10 del 28/10/04 pronosticó 9.8% para el Partido Colorado.

2.- La empresa Cifra, el último día de los pronósticos dio su resultado en 2 pasos. Esto le permitió dar su resultado definitivo con cartas vistas, conociendo todos y cada uno de los pronósticos de sus colegas. Casualmente todos sus pronósticos se ubicaron en un extremo del rango de sus competidores: para el FA el menor valor y para el PC, PN y PI el mayor valor. La picardía fue complementada con la justificación de qué se proyectaban indecisos: en el marco de la fiebre de valores de ese día cualquier dato nuevo era bienvenido. Es al menos llamativo que los pronósticos estén colocados exactamente en la frontera de los rangos de sus colegas, que Cifra por primera vez en todos sus pronósticos utilice decimales y que mueva de golpe algunos valores, como el pronóstico del FA 4 puntos, después de haberlo mantenido durante meses en un rango que oscilaba entre 46 y 48 por ciento.

3.- Grupo Radar fue quién más enérgicamente pronóstico un resultado favorable al FA en primera vuelta. Su pronóstico de 56% incluyendo indecisos era según sus palabras de «avalancha» en favor del FA. Ante la vehemencia de las exposiciones, era esperable un ético y honesto «nos equivocamos» a secas, o al menos un silencio culposo. Recibimos todo lo contrario. En una extensa nota firmada por Adolfo Garcé, Daniel Chasquetti y Alain Mizrahi disponible en el sitio Web de la empresa y publicada en Crónicas, el 5 de noviembre de 2004 concluyen que «Por todo ello creemos que el error no está en la medición y que debemos buscarlo fuera de la encuesta, más precisamente en los hechos ocurridos desde el cierre de la encuesta hasta el día de la elección.«

4.- En una entrevista en radio El Espectador, el 28 de octubre de 2004, Oscar Botinelli director de Factum justifica un pronóstico desacertado para las internas del 27 de junio de 2004, que excede varias veces⁴ el margen de error con la siguiente explicación: «(Factum) daba 49 para el Frente y 30 para el PN,… que esa proporción de cinco a tres entre la izquierda y los blancos podía ser mucho menor, bastante menor, y que existía, aunque con menos probabilidades, la posibilidad de que el EP-FA perdiera el primer lugar.» Los comentarios sobran.

No dudamos de las encuestas, nos sonrojamos con los encuestadores…

En su análisis del 5 de noviembre de 2004, también en El Espectador, el mismo Botinelli afirma: «Las encuestas han quedado aceptadas claramente, demostraron ser una herramienta científica con todas las certezas y las limitaciones de cualquier herramienta científica, y nos parece que de aquí en adelante cualquiera que salga otra vez a discutirlas va a estar discutiendo si el Sol gira alrededor de la Tierra o los astros están colgados del cielo, ya no tiene sentido«

¡Otra vez la «picardía»! El problema no son las encuestas como método científico, sino el uso que las empresas de opinión pública y los medios de comunicación hacen de ellas con fines comerciales y políticos. A saber:

• Sistemáticamente violan el método científico, manejando de forma deliberada los errores y la precisión de los datos para un lado y para el otro.
•  Se citan a sí mismo y a sus colegas con imprecisiones y omisiones que dan a entender una efectividad pasada que está muy pero muy distante de la realidad.
• Justifican lo injustificable, siendo prácticamente imposible encontrar una declaración de una encuestadora que diga «nos equivocamos» a secas.
• Ponen por delante los resultados donde acertaron, y obvian hablar de los que erraron. Desde el punto de vista de la ciencia estadística, da lo mismo equivocarse para el pronóstico de Vázquez que para el de Lisidini.
• Nunca muestran los resultados generales que comparan todos sus pronósticos contra todos los resultados reales: un trabajo de aritmética sencilla que mostraría, tal como lo hace el Cuadro 2, que sus pronósticos son mucho menos precisos de lo que su corazoncito desearía que fueran.

Confundir las encuestas con las encuestadoras es presentar una falsa disyuntiva. En las apariciones y documentos públicos de las encuestadoras hay apenas una traza de lo que en su origen fue una encuesta basada en la ciencia estadística, para transformarse a través de la ponderación, la estimación y el análisis en una pieza político/comercial. En el informe de una encuestadora hay tanto de ciencia estadística como hay de huevo en el pollo. Para probarlo alcanzaría con que hicieran públicos los resultados en bruto de la encuesta sin procesar, nos daríamos cuenta de la distancia enorme que separa el trabajo de campo con lo que al final nos muestran en TV. Queda planteado el desafío…