Para destrabar la polémica - I
Qué son las encuestas
Oscar A. Bottinelli
 

Las encuestas son hoy parte del paisaje político cotidiano, y como tal son por un lado aceptadas y por otro lado cuestionadas. La mar de las veces la aceptación y el cuestionamiento tienen que ver más con lo que gustan o disgustan los resultados, que con la seriedad o falta de seriedad del encuestador. Otras veces los cuestionamientos son producto de un rebuscar pequeñas falencias e incongruencias; a partir de esas objeciones sobrevienen los ataques sobre sus equivocaciones. Tiempo atrás uno escribía: “Aunque como afirma Kathleen Frankovic “las encuestas no serían atacadas si no se considerara en general que son precisas. De hecho son tan precisas que los reporteros y los políticos recurren a citarlas”. Por otra parte, afirma la ejecutiva de CBS News, “Las encuestas informan y elevan el nivel de discusión pública … y la presentación de las encuestas de opinión pública indica a los lectores y espectadores que sus opiniones son importantes. Y que su opinión cuenta”. Esto último es perceptible por los encuestadores, por la reacción afirmativa de la gente al ser entrevistada sobre temas políticos o sociales, y la reticencia a contestar encuestas de mercado. Algunos ataques provienen del desconocimiento de cómo se deben leer e interpretar, y así se les atribuyen falsos errores. Pero hay otra fuente de ataques: estudios en Europa y Estados Unidos demuestran que los ataques son más frecuentes y más duros de parte de los políticos que van perdiendo apoyo en la opinión pública, declive que las encuestas señalan y las urnas confirman”
Las encuestas son tan parte del paisaje que muchos informadores y dirigentes creen hay datos que se ven por sí mismos, sin que haya un trabajo científico detrás. Creen que el hecho que la izquierda capte más o menos la mitad del electorado se siente como el viento, o que blancos y colorados capten cada uno alrededor de la séptima parte de los votantes es como ver las olas en el mar, que esos datos se ven por sí solos, a simple vista y sin necesidad de instrumental. Entonces, como lo que dicen las encuestas es obvio, buscan y rebuscan en cada cifra para ver si fue correcto o incorrecto el último decimal, y entonces decir: ¡se equivocaron! Años atrás un gobernante sostuvo que era obvio que la gente no iba a ir masivamente a adherir a un referendo, para lo único que valían las encuestas era para determinar el porcentaje exacto de esa concurrencia. Nunca se puso a pensar de dónde venía esa obviedad; le resultaba obvio porque hacía días y semanas que venía leyendo cuál era la actitud de los uruguayos ante la concurrencia a ese pre-referendo. Es que muchos creen que conocen la temperatura por su propio cuerpo, sin advertir que una cosa es la temperatura y otra la sensación térmica, y que conocen la temperatura porque que antes la escucharon por radio. Después que se habituaron al termómetro, creen que no les indica nada. Entonces sólo ven que el mercurio marcó alguna décima de menos o de más, porque lo demás era obvio.
El tema hay que analizarlo desapasionadamente y ver qué son las encuestas, cómo se interpretan y para qué sirven. Cuál es la utilidad para la propia opinión pública (para los ciudadanos) y cuál es la utilidad para los actores políticos, para partidos, grupos, dirigentes y candidatos.
QUE SON LAS ENCUESTAS
Las encuestas de opinión pública son un instrumento científico para medir los comportamientos y actitudes de esa opinión pública, es decir, del conjunto de personas que influyen con su opinión o su actitud en la determinación de los valores, actitudes y juicios de la sociedad, y que se pueden traducir en influencias o decisiones políticas.
En una encuesta es necesario distinguir el tipo de encuesta, el universo, la muestra (incluida la selección del individuo encuestado), el cuestionario (la pregunta y la sucesión de preguntas), el proceso (compatibilizar la muestra real con la muestra ideal) y el análisis (la interpretación de los datos). Y por supuesto, hay que distinguir claramente el tipo de encuesta, lo que se denomina la metodología utilizada. Las encuestas científicas - como definen Sheldon Gawiser y G. Evans Witt- son aquéllas que utilizan “un método científico para escoger a los encuestados. El método utilizado por el encuestador para elegir a los entrevistados se basa en la esencia de la realidad matemática; cuando se conocen las posibilidades de seleccionar a cada persona entre el público objetivo, entonces y sólo entonces, los resultados de la encuesta, la muestra, reflejan a toda la población. A ésta se le llama muestra aleatoria, o muestra probabilística”. A ello se debe que las entrevistas aplicadas a cerca de mil adultos uruguayos reflejen con exactitud las opiniones y actitudes de más de dos millones de uruguayos adultos.
Conviene ver pues los elementos distintivos de una encuesta:
MUESTRA Y SELECCIÓN DE INDIVIDUOS. Para que la encuesta sea científicamente válida, debe realizarse acorde a los procedimientos validados por la estadística y las ciencias sociales, a partir de datos objetivos confiables (datos del censo de población y vivienda, resultados electorales anteriores). Cuanto más afinado sea el procedimiento, más exacto será el resultado.
TIPOS DE ENCUESTAS. Hay que distinguir con claridad las encuestas científicamente válidas de aquéllas que carecen de representatividad. Las encuestas basadas en muestras de hogares son las únicas encuestas de opinión pública válidas. Y las encuestas que obtienen los datos más confiables son las realizadas en los respectivos hogares, puerta a puerta y cara a cara. Son naturalmente las encuestas más trabajosas, más costosas y que requiere mayor cantidad y calidad de gente para hacerlas.
En relación a las encuestas que se llevan a cabo en la vía pública, o en los shoppings, Gawiser y Witt advierten que “nunca pueden considerarse representativas de la opinión pública”. Porque son las opiniones de un conjunto de personas que casualmente concurre a ese determinado lugar de paseos o de compras, cuyo perfil es diferente del que no sale de paseos ni de compras, o pasea o compra en otros sitios y en otros días. Este tipo de encuestas, muchas veces denominadas “encuestas coincidentales”, no son encuestas de opinión pública científicamente hechas y sus datos no son válidos. Tampoco es válido presentar como datos estadísticos de la opinión pública los resultados de grupos motivacionales o focus groups, los que por su naturaleza son de tipo cualitativo, que impiden toda medición. No hay forma alguna de extraer porcentajes, porque los participantes en esos grupos carecen de toda representatividad estadística. Pero particularmente los académicos advierten de un fenómeno creciente en el mundo, en la región y en Uruguay, producto del vertiginoso desarrollo de internet. Las llamadas Encuestas On Line. Las que no difieren demasiado de las llamadas encuestas que realizan radios o canales mediante el registro manual o automático de llamadas telefónicas (“llame al número x1 si opina que sí, llame al número x0 si opina que no”). ¿Cuál es el problema? Que las personas se eligen a sí mismas, son ellas las que deciden participar y responder, y que además acceden a la encuesta porque son navegantes de un sitio web o partícipes de la audiencia de una radio o un canal televisivo. No existe una selección probabilística, que resulte representativa de la población. A lo que se suman otros sesgos invalidantes: el primero, que no toda la población accede a ese sitio web, escucha esa radio o mira ese canal, y normalmente es una minoría; segundo, que esa minoría tiene características particulares: de edad, ideológicas, educativas, de sexo; tercero, que de toda la población que constituye una audiencia, participa un segmento ínfimo que tiene en común el ser el más activo en la relación con el medio, o que siente más necesidad de participación. Son pues seudoencuestas. Ni siquiera son representativas de los navegantes, oyentes o televidentes de esos medios.
Tampoco son representativas las encuestas telefónicas realizadas en base a muestras telefónicas. El método de encuesta telefónica en Uruguay se ha demostrado como muy falible, por tres razones: Uno: Posibilita realizar muy pocas preguntas, lo que significa que se va directo al grano sin poder antes establecer una cierta relación, una empatía, entre encuestador y encuestado. Dos: El porcentaje de gente que no contesta o que da respuestas no afirmativas es del doble al triple que en una encuesta puerta a puerta. Tres: La gente se siente menos responsable y con frecuencia da respuestas falsas. La encuesta telefónica como método en Uruguay es de muy baja calidad, y carece de sentido cuando además la muestra también es telefónica. Son también seudoencuestas. Y como dicen Gawiser y Witt “cualquier semejanza entre los resultados de una seudoencuesta y una encuesta científica es puro azar”. Las encuestas on-line, como las radiales o televisivas, son a las encuestas científicas lo que la brujería es a la medicina.
EL UNIVERSO. El universo es un dato nada menor. Quiere decir qué es lo que se representa. Una encuesta puede ser representativa del departamento de Soriano o sólo de la ciudad de Mercedes; son dos cosas completamente distintas. Puede ser de todo el país o de una parte del país. Y aquí los periodistas y los dirigentes políticos normalmente se confunden. Hay que estar muy alerta cuando se habla de encuestas nacionales: hay encuestas de todo el país (urbano y rural), representativas del 100% del electorado (por ahora la única es la de Factum); hay encuestas que se les llama nacionales urbanas, o del país urbano, que representan entre el 75% y el 82% del electorado (deja fuera entre la sexta y la cuarta parte de un electorado, el que vive en el medio rural o en pueblitos chicos, cuyo comportamiento político es muy diferenciado del resto). Y finalmente están las encuestas telefónicas de muestras telefónicas, que carecen totalmente de representatividad en relación al electorado (puede ser un dato interesante para Antel, pero no sirven para nada en materia político-electoral).
EL MARGEN DE ERROR O APROXIMACION. Este es un tema muy complejo y que se sobredimensiona en la discusión de las encuestas. Generalmente se habla del margen de error sin tener idea alguna qué quiere decir. Como un acercamiento al tema: el margen de error, también llamado margen de aproximación, es el porcentaje en más o en menos en que la muestra puede diferir efectivamente de la realidad. Ese porcentaje es muy variable dentro de una misma encuesta, ya que depende de qué porcentaje se este hablando (no es lo mismo el margen de error del 50% que el margen de error del 12%) y del nivel de confianza (de las probabilidades estadísticas de que el error ocurra). Más vale tener en cuenta dos cosas: el margen de error estadístico existe y no hay que sobredimensionarlo.
EL CUESTIONARIO. La forma en que se elabora la pregunta es un tema clave. La pregunta puede inducir una respuesta. No es lo mismo preguntar “¿Está Vd. a favor o en contra de la Ley del Aborto en discusión?”, que preguntar “¿Está Vd., a favor o en contra de que se mate a la criatura en el vientre de la madre?”, o preguntar “¿Está Vd. a favor o en contra de la libertad de la mujer en materia de procreación’”. Estos ejemplos son muy groseros, pero sin tanta grosería es común ver preguntas que predisponen a una respuesta. Y por ejemplo esto es ha visto muchas veces en estudios relacionados con el papel del Estado. Pero más allá de sesgos o predisposiciones, pueden obtenerse respuestas equivocadas porque la pregunta es confusa, o no es igualmente comprensible para todos los encuestados. Una pregunta es válida universalmente cuando la comprende a cabalidad el sector con mayor dificultad de entendimiento de la población, generalmente el de mayor edad y menor instrucción; pero además requiere que las palabras usadas tengan el mismo sentido para los jóvenes que para los mayores, para los niveles altos que para los bajos, para la persona del asfalto que para el del medio del campo, Esto se logra mediante la acumulación de aciertos y errores, y mediante el testeo previo de las preguntas a formular.
Pero tan importante como la pregunta, son las opciones de respuesta. El tema es muy delicado. Si no se dan opciones y las respuestas son muy abiertas, muchas veces es imposible clasificar las respuestas, porque pueden ser muy genéricas, vagas, expresadas en palabras difusas; y en la clasificación puede intervenir y mucho la interpretación del codificador. Si las respuestas son cerradas, hay que tener mucho cuidado que expresen todas las posibilidades, y que las mismas sean equilibradas. No se pueden presentar tres opciones de respuesta, dos de las cuales resulten favorables al tema y una sola contraria; o hay una favorable, una contraria y una neutra; o van dos y dos a favor y en contra. Esto es sustancial.
Y tan importante como ello es la sucesión de preguntas. No sólo es importante la pregunta en sí, sino todas las preguntas que hubo antes. Las preguntas previas pueden condicionar la respuesta de la o las preguntas siguientes.
EL PROCESO Y EL ANALISIS. El proceso es el ajuste que hay que realizar para que la muestra real (es decir, los individuos encuestados) se ajusten a los parámetros de la muestra ideal. Cuando se hace la encuesta, por ejemplo hay un poco más o un poco menos de personas de determinado tramo de edad, de lo que correspondería; y eso se ajusta mediante lo que se llama ponderación de datos. Pero la ponderación solo puede hacerse si hay poca desviación entre los individuos obtenidos de un tramo de edad y los que eran necesarios para la muestra ideal. Por eso para que la muestra real y la ideal se correspondan, no puede encuestarse en cualquier día ni a cualquier hora. Es la razón por la cual Factum desde 1992 sólo realiza entrevistas en fines de semana o feriados, y nunca en carnaval o Turismo.
(Primera de tres notas sobre qué son las encuestas, cómo se interpretan y para qué sirven