Imagine, amigo leitor: você acaba de construir e de revisar um questionário de pesquisa que desenvolveu para uma empresa. Você, assim como o seu cliente e mais um monte de feras no assunto da pesquisa, acha que o seu questionário ficou ótimo. Próximo passo: você parte para a aplicação do questionário ao público-alvo, certo?

Não mesmo!!!

Antes de mais nada, é indispensável que você teste o seu questionário – daí o nome “pré-teste”. E o que significa testar um questionário? Significa basicamente se certificar de que o que os respondentes entendem das suas perguntas é exatamente aquilo que você quis perguntar.

Surpreso? Você pode estar pensando: “Mas como eles poderiam entender uma coisa diferente? Está tudo em português claro, tudo pensado, discutido e revisado por um monte de cabeças brilhantes, a linguagem está tão simples e óbvia, não vamos entrevistar nenhuma toupeira... Testar o quê? Para quê?”

Vou falar detalhadamente sobre isso já, já. Antes, porém, um exemplo. Imagine que o seu questionário contenha uma pergunta “inocente” como:

“Que tipos de refrigerante você costuma comprar?”

Nada mais claro, certo? Uma “pergunta perfeita”! Todo mundo sabe o que é um refrigerante, todo mundo sabe o que é comprar, todo mundo sabe o que é costuma. Uma pergunta como essa não causaria nenhum problema na sua pesquisa, concorda?

Concorda mesmo?

Tem certeza?

Se você está seguro sobre a adequação dessa pergunta, tenho más notícias para você: ela pode ser entendida de tantas maneiras diferentes, pelas pessoas que vão responder o questionário, que, no final, em vez de dados importantes, o que você vai obter é uma salada de dados que podem levá-lo a conclusões totalmente equivocadas! Quer ver?

Em primeiro lugar, a palavra “costuma” pode ser entendida de diversas maneiras. O respondente “A” pode pensar: “Vou responder ‘Gelofruta’, porque é o refrigerante que eu tomo todos os fins de semana nos almoços de família”. O respondente “B”, por sua vez, pensa: “Bom, lá para casa eu costumo variar as marcas, mas sempre que como fora peço o Gelofruta; então vou responder essa marca”.

Fiquemos com esses dois respondentes por ora. Ambos deram a mesma resposta, mas a noção de hábito de compra que os dois têm (suscitada pelo termo “costuma”) é completamente diferente! Um consome o refrigerante todos os fins de semana; o outro, quase nunca! E você, caro consultor, sem saber disso, irá computar essas duas respostas (e tantas outras que virão) na mesma “caixinha” – a “caixinha” do “costumam tomar”. Já imaginou o quanto isso pode “inflacionar” os resultados a que você vai chegar? Mas vamos em frente.

É claro que poderia ocorrer o exato oposto: os respondentes poderiam pensar: “Bom, tem gente que toma refrigerante todo dia. Eu não sou desse tipo, então vou responder que não costumo tomar refrigerante algum”.

Se isso acontecesse, você deixaria de computar um monte de gente que toma refrigerante com frequência, só que não diária! Com isso, os seus resultados de consumo de refrigerante vão ser magrinhos, magrinhos (e errados, claro!).

Outra consideração a respeito da nossa “pergunta perfeita”: como será que os respondentes poderiam entender a palavra “comprar”? Os nossos amigos “A” e “B” a entenderam como compras para casa. Mas será que o termo não pode suscitar outros entendimentos?

Pior é que pode! O respondente “C” pensa: “Bom, lá para casa eu costumo variar as marcas, mas sempre que como na rua peço o Gelofruta”. E lá vai você juntar essa resposta às demais, quando umas consideram o consumo familiar e outras, o individual.

Nisso vem o respondente “D” e pensa: “Lá em casa a gente toma o Gelofruta todo dia, mas o cara aqui está me perguntando qual refrigerante eu costumo comprar. Como quem sempre faz as compras de casa é a minha mulher, então vou responder ‘nenhum’”.

E aí, meu caro redator da pergunta? Deixou de computar um consumidor frequente do Gelofruta, né? Seus dados estão escorrendo pelo ralo...

Só que o problema ainda não acabou! Será que todo mundo entende “refrigerante” da mesma maneira?

A esta altura, você deve estar pensando: “Ih, agora o cara exagerou; começou a procurar pelo em ovo!”.

Pior que não, amigo leitor. Você pode até apostar que todo mundo entende “refrigerante” da mesma maneira, mas eu não poria a mão no fogo nessa aposta. Quando se trata de bebidas como Coca-Cola, Pepsi e Guaraná, é muito provável que “todo mundo” as considere como refrigerantes. OK, mas o que dizer de outras, como soda-limonada, chá gelado, sucos de fruta gaseificados, bebidas energéticas, etc.? A empresa que contratou você para fazer a pesquisa é do ramo, então tem uma noção muito clara (para ela) do que é do que não é refrigerante. Eles até devem ter “na massa do sangue” definições como esta: “Refrigerantes são bebidas carbonatadas, não alcoólicas, contendo aromatizantes, adoçantes e outros ingredientes”. Maravilha! E os consumidores (que são os que realmente interessam para a pesquisa): será que sabem disso? Será que deveriam saber? Será que não vão considerar como refrigerantes bebidas que deixariam os fabricantes do ramo de cabelo em pé? Problema de quem: dos consumidores? Ah, não mesmo!

Bem, acredito que, com os exemplos, a minha posição ficou clara. Por mais que as perguntas do questionário tenham passado pelo crivo das cabeças mais iluminadas da empresa-cliente, e por mais experiente que seja o consultor de pesquisa, não se deve jamais aplicar um questionário sem fazer testes prévios nele.

E no que consistem, exatamente, esses testes? Como se faz isso? Com quem?

Em geral, o responsável pela pesquisa recruta alguns integrantes do grupo a ser pesquisado, senta-se com eles e repassa as perguntas, uma a uma, deixando claro que quem está sendo testado é o pesquisador. A forma como eu gosto de fazer isso é nunca ler, eu mesmo, as perguntas. Costumo pedir à pessoa que leia em voz alta as perguntas e me diga o que entendeu delas.

E o que se pretende examinar em cada rodada da fase de pré-teste de um questionário? Basicamente o seguinte:

 

  • Falta de clareza

- as instruções sobre como responder estão imprecisas, conflitantes, complicadas, etc.;

- o texto da pergunta está longo, capenga ou contém uma sintaxe complicada;

- há termos não compreendidos (técnicos, dúbios, complexos);

- existe vagueza ou ambiguidade nas perguntas, o que as leva a ter mais de um sentido;

- faltam períodos de referência na pergunta ou eles estão em conflito.

 

  • Problemas com premissas

- a pergunta contém premissas sobre o respondente que não se sustentam;

- prevê-se um padrão fixo de comportamento, quando na realidade há variações;

- não existe uma atitude que você supôs (ou estava certo) que existisse.

 

  • Problemas com conhecimento / memória

- o indivíduo não conhece a resposta; não sabe / não tem como responder;

- o indivíduo não consegue se lembrar da resposta;

- o indivíduo tem problemas em fazer cálculos para responder.

 

  • Problemas com vieses

- a pergunta toca num ponto que deixa a pessoa desconfortável;

- para algumas perguntas, a pessoa dá respostas socialmente aceitáveis.

 

  • Problemas com categorias de resposta

- feita uma pergunta aberta que é inapropriada ou difícil de responder nesse formato;

- desencontro entre o tipo da pergunta e as categorias de resposta;

- categorias de resposta que se superpõem;

- falta de categorias de resposta

- ordem ilógica

- texto vago, complexo ou pouco claro

 

Você pode estar se perguntando: “Mas as pessoas que concordam em participar do pré-teste vão sair apontando todos esses tipos de problema? Não será um otimismo ingênuo esperar que elas sejam tão didáticas?”

Não, caro leitor, não se espera que esses indivíduos nos apontem os erros do questionário como se fossem consultores especializados ou professores de pesquisa. É bem verdade que algumas pessoas nos dizem abertamente: “Não entendi isto aqui” ou “O que você quis dizer com isto?” ou “Ih, tem gente que não vai entender essa palavra aí”. Mas isso nem sempre ocorre (muitas vezes, as pessoas nem imaginam o valor do serviço que nos estão prestando!). Sabe como, muitas vezes, a gente percebe que a pergunta está ruim? Pelos tropeços da pessoa quando a lê; pela entonação errada que dá; pelo tempo maior que leva numa palavra; pela interrupção da leitura; pela necessidade que sente em voltar e reler a pergunta; pelo desvio do olhar ao acabar de lê-la; por um tempo em silêncio; por um sorriso envergonhado; por suspiros e bufadas; por um folhear do questionário ao virar uma página; por uma espiadela no relógio; etc. Ou seja: muitas vezes é nos lapsos e na comunicação não verbal que nós percebemos que há problemas no nosso questionário.

E como corrigir o que está ruim? Inventando outras palavras? Bolando opções alternativas ali, na hora?

Embora eu não tenha nada contra apresentar diferentes redações de perguntas às pessoas que estão fazendo o pré-teste do nosso questionário, eu costumo é saber delas como eu poderia perguntar a mesma coisa de uma forma mais clara.  Acredite, digno leitor: funciona!

Como você pode ver, no final das contas quem aprova o questionário não é o seu cliente, por mais surpreendente que isso possa parecer; é o público-alvo. E é bom que seja assim! No Fique Esperto nº 1, eu menciono uma interessante faceta do ser humano: as pessoas respondem àquilo que entendem da pergunta; é muito comum que, não a entendendo muito bem, elas modifiquem a pergunta mentalmente, até que a coisa faça sentido para eles! Dito em outras palavras, é como se acontecesse o seguinte: “Não entendi bem o que você está me perguntando aí, gente boa, mas a resposta é a seguinte”. E tome blablablá.

Acho que você não vai discordar de mim, amigo leitor, se eu afirmar que se o sujeito não entendeu direito a pergunta que lhe fizeram, pequena será a probabilidade de a resposta servir para alguma coisa – é ou não é? Por essas e outras é que qualquer profissional de pesquisa que se preze faz sempre o chamado pré-teste do questionário.

Perceba que maravilha, amigo leitor. O próprio público da pesquisa o está ajudando – de graça – a aprimorar aquele questionário que você elaborou com todo o cuidado, dentro dos mais consagrados princípios de redação de perguntas; aquele instrumento que tanto trabalho lhe deu e que foi aprovado pelo seu cliente depois de inúmeras reuniões, com a participação das cabeças mais coroadas da empresa. É, meu amigo, o seu filhote querido, que você considerava perfeito (o questionário aprovado), não foi perfeitamente entendido pelo público-alvo – sinal de que não estava suficientemente bom.

E aí: frustrado? Julgando-se um fracassado? Bobagem, você tem mais é que comemorar! Problemas nos questionários sempre aparecem. Ainda bem que nós podemos descobri-los a tempo (com a inestimável colaboração do público, claro). Já pensou ir a campo sem as informações colhidas nessa “pequena” fase da pesquisa? Pois é, amigo leitor: tem pesquisador que joga o pré-teste para escanteio, não sei se por ignorância, arrogância, pressa ou outro motivo. O que eles não percebem é que, com isso, estão marcando um tremendo gol contra.

Postagem mais recente
This is the last post.

Teste Teste Teste