Já mencionei esse ponto por alto quando apontei a volatilidade das crenças e opiniões das pessoas (ver Fique Esperto nº 5). Vejamos isso com um pouco mais de detalhe agora.

Sempre que um pesquisador inclui uma pergunta X num questionário, ele faz com que o respondente pense um pouco para responder, certo? Mesmo que não pense muito ou responda no impulso, o fato é que o respondente foi exposto à questão levantada pela pergunta X. Isso pode parecer óbvio (e é), mas nem sempre é perda de tempo falar duas palavrinhas sobre o óbvio. E as duas palavrinhas, no caso, são: se o pesquisador está, de alguma forma, fazendo o respondente pensar sobre um assunto que, se não fosse a sua pergunta, ele não estaria pensando, então é bom o pesquisador ter em mente que as respostas às perguntas seguintes do questionário podem estar influenciadas pela pergunta X.

E daí?

E daí que, se a intenção do pesquisador for captar a opinião do sr. João em estado puro, é bom ele não pôr ideias na cabeça do sr. João, se não quiser respostas distorcidas. Mas vamos a um exemplo, que ainda não inventaram nada melhor do que exemplos para ilustrar uma ideia que queremos passar. E o nosso exemplo vem de uma pesquisa de anos atrás, desenvolvida pelo Pew Research Center – um grande instituto de pesquisa americano. Na pesquisa em questão, sobre direitos de homossexuais, foi testada a ordem de apresentação de duas perguntas: uma sobre o que chamaram de “acordos legais” e que vinha a ser o que os respondentes achavam sobre se permitir aos gays e lésbicas entrar em acordos legais que lhes garantissem os mesmos direitos de casais casados; a outra se referia a casamento (se os respondentes eram a favor ou contra o casamento gay). Vejamos os resultados. O Instituto testou dois questionários – um com a pergunta sobre acordos legais antecedendo à do casamento; o outro, com a ordem inversa.

O quadrinho abaixo mostra as respostas à pergunta sobre o casamento gay, sendo ela feita antes e depois da dos acordos legais. Como você pode constatar, os resultados pouco se alteraram (3 pontos percentuais é quase nada).

 

Antes (%)

Depois (%)

A favor

30

33

Contra

58

61

Não sabem

12

6

 

100

100

Já as respostas sobre os acordos legais variaram consideravelmente de acordo com a ordem em que a pergunta apareceu no questionário: quando a pergunta era feita depois da do casamento gay, a posição favorável dos respondentes era bem maior (diferença de 8 pontos percentuais), como você pode ver no quadro a seguir.

 

Antes (%)

Depois (%)

A favor

37

45

Contra

55

47

Não sabem

8

8

 

100

100

Ou seja: dependendo da ordem em que as perguntas são inseridas no questionário, a conclusão que se chega é diferente: a parcela do público pesquisado que se mostra favorável à concessão de acordos legais para gays e lésbicas pode ser de pouco mais da terça parte (37%) ou de praticamente a metade (45%)!

Outro exemplo, também do Pew Research Center, sobre a satisfação dos americanos com os Estados Unidos, no tempo do presidente Bush: uma pergunta era: “No cômputo geral, você está satisfeito ou insatisfeito com como estão as coisas no País hoje?”. A outra era: “Você aprova ou desaprova o modo como George W. Bush está desempenhando o seu papel como presidente?”. Observe que a primeira era mais genérica; a segunda, um pouco mais específica. Quando a pergunta genérica era feita antes, o índice de insatisfação era de 78%; feita depois da que mencionava Bush, a insatisfação “subia” para 88%! E aí: qual o “verdadeiro” índice de insatisfação dos americanos?

Você pensa que esses exemplos são exceções? Não são. Essas disparidades de resultados podem ocorrer, por exemplo, sempre que você tiver duas perguntas, de certo modo semelhantes, sendo uma mais genérica que a outra.

Agora, um ponto para você pensar: imagine que você esteja elaborando o questionário de uma pesquisa para uma organização e que saiba, de antemão, que existe uma “guerrinha” surda entre dois grupos naquela organização (imagine, por exemplo, que a empresa é resultante da fusão de duas outras e que os grupos em litígio são os provenientes das duas empresas originais). Você está cogitando inserir, no seu questionário, as duas seguintes afirmativas– uma em seguida à outra:

“Eu e os meus colegas vindos da Organização X poderíamos nos empenhar mais no esforço de criar um clima saudável na nova organização”.

e

“Os empregados provenientes da Organização Y poderiam se empenhar mais no esforço de criar um clima saudável na nova organização”.

[Obs. As afirmativas acima pressupõem que os respondentes sejam oriundos da Organização X; é claro que, para os provenientes da Organização Y, teríamos que trocar X por Y.]

Você acredita que a ordem das perguntas iria, de alguma forma, afetar as respostas?

Bom, você não pediu o meu palpite, mas vou dá-lo mesmo assim. No meu entender, se a ordem das perguntas no questionário for a mesma apresentada acima, acredito que o grau de concordância com a primeira delas seja relativamente baixo, e com a segunda, relativamente alto (lembre-se de que existe a tal guerrinha entre os dois grupos!). Por outro lado, se invertermos a ordem das perguntas, o que poderia mudar? Os respondentes vão primeiro avaliar os “adversários”, certo? Talvez isso faça com que eles “amoleçam” um pouco na hora de avaliarem a sua própria contribuição para a consecução de um clima mais agradável de trabalho. Em outras palavras, o que eu quero dizer é que é possível que, inconscientemente, se passe o seguinte, na mente dos respondentes: “Bom, se eles demonstrarem boa vontade e realmente se esforçarem para melhorar o clima aqui dentro, então nós podemos fazer o mesmo. Mas eles que comecem!”.

Observe que, fazendo primeiro a pergunta sobre o próprio respondente, é possível que a resposta venha carregada de toda a hostilidade dos respondentes pelo outro grupo, o que levaria a uma conclusão mais pessimista. Mas essa é a minha opinião.

Antes de finalizar este tópico, eu gostaria de dizer umas palavrinhas sobre um tipo de pesquisa em que a ordem das perguntas no questionário ganha uma importância crucial: as pesquisas temporais. Muitas vezes, os institutos de pesquisa fazem um mesmo grupo de perguntas a um mesmo público, ou a diferentes amostras de um mesmo público (as pesquisas eleitorais são um conhecido exemplo disso). Nesse tipo de pesquisa, o interesse do pesquisador é saber como variam as opiniões, percepções, predisposições, etc. do seu público de interesse ao longo do tempo, certo? Ora, se a pesquisa é de acompanhamento de um fenômeno ao longo do tempo, o pesquisador deve ter o maior cuidado para garantir que a aplicação da pergunta – tanto em termos de redação quanto de posição no questionário – é similar toda vez em que o questionário for aplicado. Transgredir esse princípio pode significar uma espécie de mudança no “contexto do questionário”. Isso pode ser suficiente para pôr em dúvida eventuais alterações encontradas nos resultados ao longo do tempo.

Lição que fica: a ordem em que as perguntas são colocadas num questionário pode interferir na forma como as pessoas respondem. Qualquer pergunta de um questionário pode fornecer um contexto não intencional para as perguntas que se seguem (o chamado “efeito de ordem”). Esse assunto é tão crítico que se pode chegar ao seguinte ponto: a posição do questionário onde uma determinada pergunta vai ser colocada pode gerar um impacto maior no resultado da pesquisa do que a escolha das palavras usadas na formulação da pergunta.

Teste Teste Teste