Que dica óbvia, não é? Qual é o maluco que incluiria no seu questionário uma pergunta que ele mesmo não entendesse?

Bom, o nome do maluco, eu não sei, mas que isso existe, existe. Uma vez, uma empresa de consultoria foi contratada para fazer uma pesquisa de satisfação dos usuários dos serviços prestados pela área de tecnologia de informação de uma grande organização. A gama de serviços a serem pesquisados era vasta – iam desde o atendimento cotidiano de solução de problemas em computadores pessoais até serviços altamente especializados, utilizados por uma pequena e seleta parcela dos empregados. A Empresa desejava que todos os serviços da área de TI fossem avaliados. Para isso, passou para a empresa consultora uma lista com a descrição resumida de cada um deles. Sem entrar a fundo no entendimento do escopo de cada um dos serviços a serem avaliados, a consultora elaborou o questionário, que foi aprovado pelo cliente após algumas reuniões.

Ainda bem que, antes de aplicar o questionário “para valer”, a consultora rezou segundo a cartilha da boa pesquisa e realizou uma rodada de pré-testes, a fim de avaliar se 1) os empregados estavam entendendo as perguntas e 2) se o que eles estavam entendendo era exatamente o que se queria perguntar (falo bastante a respeito na Dica Especial).

A descrição do conteúdo de um dos serviços a serem avaliados (denominado Documentação Técnica) não foi bem entendida pelos indivíduos submetidos ao pré-teste. Vale a pena reproduzirmos aqui a descrição desse serviço, tal como foi passada do cliente para a consultora e desta para os respondentes.

“Coleta, organização e armazenamento de documentos; pesquisas bibliográficas; localização e
provimento de cópia de documentos; monitoração de notícias e elaboração de classificações;
divulgação e orientação sobre a utilização de bases e serviços de informação”

Veja algumas perguntas feitas pelos empregados participantes do pré-teste:

- Você está se referindo à biblioteca?

- É aquele clipping que a gente recebe todo dia de manhã?

- É só o Cedoc ou tem mais coisa envolvida aqui?

Pobre pesquisador: o coitado não sabia responder a nenhuma das perguntas dos empregados! Qual foi o erro? Ele só deveria partir para o pré-teste depois de se certificar que ele próprio tinha entendido bem o conteúdo de cada pergunta. Não que ele não pudesse ser surpreendido por algum participante do pré-teste (isso não é incomum), mas não chegaria tão vendido quanto chegou. Ingenuamente, ele confiou na suposição de que, em se tratando de um serviço prestado pela empresa-cliente, os empregados saberiam do que se tratava. Ledo engano! Bombardeado por uma série de perguntas que ele não tinha ideia de como responder, o consultor teve que voltar a conversar com os responsáveis pelo serviço e receber uma imersão do tal serviço. Só depois disso é que ele encomendou outra rodada de pré-testes. Aí, sim, toda vez que surgia uma dúvida sobre o que aquele serviço abrangia e o que deixava de abranger, o pesquisador explicava e perguntava ao participante de que maneira poderia reformular a descrição, de modo que ela fosse entendida por todos.

(Se, por curiosidade, você quiser saber como a história acabou, a empresa manteve a descrição original e acrescentou: “Os sistemas de que trata este serviço são exclusivamente X, Y e Z”. Pronto: todos os empregados conheciam aqueles sistemas, e todas as dúvidas se dissiparam com o esclarecimento).

Conclusão: nunca é demais reforçar o óbvio: se você mesmo não souber exatamente o que constitui e abrange uma pergunta que você está pondo no seu questionário, procure se inteirar primeiro, e só depois inclua a pergunta.

Convém aqui acrescentar uma observação importante: a necessidade que o pesquisador tem de conhecer bem o significado daquilo que está perguntando não se limita ao enunciado das perguntas do questionário; ela abrange também o conteúdo das opções de resposta. Veja só o que ocorreu em uma pesquisa realizada por um importante instituto de pesquisa, anos atrás.

O objetivo da pesquisa era avaliar as condições de saneamento básico no Brasil. No questionário, a pergunta que procurava aquilatar a forma de tratamento dado ao esgoto, vinha acompanhada de duas opções de resposta. A primeira grupava o despejo in natura com a fossa séptica; a segunda, o esgoto canalizado e o esgoto tratado. Cometia-se, com isso, um erro crasso de entendimento do que eram essas formas de tratamento.

Segundo os técnicos, a fossa séptica, se corretamente instalada, é uma tecnologia segura e eficiente de tratamento de esgoto; por outro lado, o esgoto canalizado, por si só, não garante o saneamento, pois seria necessário tratar 100% do efluente, caso contrário o que se estaria fazendo seria despejar todo o esgoto a partir de um trecho do rio.

Ou seja, o instituto de pesquisa errou duas vezes: ao considerar a fossa séptica como uma forma de não-saneamento e a canalização de esgoto como uma forma de saneamento! Sem compreender perfeitamente os diversos tipos de tratamento de esgoto, o instituto agregou, numa mesma opção de resposta, duas modalidades que foram entendidas como problemas e, em outra, duas outras entendidas como soluções. Ambas as premissas são falsas. Dá para se ter uma ideia da qualidade dos resultados obtidos pela pesquisa, não dá?

Teste Teste Teste