Anos atrás, um tradicional grupo editorial lançou, em bancas de jornal, uma coleção paradidática, constituída por fascículos educativos para crianças, cada um deles acompanhado por um CD-ROM de jogos. Junto com o primeiro fascículo vinha um questionário de satisfação. Esse questionário, composto de 22 perguntas, fornece tantos exemplos de perguntas malfeitas, que até parece feito sob medida para o aprendizado de como não se deve fazer perguntas. Reproduzo e comento a seguir algumas dessas perguntas didaticamente ruins.

clip_image001[4]

Qual o problema?

Meu comentário:

Em primeiro lugar, a primeira opção de resposta contém dois conceitos distintos: clareza e correção. Clareza, provavelmente todo mundo sabe o que significa, mas... o que seria um anúncio correto? Aquele que descreve o produto sem tirar nem pôr? Aquele que não engana o consumidor? Ou outra coisa qualquer? Seja como for, não é o mesmo que clareza. Então, temos aqui mais um exemplo do recorrente problema de se juntarem duas coisas diferentes num mesmo item (Dica nº 5). Se o respondente entender que o anúncio foi claro mas não correto, ele deve assinalar o item ou não? Se assinalar, sua resposta não irá contemplar a sua opinião; se não assinalar, também não, pois vai dar a entender que não considerou o anúncio nem claro nem correto.

Mas tem mais: a terceira opção de resposta é “confuso” – provavelmente o oposto de “claro”, da primeira opção. Ora, é o caso de questionar: é só essa dimensão do anúncio que interessava à editora conhecer? Se sim, teria sido muito mais simples – e correto – substituir as opções de resposta pelo que chamamos de “escala de diferencial semântico” – um nome superelegante que quer dizer simplesmente uma linha, com um termo em um extremo e o seu oposto no outro. Assim:

Claro ______________________ Confuso

Mais comum é inserir um certo número de categorias entre um e outro polo. A figura abaixo mostra como ficaria a escala com cinco categorias.

Claro ___ ___ ___ ___ ___ Confuso

O respondente marcaria um “x” numa das cinco posições, e pronto.

Vejamos outra pergunta.

clip_image002[4]

Qual é o problema?

Meu comentário:

Para começo de conversa, não é clara a diferença entre as duas opções centrais de resposta. Se algum atributo foi “um fator a mais”, então ele influenciou positivamente o comprador, concorda? O problema envolvido no emprego de opções de resposta não mutuamente excludentes foi estudado na Dica nº 20.

Mas esse não é o único problema da questão. Suponha que tivessem existido outros fatores que exerceram influência no comprador (a descrição do conteúdo, a faixa etária à qual a edição é destinada, os personagens de animação empregados, etc.). Como é que a editora iria saber? Não iria, pois não previu um espaço onde o comprador pudesse registrar isso. A não-cobertura do universo de respostas possíveis também foi analisada na Dica nº 20.

Passemos a outra pergunta do questionário.

clip_image003[10]

Qual é o problema?

Meu comentário:

Antes de mais nada, é preciso lembrar que, quando avaliamos alguma coisa, na maioria das vezes levamos em consideração uma série de fatores. Um filme, por exemplo: podemos ter gostado dos atores (superconvincentes) e da fotografia (deslumbrante), mas não do roteiro (previsível) e da duração (muito longa). O que responderíamos, caso nos pedissem para avaliar esse filme? “Mais ou menos”?

São raros os casos em que podemos fazer uma avaliação taxativa e imediata – talvez um doce (gosto bom), uma bijuteria (brega), uma caneta descartável (falha demais), etc.

Em qual desses casos você classificaria a coleção que estamos analisando, caro leitor? Imagino que você tenha respondido no primeiro. De fato, há uma série de atributos do produto que poderiam agradar ou não o usuário. Por exemplo: facilidade de uso por uma criança, interatividade do CD-ROM, compatibilidade com diversos sistemas operacionais, clareza na explicação dos jogos, adequação para a idade a que se destina, capacidade de manter a atenção da criança, etc. Imagine que, na opinião do respondente, o produto se sai bem em alguns desses atributos e mal em outros: como ele poderia responder à pergunta do questionário? Nem o “sim” nem o “não” retratariam adequadamente a sua avaliação, concorda?

Esse é o problema que surge sempre que uma pergunta de avaliação geral oferece ao respondente apenas duas opções de resposta. Fico imaginando a cara do gerente do produto, na editora, ao receber uma série de nãos. Por maior que fosse a sua boa vontade em corrigir falhas da edição, o que ele iria rever? A pesquisa teria sido inútil, pois não lhe daria essa resposta básica!

O ideal teria sido desmembrar a pergunta em várias – uma para cada atributo importante do produto. Se você quiser acompanhar com mais detalhe a questão da quantidade de itens a serem empregados como opções de resposta, dê uma lida na Dica nº 33.

Prosseguindo...

clip_image004[8]

Qual é o problema?

Meu comentário:

Em primeiro lugar, temos sempre que ter em conta que respostas a sondagens de intenções não são tão confiáveis quanto as que pedem opiniões. É bem verdade que a opinião que uma pessoa tem sobre determinado assunto hoje pode não ser a mesma que tinha ontem ou que terá amanhã (ver Fique Esperto nº 5), mas, a menos que haja alguma grande mudança, espera-se um mínimo de consistência do avaliador num curto espaço de tempo. Quanto a intenções de comportamento...

O sr. Carlos disse que pretendia trocar de carro nos próximos seis meses e não o fez; a D. Lúcia afirmou que pretendia votar em favor de determinado candidato, mas não votou; o sr. André havia dito que viajaria com a família para a Disney nas férias passadas e acabou mudando os planos para uma semana num hotel-fazenda no interior do estado.

Existem inúmeros motivos que podem fazer com que uma pessoa que tenha manifestado uma intenção favorável sobre alguma coisa deixe de agir em conformidade com a intenção manifestada. Por exemplo: quando pôs as contas na ponta do lápis, o indivíduo verificou que não tinha o dinheiro necessário; ou: ele até tinha o dinheiro, mas preferiu aplicá-lo em outra coisa; ou: depois de ter manifestado a sua intenção, ele ouviu algumas opiniões desfavoráveis a respeito e mudou de ideia; ou: o motivo que o impelia a ter aquela intenção favorável deixou de existir; ou várias outras possibilidades.

Dito isso, voltemos à pergunta do questionário. É compreensível que o grupo editorial deseje saber se quem comprou o primeiro fascículo pretende ir até o fim na coleção. Disso irá depender, por exemplo, a tiragem dos próximos fascículos. O problema é que nem o próprio comprador tem como dar essa resposta, por mais bem intencionado que esteja em colaborar com a pesquisa! Como é que ele pode saber, de antemão, se quer completá-la? Ele nem tem ideia do conteúdo dos próximos números! Não sabe se o filho / neto / sobrinho vai enjoar logo do jogo ou não, etc.

E se responder que pretende comprar “mais alguns números”, como consta no texto da opção de resposta? Como pode saber isso hoje, ao examinar o primeiro volume? Não pode! E que compromisso ele terá com a resposta que der? Nenhum!

Então, para quê a pergunta?

Bem, ao longo dos anos, eu fiz essa pergunta algumas vezes aos meus clientes. Eu fazia isso sempre que recebia sugestões de inserção no questionário de perguntas de valor duvidoso ou cujo objetivo não era claro para mim. Não raro, recebia a resposta: “É bom para a gente ter uma ideia”. Pergunto a você, sensato leitor: ideia do quê, considerando que, de antemão, já se sabe que os dados que virão não serão confiáveis?

Isso, caríssimo leitor, é um exemplo do que em pesquisa se costuma chamar de “nice to know” (falei a respeito na Dica nº 3). O cliente pensa: “já que estamos perguntando um monte de coisas, não custa perguntar também...”. E aí é que mora o perigo. Com esses penduricalhos (na maioria das vezes inúteis), não só se corre o risco de aborrecer o respondente com questionários longos, como também de lidar com dados sem valor, que podem causar distorções na análise dos resultados.

Vamos em frente.

clip_image005

Qual é o problema?

Meu comentário:

Bem, em primeiro lugar a minha pergunta deveria ser refeita para “Quais são os problemas?”, porque problema é o que não falta aqui. Comecemos pela superposição das opções de resposta (ver Dica nº 20). Imagine, ponderado leitor, que um respondente estivesse interessado em literatura infantil (ou juvenil). Que opção ele deveria assinalar: “Infantis / juvenis”, “Literatura” ou ambos? Da mesma forma, cabe indagar: a categoria “Culturais” não inclui a de “Cursos”? E quanto a “Colecionismo” e “Modelismo”: se “modelismo” se refere a montar miniaturas de aviões, navios, etc., isso não seria uma forma de colecionismo? Afinal, o que de fato constitui o tal do colecionismo?

A verdade, estimado leitor, é que a editora lançou no questionário os rótulos que ela usa internamente, e o respondente que “se vire” para descobrir onde assinalar a sua resposta (na Dica nº 6, eu condeno o uso de jargões). Acontece que o respondente está pouco preocupado em fazer esse esforço, de modo que ele vai assinalar a opção que, dentro do que ele entende, pareça a mais adequada. Se ela não coincidir com a classificação interna da editora, esta vai direcionar esforços... na direção errada!

De que forma a pergunta poderia ser melhorada? Com uma breve descrição do que compõe cada categoria, tal como eu sugeri na Dica nº 13. Dessa forma, as chances de divergências entre as classificações da editora e dos respondentes seriam drasticamente reduzidas.

Outra coisa que se nota na pergunta: a falta da opção “Outros / Quais?”. Cabe indagar: a editora não a incluiu porque só trabalha nas seis linhas apontadas ou porque “comeu mosca”? Imaginemos que tenha sido pelo primeiro motivo. Nesse caso, cabe o seguinte questionamento: eles nem se interessam em saber as preferências do público? Vai que surgem ideias interessantes que poderiam ser aproveitadas para novos lançamentos. Bem, isso já sai do campo da pesquisa e não nos diz respeito. Mas a falta da opção “Outros”, seguida pela perguntinha “Quais?” pode restringir – e muito – o leque de informações que se pode buscar no público pesquisado.

Para terminar as críticas a essa pergunta, devo assinalar que o que eu disse a respeito da anterior também vale aqui. Se o respondente é perguntado acerca dos seus interesses, isso não deve ser visto como uma intenção de compra. E mesmo que fosse, as intenções – você já sabe, experimentado leitor –, o vento leva.

Vamos adiante.

clip_image007

Qual é o problema?

Meu comentário:

De novo, cabe refazermos a pergunta para “Quais são os problemas?” Vamos lá.

A primeira coisa que suscita um questionamento é o objetivo da pergunta. Para que será que a editora quis saber a frequência de compra de produtos em bancas de jornal? Observe, atento leitor, que eles não especificam os produtos a serem considerados na resposta. Em princípio, portanto, estaria valendo qualquer produto comprado em bancas – jornais, revistas, álbuns de figurinhas, balas, cigarros, etc. Mas vamos admitir que a pergunta tenha alguma razão de ser – por exemplo, que ela busque avaliar o grau de exposição dos consumidores aos produtos ou à propaganda no ponto de venda. Em outras palavras, vamos admitir que a pergunta não caia na armadilha do “Nice to know”, descrita na Dica nº 3). Nesse caso, passemos à análise da redação do texto.

Algo que logo salta aos olhos é o buraco existente entre as duas primeiras opções. Um indivíduo que compre o jornal de segunda a sexta responde o quê? Nenhuma das respostas fornecidas lhe serve, concorda? Temos aí um caso de cobertura incompleta do universo de respostas, discutida na Dica nº 20.

Se formos rigorosos, também teremos que apontar a superposição da terceira com a quarta opção – problema discutido na Dica nº 20. Mas relevemos isso, supondo que o respondente entenda que a terceira opção se refere exclusivamente a dias de semana. Mas será que podemos delegar aos respondentes a tarefa de “descobrir” como se espera que ele responda? Como muito bem sabe o instruído leitor, claro que não! E vimos isso na Dica nº 4, para onde você pode retornar, caso queira refrescar a memória.

Resumindo: podemos avaliar a qualidade da pergunta “no atacado” e “no varejo”. O “atacado” seria a análise do objetivo da pergunta, sem entrarmos no mérito de como ela foi redigida; o “varejo” seria um foco no texto da pergunta e das opções de resposta, à luz da boa técnica de redação de perguntas de questionários. Ao que tudo indica, a pergunta em questão peca nas duas frentes.

Próxima pergunta.

clip_image008

Qual é o problema?

Meu comentário:

Eu poderia começar questionando o objetivo da pergunta, mas, como fiz isso nos meus comentários à pergunta anterior, vou restringir meu comentário a esta pergunta na palavra “costuma”. Como essa palavra deve ser entendida, caro leitor?

Vamos imaginar um indivíduo hipotético – o sr. Paulo. O senhor Paulo costuma escovar os dentes (sim, ele faz isso após cada refeição, invariavelmente, o que equivale a 4 ou 5 escovações por dia); ele também costuma tomar banho (em geral, toma dois por dia – um ao acordar, outro antes de ir dormir); ele costuma ir ao cinema (praticamente toda semana); costuma se encontrar com amigos (pelo menos uma vez por mês); costuma acessar a internet (diariamente, várias horas por dia); costuma fazer um check up médico (uma vez por ano); costuma viajar ao exterior (pelo menos uma vez a cada dois anos); etc.

Você já deve ter percebido aonde eu quero chegar, não é verdade, perspicaz leitor? Que a palavra “costuma” pode ser entendida de diversas maneiras, dependendo do hábito de que estejamos falando, certo? Sendo assim, como justificar o emprego dessa palavra numa pergunta de um questionário?

Simplesmente, não há como justificar! Um respondente pode responder que sim, porque volta e meia se interessa por uma revista e faz uma assinatura dela por seis meses; aí enjoa, cancela a assinatura, passa uns tempos sem assinar nada; daqui a pouco assina um jornal pelos fins de semana e desiste também; mais à frente assina outra publicação; e por aí vai. Outro respondente também pode assinalar a opção “sim”, já que vem assinando uma mesma revista – e só ela – por mais de 10 anos ininterruptamente. Como é que o cliente da pesquisa vai conseguir diferenciar os respondentes, segundo o hábito de assinar jornais e revistas?

Não vai! E isso põe por terra qualquer utilidade das respostas que ele vai receber. Na Dica nº 24, eu abordei o problema da ambiguidade em perguntas de questionários de pesquisa. Querendo ir mais fundo nesse assunto, dá um pulinho lá.

Se não, passe para a próxima pergunta.

clip_image009

Qual é o problema?

Meu comentário:

Seja sincero, honesto leitor: você saberia responder a essa pergunta? Eu diria que, a menos que uma pessoa tenha hábitos regulares de compra, ela não irá dar uma resposta minimamente confiável à pergunta. E o que é que eu estou chamando de “hábitos regulares”? Pegue o exemplo do Tiago: ele não compra CDs ou DVDs (baixa tudo gratuitamente da internet); ele compra mensalmente uma revista de esportes radicais nas bancas; esporadicamente, uma meia-dúzia de livros em livrarias; e só. Uma pessoa como o Tiago terá muito mais facilidade do que a maioria para responder à pergunta feita. Para essa maioria, a pergunta provavelmente causará aborrecimento, porque no mínimo exigirá um esforço de memória (se não exigir a realização de cálculos também).

Mas permita-me voltar ao caso do Tiago, paciente leitor. Eu disse que ele teria muito mais facilidade do que a maioria das pessoas para responder à questão, mas isso não quer dizer que vai ser moleza para ele responder. Por quê?

Em primeiro lugar, porque ele não sabe se, na sua resposta, deve considerar ou não compras feitas pela internet. Quanto a CDs e DVDs, já sabemos: ele pirateia tudo. Até aí, zero dúvida. Mas e-books, ele costuma comprar. Computa ou não computa?

Outra coisa: ele faz uma assinatura de um jornal digital, que ele lê na internet. Nesse caso, deve assinalar a opção “Mais de 25”, porque acessa a publicação diariamente, ou não registra nada, porque deve entender o termo “compra” como compra física?

Uma terceira dúvida que assola o nosso pobre Tiago: os livros que ele compra em livrarias são para presentear amigos. A pergunta compreende produtos comprados para terceiros ou só para uso próprio?

Para responder a essas perguntas, Tiago vai ter que adotar premissas. Da mesma forma, os demais respondentes vão adotar as suas. Já viu no que isso vai dar, não viu, sagaz leitor? Bagunça, certo? Vários respondentes, com o mesmo perfil de compradores, vão dar cada um uma resposta diferente! E o que o grupo editorial vai ter em mãos quando receber os dados? Isso mesmo: lixo.

Como já disse antes aqui, é um erro grave delegar ao respondente a tarefa de interpretar o que quiseram dizer com as perguntas do questionário. No caso que estamos analisando, o grupo editorial não infringiu apenas a regra que recomenda não se submeter os respondentes a um esforço de memória para responder (ver Dica nº 8); infringiu também a que recomenda que se deem orientações para as respostas (ver Dica nº 13 e Dica nº 43).

Vamos em frente.

clip_image010

Qual é o problema?

Meu comentário:

Observe, caro leitor, que o conjunto de opções de resposta foi apresentado de forma mais sucinta que o habitual. O mais comum é vermos, numa mesma opção de resposta, um nível completo acompanhado do nível imediatamente superior incompleto – por exemplo: “Primeiro grau completo / Segundo grau incompleto”. Não creio que o fato de não se ter feito esse detalhamento chegue a prejudicar o entendimento das opções de resposta (seria necessário avaliar isso num pré-teste do questionário para afirmarmos isso ao certo). A meu ver, porém, o ponto que merece críticas não é esse. Sabe qual é, estimado leitor?

A pergunta pede que se indique o nível de escolaridade do respondente e do chefe de família, mas não dá orientações sobre como responder se ambos forem a mesma pessoa! Caso o respondente seja o chefe da família, ele deve registrar a mesma opção de resposta nas duas colunas ou deve deixar a segunda em branco?

Estamos aqui, mais uma vez, diante daquela situação nefasta, na qual o respondente, em dúvida sobre como responder, adota premissas suas (que não necessariamente coincidirão com as premissas dos demais respondentes ou as dos clientes da pesquisa). O grupo editorial provavelmente deve ter recebido várias respostas com apenas a primeira coluna preenchida e vários outros com as duas. Nunca se saberá ao certo quantos – e quais – foram os casos em que o respondente era o chefe da família. Se isso era uma informação importante para eles...  deveriam ter lido a Dica nº 43.

Teste Teste Teste