no image

Estamos todos acostumados a visitar sites e a preencher formulários e questionários via web. Um recurso fartamente utilizado nesse ambiente são os chamados drop down menus – aquelas janelas ao lado das quais existe uma setinha que, ao ser clicada, revela uma lista de possibilidades – os municípios de um estado, os cursos de uma universidade, as marcas de um fabricante, etc.

Em geral, essas janelas exibem mensagens como “Cidade de nascimento”, “Selecione um curso”, “Escolha uma marca”, e assim por diante. Não são raros os casos em que, em vez dessas frases neutras, o que se vê nessas janelas é uma das opções de resposta – em geral a primeira da lista. Isso é um erro.

E é um erro porque a tal opção aparente funciona indevidamente como um default: uma vez dado um “OK” na página, ninguém saberá dizer se aquela opção foi voluntariamente escolhida ou se a pessoa que estava preenchendo os dados na página simplesmente se esqueceu de passar por ali.

O problema, você já pôde antecipar, não pôde, arguto leitor? Considerável probabilidade de uma bela distorção dos resultados, certo? Uma espécie de hipertrofia daquela opção saliente.

Mais informações »
no image

– Você já pescou tartarugas?

– Não, não gosto de sapato fechado.

– Por que, então, você é careca?

– Porque o caranguejo anda de lado.

Entendeu o diálogo acima, intrigado leitor? Se entendeu, pode interromper a leitura deste blog aqui mesmo, que ele não vai servir para você (se quiser, posso lhe dar uns nomes e telefones que lhe serão bem mais úteis). Se não entendeu, ótimo: é com você mesmo que eu queria falar.

Excetuando o mundo das artes, o dos sonhos e o que povoa a cabeça de algumas celebridades, o mínimo que a gente espera na vida é um pouco de coerência, não é? Num questionário de pesquisa não haveria de ser diferente. Na Dica nº 52, eu destaquei a importância da ordenação dos blocos de perguntas segundo um critério lógico. Mas a necessidade de uma lógica interna de um questionário não é um imperativo exclusivo de questionários que contêm blocos; mesmo em questionários curtos, nos quais nem faz sentido pensar em compor blocos, a lógica é obrigatória.

Confesse aí, envergonhado leitor: você achou essa recomendação trivial, básica, supérflua e desnecessária, não achou? Eu concordaria com você nos dois primeiros adjetivos, mas só neles. A recomendação seria supérflua e desnecessária caso não víssemos exemplos desse tipo de erro em questionários reais (isto é, não extraídos de livros-texto ou de exercícios feitos por principiantes, mas sim encontrados na prática). Por mais incrível que possa parecer, questionários ilógicos são impressos e distribuídos a clientes, fornecedores, parceiros...!

Que consequências isso pode trazer?

A não-resposta poderia ser uma delas; respostas dadas de qualquer jeito, outra. Má impressão causada no cliente? Provavelmente. Geração de má vontade dele também (desordem nas questões desafia a paciência dos respondentes). Seja quais forem as consequências, quem encomendou a pesquisa (teoricamente quem mais deveria ter interesse nas respostas dos clientes) só sai perdendo.

Assim, esteja sempre atento para não cair nesse erro. Procure organizar as perguntas no seu questionário de forma que, na medida do possível:

  • assuntos semelhantes fiquem próximos;
  • não haja súbitas mudanças no fluxo do questionário;
  • não haja constantes alternâncias entre perguntas simples e complexas;
  • as escalas empregadas não variem de pergunta para pergunta;
  • não haja desencontro entre a pergunta feita e as opções de resposta fornecidas;
  • as opções de resposta guardem uma ordem, sempre que aplicável;
  • se houver uma pergunta-filtro (ver Dica nº 47), que haja a sequência natural desse filtro;
  • etc.

Esse “etc.” aí em cima foi proposital; o que eu quis dizer com ele foi: muito além dos itens listados, mantenha sempre o bom-senso!

Permita-me, interessado leitor, dizer duas palavrinhas a respeito das perguntas-filtro, que mencionei há pouco. Como visto na Dica nº 47, esse importante recurso permite ao redator do questionário direcionar aos respondentes apenas as perguntas que lhe cabem responder. Bem, isso tem tudo a ver com lógica, coerência e organização – temas que estamos discutindo nesta Dica. Imagine o seguinte diálogo:

– Você já comeu jiló?

– Não, nunca.

– Gostou?

Papo de maluco, né? Pois é exatamente o que o respondente pensa quando é levado a responder perguntas que não deveriam ter sido feitas a ele (isso quando não pensa que quem elaborou o questionário é um incompetente). Pudera: a orientação sobre a pergunta para onde ele deveria seguir, de acordo com a sua resposta (a chamada orientação de desvio ou de salto), ou não lhe foi dada ou foi dada com erro. E isso é inaceitável.

Fechando: nos questionários de pesquisa, a necessidade de lógica e coerência existe sempre. E vale para tudo: para a ordem dos assuntos, das perguntas e das opções de resposta, para as orientações de desvio, etc.

Se você não costuma ter conversas de louco, como a que abre esta Dica, não vai redigir questionários sem pé nem cabeça como ela, vai?

Mais informações »
no image

Em diferentes pontos destas Dicas, já teci comentários acerca da influência da ordem das perguntas do questionário sobre as respostas dos indivíduos pesquisados. Quero agora dizer duas palavrinhas sobre um assunto parecido, mas diferente: o grupamento de perguntas por assunto.

Em geral, recomenda-se manter juntas perguntas semelhantes de um questionário e dispor essas perguntas segundo uma ordem lógica. Um exemplo sempre é bom: imagine que uma clínica de exames de imagem contrate uma pesquisa de satisfação dos seus clientes. Se o interesse da pesquisa for a cobertura de todo o processo de prestação do serviço, muito provavelmente as primeiras perguntas do questionário irão tratar do momento do agendamento do exame; as seguintes, da recepção nas instalações da clínica; em seguida, do período de espera; do exame propriamente dito; por fim, da entrega dos resultados. Você há de convir, sensato leitor, que qualquer desvio dessa ordem lógica poderia transmitir ao respondente uma ideia de coisa sem pé nem cabeça, concorda? Por outro lado, um questionário com perguntas ordenadas segundo a ordem dos acontecimentos contribui muito para a concentração do respondente e o consequente estabelecimento de uma linha coerente de respostas.

A organização deve nortear todos os elementos de um questionário (o texto da pergunta, as notas explicativas, as opções de resposta, as caixinhas ou pares de parênteses para a marcação das respostas, etc.). Por exemplo, quando se colocam itens relacionados próximos uns aos outros, eles são percebidos como um grupo, o que faz aumentar a compreensão do respondente sobre o assunto em análise (que é exatamente o que queremos). Quando possível, convém encabeçar cada bloco por um título. No caso da clínica, mencionado acima, esses títulos poderiam ser “Agendamento”, “Recepção”, “Espera”, “Exame” e “Entrega”, por exemplo.

Os blocos de perguntas devem ser formados segundo um misto de amplidão e especificidade. Explicando isso melhor: o bloco “Agendamento”, por exemplo, poderia conter perguntas acerca da facilidade em se ligar para os telefones da clínica (se as linhas não estavam ocupadas), do tempo até o atendimento (se a ligação foi atendida num tempo razoável), da gentileza do(a) atendente, das explicações fornecidas sobre os exames, da conveniência dos horários disponíveis, da qualidade da ligação (volume, inexistência de ruídos, etc.), de sua duração, etc. Ou seja: seria um amplo conjunto de perguntas sobre aspectos diferentes (pessoas, equipamentos, processos), mas todas relativas a um mesmo assunto (agendamento). O mesmo vale para todos os outros blocos.

Como você pode ver, fiel leitor, a organização do questionário em blocos ajuda o respondente a se concentrar, a organizar seu pensamento e, claro, a responder. Imagine quando o projetista do questionário desconsidera esse preceito (ou quando não há um projetista digno desse nome, e o questionário não passa de um amontoado de perguntas jogadas ao léu). Tiro no pé, concorda? Pois é... vez por outra a gente encontra coisas como essa por aí.

Mais informações »
no image

Muitas vezes os clientes de uma pesquisa estão interessados em saber se algum atributo do bem ou serviço que oferecem é considerado adequado pelo público a que se destina:

  • O volume do som ambiente estava adequado?
  • A temperatura do ar-condicionado estava adequada?
  • O tempo em que os garçons serviram a refeição foi adequado?
  • O teor de açúcar do chocolate é adequado?
  • A maciez do colchão é adequada?

Suponha, caro leitor, que essas questões sejam inseridas nos questionários, associadas a uma escala de Likert (ver Dicas nos 30 e 40), como mostrado a seguir.

 

Discordo totalmente

Discordo em parte

Não concordo nem discordo

Concordo em parte

Concordo totalmente

O volume do som estava adequado.

         

A temperatura estava adequada.

         

O tempo de serviço foi adequado.

         

O teor de açúcar do chocolate é adequado.

         

A maciez do colchão é adequada.

         

Acompanhe comigo, criterioso leitor: se a grande maioria das respostas for “concordo totalmente”, ótimo para o fabricante / prestador / fornecedor, etc. Mas... e se não for? Um volume de som não considerado adequado está o quê: alto demais ou baixo demais? E uma temperatura não adequada significa que ambiente foi considerado frio demais ou quente demais? E se o tempo de serviço dos garçons não se mostrou adequado, isso se deu porque eles foram morosos ou porque serviram rápido demais?

Você já percebeu a inutilidade desse tipo de perguntas, não? Palavras como “adequado”, “satisfatório”, “perfeito”, “conveniente”, etc. não combinam com escalas de resposta como a empregada acima ou com outras, como “Muito longe do ideal”, “Longe do ideal”, “Próximo ao ideal”, etc. Quem faz uso dessa combinação se vê obrigado a fazer uma pergunta a mais, toda vez que a avaliação não for a melhor possível (algo como “O que poderia ser melhorado?”, “O que faltou?”, etc.).

Muito mais prático – e correto – seria empregar escalas bipolares próprias de cada pergunta. Por exemplo, para se avaliar o volume do som, uma escala com graduações entre “Muito baixo” e “Muito alto”; para a temperatura, “Muito quente” a “Muito frio”; para o ritmo dos garçons, “Muito lento” a “Muito rápido”; e assim por diante.

Observe, atento leitor, que a categoria “Adequado(a)” poderia constar na escala – precisamente na posição central. Nesse caso, não haveria problema algum (muito pelo contrário): qualquer desvio do ideal teria um sinal, isto é, o analista da pesquisa saberia em que sentido o objeto da pesquisa deveria ser corrigido.

Mais informações »
no image

Se você não leu a Dica nº 49, saltitante leitor, leia-a, por favor. Se a leu, responda à seguinte pergunta: se é tão importante mantermos igualmente espaçadas as opções de resposta de uma escala intervalar para não criarmos confusão na cabeça dos respondentes, o que será que acontece quando, entre as opções, incluímos categorias como “Não sei”, “Não usei”, “Não se aplica”, etc.?

Perguntinha danada essa, hein?

Imagine que o redator de um questionário autoadministrado (isto é, que vai ser respondido diretamente pelo respondente, sem a intermediação de um pesquisador) tenha apresentado a seguinte escala para a resposta a determinada pergunta:

( ) Péssimo
( ) Ruim
( ) Regular
( ) Bom
( ) Ótimo

Criterioso, o redator teve o maior cuidado em garantir um espaçamento constante entre as categorias no leiaute do questionário. Ocorre que ele decidiu incluir também a categoria “Não se aplica”. Graficamente falando, como ele deve fazer essa inclusão: mantendo o espaçamento que usou para as demais categorias ou não?

Bem, como discutimos exaustivamente na Dica nº 49, o emprego de um espaçamento constante entre as categorias de resposta transmite ao respondente uma ideia de continuidade. Ora, se incluirmos sequencialmente opções de resposta em que parte delas pertence a uma escala e parte não, já temos motivo suficiente para ficarmos com a pulga atrás da orelha. Na pressa, o respondente pode “entender” as últimas categorias da escala como parte integrante dela, e aí todo o equilíbrio buscado vai pelo ralo.

De fato; imagine dois respondentes: João adorou irrestritamente o objeto que está sendo avaliado na pesquisa. Ele passa os olhos pela escala, vê que ela começa com “Péssimo” e “Ruim” e, sem ler as demais categorias, tasca o seu “x” na última posição... que vem a ser o “Não se aplica”! Pedro também gostou do objeto avaliado na pesquisa, mas não irrestritamente. Automaticamente, ele assinala a penúltima posição da escala... que vem a ser a categoria “Ótima”.

Ou seja: dois respondentes fizeram a sua avaliação e ambos erraram a marcação. Só que o que aconteceu com esses dois pode acontecer com centenas. E lá se vai a qualidade dos dados coletados.

Não é raro encontrarmos questionários nos quais, em seguida às categorias de uma escala ordinal ou intervalar, segue-se não uma, mas duas ou três opções que nada tem a ver com a escala. Fico apenas imaginando o festival de marcações erradas que isso pode acarretar.

Conclusão: respondendo à pergunta lançada no primeiro parágrafo desta Dica, devemos cuidar para destacar, muito bem destacadas, as opções de resposta que não pertencem à escala empregada. Esse destaque pode ser feito de várias maneiras: por espaçamento, por cores de letras ou de fundo, por linhas de contorno que sugiram uma separação, etc. Seja como for, estaremos lançando mão de recursos da linguagem gráfica em nome de uma adequada compreensão das opções de resposta por parte dos respondentes.

Mais informações »
Dica n° 49 – Opções de resposta ordenadas? Muito cuidado com o layout!

Considere a seguinte pergunta, estudioso leitor:

Como você avalia o preço do curso XYZ em comparação com os outros cursos de
MBA oferecidos no mercado?

Agora observe atentamente as duas seguintes escalas de respostas para essa pergunta.

Escala A:

01_tab

Escala B:

02_tab

Qual a diferença? Na Escala A, as opções estão igualmente espaçadas; na Escala B, as três opções centrais estão mais próximas, quase formando um “grupinho” afastado das demais. O que você me diz disso, criterioso leitor? Sendo mais objetivo: você acha que tanto faz apresentar aos respondentes um ou outro formato?

Você respondeu que não, não foi? Eu sabia que você ia acertar na mosca. Realmente, não dá para confiar em que, apesar da idêntica redação das opções de resposta, o respondente iria escolher a mesma opção nas duas escalas.

Quando responde a um questionário autoadministrado (aquele em que o próprio respondente preenche as respostas, sem a presença de um entrevistador à sua frente ou ao telefone), o indivíduo está sujeito a diversos estímulos. O verbal – mais estudado, tanto na literatura quanto nestas Dicas – diz respeito às palavras que ele lê; mas há também uma considerável influência de linguagens não verbais: a numérica, constituída pelos números que acompanham as perguntas e, muitas vezes, as opções de resposta; a simbólica, representada pelas setas que orientam o caminhar do respondente pelo questionário, as “carinhas” que simbolizam graus de satisfação, etc.; e a gráfica, que envolve tamanhos, formas, cores, disposição espacial, etc.

Vamos dar um close neste último tipo de linguagem. Não estarei trazendo nenhuma novidade se disser que um maior tamanho de letra, assim como o emprego de maiúsculas, pode simbolizar maior importância do trecho em destaque; da mesma forma, todos sabem que o emprego da cor vermelha sinaliza algo que requer atenção; e por aí vai. Mas talvez a questão da disposição espacial dos textos no questionário – outro aspecto da linguagem gráfica e igualmente fundamental – não seja tão intuitiva assim.

A diferença entre as Escalas A e B ilustra bem esse ponto. Da forma como foi construída, a Escala A provavelmente será compreendida como uma em que as distâncias entre quaisquer duas categorias consecutivas são iguais. Já a Escala B provavelmente transmitirá uma percepção diferente. Não é improvável que muitos respondentes, ao visualizar essa escala, interpretem as categorias “Pouco abaixo da média” e “Pouco acima da média” como “Muito pouco abaixo da média” e “Muito pouco acima da média”. E isso se daria, evidentemente, pela grande proximidade espacial entre essas categorias e a categoria “Na média”.

Usar espaçamentos variáveis entre as categorias de uma escala é uma prática nada recomendável, pois diferentes respondentes podem interpretá-las de modo diferente. Isso acontecendo, a análise dos dados pode ir para o espaço.

Se a intenção do criador do questionário era oferecer opções bem próximas à categoria central, ele poderia ter lançado mão de outro recurso – por exemplo, uma escala com diversas categorias e nomeação de apenas três delas (as duas extremas e a central) – por exemplo, como mostrado na escala abaixo.

03_tab

Mas essa questão da disposição espacial das opções de resposta vai além, e convém que a gente a estude com atenção. Veja, por exemplo, o ilustrativo exemplo a seguir.

Um pesquisador dividiu os alunos de um curso em quatro grandes grupos e submeteu uma pergunta a todos. A pergunta era sempre a mesma (“De modo geral, como você avalia a qualidade do curso XYZ?”); o que mudava era a disposição gráfica das opções de resposta. Cada grupo de alunos recebeu um leiaute diferente de folha de resposta. Veja abaixo os quatro modelos distribuídos aos alunos.

Modelo 1 – Todas as opções numa mesma linha (vertical)

        ( ) Excelente
        ( ) Muito boa
        ( ) Boa
        ( ) Regular
        ( ) Fraca

Modelo 2 – Opções dispostas em três colunas – ordenação vertical

        ( ) Excelente                   ( ) Boa                 ( ) Fraca
        ( ) Muito boa                 ( ) Regular

Modelo 3 – Opções dispostas em três colunas – ordenação horizontal

        ( ) Excelente                 ( ) Muito boa                 ( ) Boa
        ( ) Regular                     ( ) Fraca

Modelo 4 - Opções dispostas em três colunas – ordenação vertical com números

        ( ) 1 Excelente                 ( ) 3 Boa                 ( ) 5 Fraca
        ( ) 2 Muito boa                ( ) 4 Regular

Perguntinha para você, interessado leitor: você acha que os resultados foram idênticos nos quatro grupos?

De novo, aposto que você disse que não. Aliás, mesmo que você não tivesse dito nada, vamos combinar: da forma como eu fiz a pergunta, a resposta mais provável era “não”, não é mesmo? Mas a que conclusão se chegou no estudo?

Bem, a verdade é que, embora alguns resultados não tenham diferido significativamente, outros apresentaram diferenças consideráveis. Só para dar um exemplo, a avaliação do curso por quem respondeu no Modelo 3 foi melhor do que quem respondeu no Modelo 2. Por que será?

Uma explicação possível (e boa) é que o olhar dos respondentes é mais atraído pela primeira linha do que pela segunda. Ora, como no Modelo 3 (que ordena as categorias na horizontal) as três categorias favoráveis estão lado a lado na primeira linha, a frequência de marcação dessas respostas foi maior do que no Modelo 2 (ordenação vertical), em que a categoria “Muito boa” aparece na linha de baixo. Um “detalhezinho” que pode fazer toda a diferença!

Vale ressaltar, atento leitor, que os cuidados com a linguagem gráfica nos questionários não se limitam a questões de espaçamento entre alternativas. Você já deve ter visto questionário coloridos, não? Eles podem até ser esteticamente agradáveis de se ver, mas quem os projeta deve tomar um cuidado enorme para não sinalizar o que não quer... justamente por causa das cores que usa!

Um exemplo batido é o das escalas de satisfação. Não é raro vermos as opções “Muito insatisfeito” e “Insatisfeito” pintadas de vermelho, e as opções “Muito satisfeito” e “Satisfeito”, pintadas de verde. OK; e quanto à opção intermediária (“Nem satisfeito nem insatisfeito”)? De que cor deveria ser pintada?

Bem, não quero aqui definir uma cor da minha cabeça. Quero é dizer que já vi questionários desses em que a opção intermediária foi colorida de laranja. Cabe, então, a pergunta: será que aquele laranja, por estar muito mais próximo dos tons vermelhos do que dos verdes, não estaria subliminarmente fazendo com que o respondente percebesse, de modo inconsciente, aquela opção como levemente negativa, em vez de neutra, como deveria ser?

Não sei responder à pergunta acima; só poderia afirmar qualquer coisa ao certo depois de testar a escala junto ao público da pesquisa. O quer posso é lançar uma sombra de desconfiança sobre a decisão de se pintar uma opção de resposta com uma cor sem uma pesquisa prévia.

Espaçamento, quebra de linhas, cores. Tudo o que vimos nesta Dica nos ensina algo importantíssimo: se estivermos trabalhando com escalas em que a ordem das opções de resposta seja crucial (como nas chamadas escalas ordinais ou intervalares, que aparecem definidas adiante), não devemos usar uma disposição gráfica dessas opções que interfira na lógica da continuidade da ordenação, pois, agindo assim, estaremos mandando a desejada continuidade para o espaço, e com ela a validade dos resultados obtidos na nossa pesquisa.

Antes de encerrarmos esta longa Dica, vale a pena apresentarmos um resumo dos seus dois ensinamentos. Às vezes trabalhamos com escalas ordinais (aquelas em que as opções de resposta guardam uma ordenação – do pior para o melhor, do menos provável para o mais provável, etc.) e às vezes, com escalas intervalares (aquelas em que, além de ordenadas, as opções de resposta guardam um intervalo constante entre si). Assim, quando estivermos trabalhando com esses tipos de escalas, temos três cuidados fundamentais a tomar:

1º) manter o espaçamento físico entre as categorias, seja o questionário impresso em papel ou apresentado numa tela de computador, sobretudo se a escala for intervalar;

2º) apresentar as opções numa linha única – seja horizontal ou vertical –, sem quebras, de modo a não violar a noção de continuidade que essas escalas encerram;

3º) em caso de questionário colorido, atentar para que a escolha das cores não interfira na característica da escala empregada para a resposta.

Mais informações »
no image

Você já foi preso alguma vez, caro leitor? Consome ou já consumiu drogas ilícitas? Já subornou alguma autoridade? Se soubesse que não causaria danos a terceiros, fraudaria documentos ou declarações para obter algum benefício próprio? Já mentiu alguma vez para obter uma gratificação sexual? Sofre ou sofreu de incontinência urinária?

Julgou constrangedoras as perguntas acima, chocado leitor? Pois são mesmo. Isso significa, então, que elas jamais deveriam constar de questionários? Não necessariamente; muitas vezes, elas são o cerne da pesquisa. Mas as pessoas respondem honestamente a esse tipo de perguntas? Depende. Garantir, não podemos; o que podemos é nos cercar de alguns cuidados para tentar evitar que os respondentes se sintam intimidados, constrangidos ou ofendidos e deixem de responder ao questionário.

Uma medida nesse sentido é redigir uma introdução ao questionário, destacando a natureza e o objetivo da pesquisa e a importância de se contar com respostas sinceras. Nessa introdução, costuma-se garantir a confidencialidade dos dados, isto é, a não-identificação do respondente (que, por coerência, é bom que não seja pedida ao longo do questionário). Quando a pesquisa é feita por um instituto de renome ou contratada por uma instituição de boa reputação, a credibilidade da pesquisa evidentemente aumenta.

Outra medida providencial é deixar as perguntas embaraçosas para o final do questionário. Isso faz todo o sentido, não acha, ponderado leitor? Uma coisa é a pessoa ser submetida, de cara, a uma pergunta sobre um problema de saúde; outra é a pergunta aparecer depois de várias outras que “dão o tom” do questionário.

Considere a pergunta sobre incontinência urinária, por exemplo. Ela se mostrará muito mais palatável se vier acompanhada de outras que tratem de assuntos como problemas no período de convalescência de uma cirurgia, ingestão de alguns medicamentos (como diuréticos, tranquilizantes, remédios para tosse, etc.), gravidez, ganho de peso, etc. O mesmo vale para todas as outras perguntas encontradas no primeiro parágrafo desta Dica. De modo geral, convém seguirmos a regra prática que estabelece que, em questionários de pesquisa, questões muito polêmicas devem ser lançadas depois de questões menos polêmicas.

É importante destacar que não só perguntas constrangedoras devem ficar no fim do questionário. A regra vale para qualquer pergunta pela qual o respondente possa sentir-se “ameaçado”. Exemplos clássicos disso são as perguntas que envolvem bens e dinheiro. Qual é o seu salário mensal? Qual é a sua renda familiar bruta? Quantos automóveis o senhor possui? Quantos banheiros tem o seu apartamento?

O recomendado é que todas essas perguntas sejam feitas ao final. Aliás, sacativo leitor, esse cuidado é, em grande medida, intuitivo. Você gostaria de responder a um questionário que já começasse perguntando quanto você ganha?

Mais informações »
no image

Pois é, caro leitor, por incrível que pareça, perguntas como a do título desta Dica são feitas em alguns questionários. Pergunta-se sobre preferência por Londres ou Paris a quem jamais pisou na Europa; pergunta-se sobre a intenção de fazer uso de um benefício do cartão de crédito a quem não tem direito ao tal benefício; pede-se a avaliação de determinado produto ou serviço a quem nunca consumiu aquele produto ou serviço; e assim por diante.

É impossível prever que consequências esse “descuido” de elaboração das perguntas pode gerar para a pesquisa. Pode não acontecer absolutamente nada (o respondente simplesmente pula a questão e esquece o assunto), mas também podem ocorrer desdobramentos menos inofensivos. Um deles é o respondente intuir como deve responder, quando se depara com esse tipo de questão. Já vimos, em outras Dicas deste blog, o problema que é deixar esse tipo de decisão nas mãos dos respondentes.

Imagine a seguinte situação: ao término de um curso de pós-graduação, os alunos estão preenchendo um questionário de avaliação global do curso. O questionário é todo construído com base em afirmativas associadas à seguinte escala:

         - Discordo totalmente
        - Discordo em grade parte
        - Não concordo nem discordo
        - Concordo em grande parte
        - Concordo totalmente

Carlos e Guilherme – dois alunos do curso – estão respondendo com o maior empenho e seriedade. Já avaliaram vários módulos, e agora chegaram ao “Módulo Abroad” – o braço internacional do curso, constituído por aulas em universidades no exterior, conveniadas com o curso. Nenhum dois cursou esse módulo opcional, e por isso não tem como avaliá-lo. O que fazem?

Carlos decide pular as questões do bloco, deixando-as sem resposta; Guilherme, por sua vez, entende que a opção “Não concordo nem discordo” retrata bem o seu caso: se ele não cursou o módulo, então não tem opinião formada a respeito; sendo assim, não pode nem concordar nem discordar das afirmativas do bloco. E assinala essa opção central como resposta a todas as perguntas do bloco. O que você acha, judicioso leitor?

Imagino que você tenha pensado: “As respostas em branco do Carlos não vão interferir na média, ao passo que as do Guilherme sim”.

É exatamente isso que se passa. Na fase de tabulação das respostas, é associado um valor a cada opção de resposta. Digamos que os valores sejam 1, 2, 3, 4 e 5, correspondentes às cinco opções, na ordem em que foram apresentadas. Ora, todas as respostas do Guilherme serão computadas como 3, certo? Se a média das respostas dos outros alunos for maior que 3, as respostas do Guilherme contribuirão para forçar a média para baixo; se for menor, as respostas ajudarão a levantá-la. É claro que “um único Guilherme” não fará grande diferença, mas, existindo “vários Guilhermes” no conjunto dos respondentes – isto é, vários alunos que pensem como ele e assinalem a opção neutra quando não tiverem como avaliar a questão tratada –, a média real, que corresponde à avaliação de quem efetivamente cursou o módulo e teria condições de avaliá-lo, poderia ficar bastante distorcida.

Esse problema, de se trabalhar com respostas de quem não deveria responder, já é em si uma dor de cabeça considerável, mas existe um caso mais radical ainda, que pode ocorrer quando se deixa de cuidar disso na elaboração das perguntas: o respondente pode simplesmente abandonar o questionário, considerando ser uma perda de tempo ficar respondendo a perguntas que nada têm a ver com ele. Como evitar isso?

Criando perguntas-filtro.

Perguntas-filtro, como o próprio nome sugere, são aquelas que permitem triar quem deve responder a um grupo de perguntas e quem não. No exemplo acima, bastaria incluir no questionário a pergunta “Você cursou o Módulo Abroad?”, acompanhada das opções de resposta ‘Sim’ e ‘Não’. Quem respondesse ‘sim’ continua preenchendo o questionário normalmente; quem respondesse ‘não’ seria orientado a saltar as perguntas referentes ao bloco e a responder uma outra, mais adiante, cujo número lhe será informado. Pronto; solucionado o problema. Simples e eficiente.

Os tipos de perguntas-filtro não se restringem apenas ao dado no exemplo – aquelas que admitem ‘sim’ ou ‘não’ como respostas. A seguir, apresento outros tipos, caso você queira saber um pouco mais do assunto.

· Categoria do respondente:

Exemplo: Indique o seu estado civil.

        ( ) Solteiro (nunca se casou)
        ( ) Casado ou em união consensual
        ( ) Separado, desquitado, divorciado
        ( ) Viúvo

Dependendo da resposta, o respondente é direcionado a um ou outro ponto do questionário.

· Classificação ordinal:

Exemplo: Classifique os estilos musicais abaixo em ordem de preferência (1 = preferido; 2 = segundo melhor; etc.).

        ( ) MPB
        ( ) Jazz
        ( ) Pagode
        ( ) Hip hop
        ( ) Rock

De acordo com o ranking alocado a um dos estilos, por exemplo, o respondente é direcionado para um ou outro bloco de perguntas.

· Escala bipolar / Likert:

Exemplo: Eu teria interesse em receber aconselhamento financeiro de consultores do Banco.

        ( ) Discordo totalmente
        ( ) Discordo em grande parte
        ( ) Não concordo nem discordo
        ( ) Concordo em grande parte
        ( ) Concordo totalmente

Caso a resposta fosse uma das duas últimas, ao respondente seria apresentado um conjunto de perguntas sobre o conteúdo, o formato e a periodicidade da consultoria; caso sua resposta fosse uma das três primeiras, o respondente seria orientado a saltar direto para uma pergunta mais à frente ou a dar por encerrada a pesquisa.

· Diferencial semântico:

Exemplo: Como você avalia a postura do representante comercial que o atendeu?

Gentil

( )

( )

( )

( )

( )

Rude

Compreendeu o seu problema

( )

( )

( )

( )

( )

Não compreendeu o seu problema

Flexível na negociação

( )

( )

( )

( )

( )

Inflexível na negociação

Boa aparência pessoal

( )

( )

( )

( )

( )

Má aparência pessoal

De acordo com a posição em que a resposta é assinalada, o respondente é conduzido a um conjunto de perguntas mais específicas ou não.

Mais informações »
no image

Que dica óbvia, não é? Qual é o maluco que incluiria no seu questionário uma pergunta que ele mesmo não entendesse?

Bom, o nome do maluco, eu não sei, mas que isso existe, existe. Uma vez, uma empresa de consultoria foi contratada para fazer uma pesquisa de satisfação dos usuários dos serviços prestados pela área de tecnologia de informação de uma grande organização. A gama de serviços a serem pesquisados era vasta – iam desde o atendimento cotidiano de solução de problemas em computadores pessoais até serviços altamente especializados, utilizados por uma pequena e seleta parcela dos empregados. A Empresa desejava que todos os serviços da área de TI fossem avaliados. Para isso, passou para a empresa consultora uma lista com a descrição resumida de cada um deles. Sem entrar a fundo no entendimento do escopo de cada um dos serviços a serem avaliados, a consultora elaborou o questionário, que foi aprovado pelo cliente após algumas reuniões.

Ainda bem que, antes de aplicar o questionário “para valer”, a consultora rezou segundo a cartilha da boa pesquisa e realizou uma rodada de pré-testes, a fim de avaliar se 1) os empregados estavam entendendo as perguntas e 2) se o que eles estavam entendendo era exatamente o que se queria perguntar (falo bastante a respeito na Dica Especial).

A descrição do conteúdo de um dos serviços a serem avaliados (denominado Documentação Técnica) não foi bem entendida pelos indivíduos submetidos ao pré-teste. Vale a pena reproduzirmos aqui a descrição desse serviço, tal como foi passada do cliente para a consultora e desta para os respondentes.

“Coleta, organização e armazenamento de documentos; pesquisas bibliográficas; localização e
provimento de cópia de documentos; monitoração de notícias e elaboração de classificações;
divulgação e orientação sobre a utilização de bases e serviços de informação”

Veja algumas perguntas feitas pelos empregados participantes do pré-teste:

- Você está se referindo à biblioteca?

- É aquele clipping que a gente recebe todo dia de manhã?

- É só o Cedoc ou tem mais coisa envolvida aqui?

Pobre pesquisador: o coitado não sabia responder a nenhuma das perguntas dos empregados! Qual foi o erro? Ele só deveria partir para o pré-teste depois de se certificar que ele próprio tinha entendido bem o conteúdo de cada pergunta. Não que ele não pudesse ser surpreendido por algum participante do pré-teste (isso não é incomum), mas não chegaria tão vendido quanto chegou. Ingenuamente, ele confiou na suposição de que, em se tratando de um serviço prestado pela empresa-cliente, os empregados saberiam do que se tratava. Ledo engano! Bombardeado por uma série de perguntas que ele não tinha ideia de como responder, o consultor teve que voltar a conversar com os responsáveis pelo serviço e receber uma imersão do tal serviço. Só depois disso é que ele encomendou outra rodada de pré-testes. Aí, sim, toda vez que surgia uma dúvida sobre o que aquele serviço abrangia e o que deixava de abranger, o pesquisador explicava e perguntava ao participante de que maneira poderia reformular a descrição, de modo que ela fosse entendida por todos.

(Se, por curiosidade, você quiser saber como a história acabou, a empresa manteve a descrição original e acrescentou: “Os sistemas de que trata este serviço são exclusivamente X, Y e Z”. Pronto: todos os empregados conheciam aqueles sistemas, e todas as dúvidas se dissiparam com o esclarecimento).

Conclusão: nunca é demais reforçar o óbvio: se você mesmo não souber exatamente o que constitui e abrange uma pergunta que você está pondo no seu questionário, procure se inteirar primeiro, e só depois inclua a pergunta.

Convém aqui acrescentar uma observação importante: a necessidade que o pesquisador tem de conhecer bem o significado daquilo que está perguntando não se limita ao enunciado das perguntas do questionário; ela abrange também o conteúdo das opções de resposta. Veja só o que ocorreu em uma pesquisa realizada por um importante instituto de pesquisa, anos atrás.

O objetivo da pesquisa era avaliar as condições de saneamento básico no Brasil. No questionário, a pergunta que procurava aquilatar a forma de tratamento dado ao esgoto, vinha acompanhada de duas opções de resposta. A primeira grupava o despejo in natura com a fossa séptica; a segunda, o esgoto canalizado e o esgoto tratado. Cometia-se, com isso, um erro crasso de entendimento do que eram essas formas de tratamento.

Segundo os técnicos, a fossa séptica, se corretamente instalada, é uma tecnologia segura e eficiente de tratamento de esgoto; por outro lado, o esgoto canalizado, por si só, não garante o saneamento, pois seria necessário tratar 100% do efluente, caso contrário o que se estaria fazendo seria despejar todo o esgoto a partir de um trecho do rio.

Ou seja, o instituto de pesquisa errou duas vezes: ao considerar a fossa séptica como uma forma de não-saneamento e a canalização de esgoto como uma forma de saneamento! Sem compreender perfeitamente os diversos tipos de tratamento de esgoto, o instituto agregou, numa mesma opção de resposta, duas modalidades que foram entendidas como problemas e, em outra, duas outras entendidas como soluções. Ambas as premissas são falsas. Dá para se ter uma ideia da qualidade dos resultados obtidos pela pesquisa, não dá?

Mais informações »
no image

Não é só a linguagem escrita formal, empregada nos questionários de pesquisa, que me interessa; todo tipo de linguagem me atrai, seja ela constituída por símbolos, sons, gestos, mímica, o gestual dos surdos-mudos, etc. Em particular, me fascina a linguagem corporal: o palestrante que não sabe onde enfiar as mãos diante de uma plateia; o cidadão que bufa, tamborila os dedos e consulta constantemente o relógio numa fila de espera; o lutador de MMA que não consegue olhar nos olhos do seu oponente no momento da preleção do juiz; o pegador que infla o peito ao abordar a moça que ele elegeu como sua próxima conquista; o pai que pressiona seguidamente os lábios, na tentativa de disfarçar a onda de bocejos de tédio que o assola na apresentação de fim de ano da escola do seu filho; etc.

Nesse universo, o que mais me cativa são os casos em que a linguagem corporal inconscientemente desdiz a linguagem verbal – por exemplo, você vê duas pessoas conversando numa mesa de café; A está dizendo a B do prazer que é estar com ela, de como poderia ficar horas papeando com ela, que eles deveriam se encontrar com mais frequência, etc., etc. Mas os pés de A estão voltados para fora! Ou seja: acima da mesa, tudo são amabilidades; lá embaixo, no chão, os pés gritam: “Quero ir embora daqui! Já!”

Mas por que eu estou falando de linguagem corporal num blog de dicas de redação de questionários de pesquisa?

Associação de ideias, intrigado leitor. Associação de ideias. Não é nada incomum toparmos com questionários em que, com toda a gentileza, as empresas pedem opiniões dos respondentes por escrito, mas... cadê o espaço para isso? Não é fornecido! Às vezes ainda é possível usar o verso do questionário para se registrar a opinião, mas nem sempre o verso está livre. Nesses casos, é como se a empresa dissesse: “Sua opinião é muito importante para nós... só que não!”

Ou seja, consciente leitor, se você realmente estiver interessado no que o seu público tem a dizer, dê a ele os recursos para isso. No mínimo, um espaço decente no seu questionário, OK?

Mais informações »

Teste Teste Teste