Uma conhecida rede de restaurantes, aparentemente interessada em saber tudo e mais um pouco sobre os seus frequentadores (e muito pouco sobre o que eles achavam da comida servida, do ambiente de suas filiais, do nível de serviço prestado, etc.), desenvolveu um questionário de fôlego e ofereceu um brinde (um aperitivo gratuito na próxima ida ao restaurante) a quem o preenchesse e enviasse pela internet. Fôlego, quem deveria ter eram os respondentes, pois o questionário, além de muito longo, continha várias perguntas que... Bem, é melhor passarmos logo às perguntas.

A primeira delas, eu me abstenho de copiar aqui, em função do seu tamanho. Tratava-se de uma lista de todas as filiais do restaurante no Brasil (eram 56) e pedia-se ao respondente que assinalasse aquela que ele visitou “recentemente”.

Bem, já cabe aqui uma primeira observação: o que significa “recentemente”? Na Dica nº 24 vimos o problema que é usar termos ambíguos. Será que eles quiseram dizer “mais recentemente”? Suponhamos que sim; caberia o questionamento: caso o respondente tivesse ido ao restaurante pela última vez um ano antes, será que as suas respostas interessariam a quem encomendou a pesquisa? Você acha que eu estou sendo cricri, liberal leitor? Acha que eu estou procurando pelo em ovo? OK, esqueça a minha observação sobre a última visita há mais de um ano; admitamos que alguns respondentes tenham ido ao restaurante pela última vez há muito menos tempo: outros há seis meses, outros no mês passado, outros ontem. Mesmo assim, será que as respostas servirão aos objetivos da pesquisa? Desculpe, amigo: é difícil acreditar que sim.

Mas vamos em frente. Reproduzo, a seguir, a segunda pergunta (o nome da rede será omitido ao longo de todas as minhas considerações).

clip_image002 

Repito, em letras maiores, a pergunta que encabeça o gráfico acima: “Por favor, clique no mapa o local ou região onde estava imediatamente antes de ir a sua visita mais recente ao XXX. Caso tenha vindo de um local ou região que não apareça no mapa, por favor clique no início primeira rua ou avenida que utilizou para acessar a área contemplada no mapa.

Qual o problema?

Meu comentário:

Bem, parece que o nosso restaurante está um tanto curioso, não acha, pudoroso leitor? Talvez mais preciso fosse dizer intrometido. A troco de quê poderia interessar a informação do local de procedência dos frequentadores da filial? Será que os proprietários estavam pensando em, sei lá, de alguma forma otimizar o tráfego entre os locais de maior procedência de clientes e o restaurante?

À primeira vista, essa me parece uma daquelas perguntas do tipo “nice to know”, que eu critiquei na Dica nº 3 (“já que estamos fazendo um questionário de satisfação, vamos aproveitar para...”). Bem, não vamos condenar o questionário ao fogo do inferno por uma escorregadela. Se essa tiver sido a única concessão à curiosidade, relevaremos o fato. Vejamos como o questionário prossegue.

Antes de passarmos para a terceira pergunta, porém, uma observação: você reparou, minucioso leitor, na expressão “mais recente”, empregada no enunciado da pergunta? Na primeira pergunta, eles falavam apenas em “visitou recentemente”; agora, trata-se da “visita mais recente”. Alguém comeu mosca na revisão desse questionário (hipótese aliás reforçada pela falta de uma crase e de uma preposição no texto da pergunta).  Pense nos respondentes: quem começou a responder sobre uma ida recente, mas não sobre a última, já caiu do bonde, pois o sistema de pesquisa pela web não permite voltar atrás. Ou seja, já temos uma deformidade de origem no questionário.

Vamos para a terceira pergunta.

clip_image004

Qual é o problema?

Meu comentário:

Bem, quem suspeitava que o contratante da pesquisa estava curioso (ou intrometido) parece ter tido um bom palpite. Quer dizer que, além de quererem saber a região de onde eu vim, querem saber também o que existe nela! Minha pergunta continua sendo: para quê?

Imagine, espirituoso leitor, a reunião de apresentação dos resultados da pesquisa para a alta administração da rede de restaurantes. O consultor talvez dissesse algo como “Para a filial A, x% dos clientes vieram de casa; y% do trabalho; z% do colégio ou universidade; w% de um shopping center e t% de outros lugares”. Isso para cada uma das 56 filiais!!!

Fala sério...

Melhor passarmos para a quarta pergunta.

  clip_image006 

Reproduzo a pergunta com um tamanho de letra ampliado: “Por favor, clique no mapa o local ou região para onde foi imediatamente após a sua última visita ao XXX. Caso tenha ido para um local ou região que não apareça no mapa, por favor clique no final da rua ou avenida que utilizou sair da área contemplada no mapa.”

Qual é o problema?

Meu comentário:

Não sei quanto a você, corajoso leitor, mas neste ponto do questionário eu já me sinto um pouco como um ser monitorado pelo Grande Irmão! Quer dizer: além de eles quererem saber de onde eu vim e o que funciona lá, também querem saber para onde eu fui?! Só falta agora eles perguntarem o que havia no lugar para onde eu fui depois!

Verifiquemos. Que venha a quinta pergunta.

clip_image008

Qual é o problema?

Meu comentário:

Bingo! Pelo andar da carruagem, os próximos passos serão pedir a quebra dos sigilos telefônico, bancário e fiscal dos respondentes!

A sério, circunspeto leitor, não se pergunta esse tipo de coisa, a não ser se absolutamente necessário. Isso não deixa de ser uma invasão de privacidade, o que é algo a ser evitado, na medida do possível, nos questionários de pesquisa – ainda mais nas primeiras perguntas (veja a Dica nº 48)! Acho que não me arrisco muito se disser que tudo isso me parece um grande exemplo dos indesejáveis “jaque” ou “nice to know” a que eu me referi na Dica nº 3. Me arrisco menos ainda ao apostar que perguntas como essas, sobretudo no início de um questionário, provocam certo afastamento dos respondentes – mesmo daqueles que se propunham a colaborar com o restaurante, registrando as suas impressões e sugestões. Note bem: foram cinco perguntas até agora, e nenhuma delas teve nada a ver com a qualidade dos atributos do restaurante! Esperemos que isso finalmente entre em cena na próxima pergunta. Vamos a ela.

Sem incluir a sua visita ao XXX, quantas vezes nas últimas 4 semanas você comeu ou pediu comida em restaurante a La carte?

clip_image001[1]

  Qual é o problema?

Meu comentário:

Não acredito! Sexta pergunta, e o questionário ainda borboletando sobre hábitos do respondente! E agora o alvo sai do restaurante e foca em possíveis concorrentes. Além de se retardar demasiadamente a entrada no assunto, comete-se um erro primário de pesquisa: quem não comeu nem pediu comida de restaurante à la carte nas últimas semanas responde o quê?

Não responde, concorda, criterioso leitor? Ou mente, pois não lhe foi oferecida a opção “Nenhuma vez” – erro abordado na Dica nº 20.

Vem aí a sétima pergunta.

clip_image012

Qual é o problema?

Meu comentário:

O foco retorna ao nosso restaurante. E ainda não foi desta vez que se começou a perguntar o que realmente importa! O maior interesse dos proprietários parece ser os hábitos dos respondentes! Além disso, votam a cometer o erro apontado no comentário acima, sobre a falta de uma opção de resposta possível: se por acaso alguém “visitar” o restaurante (a propósito, “visitar” é um baita eufemismo, não acha, elegante leitor?) com frequência maior do que uma vez por semana, não terá uma opção para registrar isso. O correto teria sido completarem o texto “Uma vez por semana” com “ou mais”, da mesma forma como, na última opção de respostas, completaram “Uma vez por ano” com “ou menos”.

Que venha a oitava pergunta e, com ela, o início da avaliação do restaurante (é a nossa torcida).

Nos últimos 3 meses, sem contar com suas vindas ao XXX, quantas vezes você foi a outros restaurantes de estilo casual para o almoço, happy hour ou jantar? Escreva os números correspondentes em cada espaço.

01_ 

Qual é o problema?

Meu comentário:

Dante, na sua festejada obra-prima “A Divina Comédia”, descreve-nos a advertência gravada no portal do inferno: “Deixai toda a esperança, vós que entrais”. Lembrei-me disso ao ler a pergunta acima. A esta altura, já perdi toda a esperança de encontrar, nesse questionário, alguma pergunta sobre os atributos do restaurante. No caso particular desta pergunta, além dos problemas relatados anteriormente, temos um novo: a exigência de um esforço de memória do respondente, obrigado a se lembrar de quantas vezes, nos últimos três meses, foi almoçar, quantas foi jantar e quantas foi a happy hours em restaurantes de um determinado estilo. É demais! Na Dica nº 8 eu ressaltei o problema que é submeter o respondente a esse tipo de maus tratos. A esta altura, se algum heroico respondente ainda não desistiu do questionário, possivelmente irá responder às demais perguntas de qualquer jeito, para se livrar logo do fardo e poder imprimir o voucher que aparecerá ao final, dando-lhe direito ao brinde.

Que surpresa será que nos aguarda na nona pergunta?

clip_image016

Qual é o problema?

Meu comentário:

E eis que, depois de idas e vindas por outros restaurantes, vemo-nos de volta ao XXX! Uma das características de um mau questionário é a disposição das perguntas segundo a lógica do caminho de um bêbado (veja Dica nº 52)” . Com isso transmite-se ao respondente uma ideia de desorganização. Talvez pior ainda: de que o cliente da pesquisa não sabe bem o que quer e jogou as perguntas no questionário à medida que elas lhe ocorreram. Esse questionário acaba sendo didático pelos defeitos que ostenta.

Próxima pergunta: a décima.

clip_image018

Qual é o problema?

Meu comentário:

Tecnicamente falando, a pergunta, em si, não apresenta problemas. Perguntas como essa costumam ser úteis, pois servem como filtros (veja a Dica nº 47): caso o respondente diga que pediu comida para viagem, ele é poupado das perguntas que abordam o serviço no restaurante, o conforto do ambiente, etc. A questão, no caso em estudo, é que, feitas dez perguntas até aqui, ainda não se chegou ao que deveria constituir o cerne de um questionário de satisfação de clientes de um restaurante! Será que agora, na próxima pergunta – a 11ª?

clip_image020

Qual é o problema?

Meu comentário:

Meu Deus do céu! Qual o interesse em saber o motivo ou a ocasião da última visita ao restaurante?! Tenha a experiência sido gloriosa ou desastrosa, que diferença fará se o cliente foi ao restaurante para relaxar, para fazer uma social ou para se divertir?

A cada pergunta do tipo “nice to know” (ver Dica nº 3) – e elas abundam no questionário em análise –, maior é a minha suspeita de que estamos diante do caso clássico: quem não sabe o que perguntar pergunta tudo.

Ah! Um detalhe que você talvez goste de saber, interessado leitor: não importa o que a pessoa tenha respondido à 9ª pergunta, sobre o horário em que foi ao restaurante; as opções de resposta a esta 11ª são sempre as mesmas – inclusive “Jantar romântico” e “Um jantar divertido”. Ou seja: desmazelo total na criação do questionário!

Próxima pergunta: 12ª.

clip_image022

Qual é o problema?

Meu comentário:

Como comentei há pouco, a pergunta, em si, não encerra um erro técnico de pesquisa (se bem que eu preferia ver a palavra “bar” grafada com “b” minúsculo, assim como “salão” o foi com “s” minúsculo; um pouco de capricho nunca é demais). Se a marcação de uma ou outra opção levar o respondente para um ou outro grupo de questões, tudo bem. O problema é que... isso mesmo: a rigor, o questionário ainda não começou!

Quem sabe na 13ª pergunta, que se segue?

clip_image024

Qual é o problema?

Meu comentário:

Até estes comentários já ficaram chatos! O que temos nesta nova pergunta? O de sempre: pergunta-se tudo... menos o que se deve! Em geral, perguntas como essa servem para segmentar os resultados. Pode-se descobrir, sei lá, um padrão de avaliação de grupos grandes que difere, em larga medida, da avaliação de grupos menores. Mas querer saber o número exato de pessoas, em faixas de duas ou três, já é demais. Tente imaginar, criativo leitor, uma possível utilidade dessa informação para o restaurante. Se encontrar, me conte, por favor.

14ª pergunta, lá vamos nós!

clip_image026

Qual é o problema?

Meu comentário:

Pergunto-me, fiel leitor, se a Stasi, a polícia secreta da Alemanha Oriental nos tempos da Cortina de Ferro, conseguiu amealhar tanta informação sobre as pessoas do seu interesse quanto essa rede de restaurantes pretendeu com esse questionário! Muito mais simples era passar de uma vez à avaliação da comida, da bebida, do ambiente, etc. Caso o respondente só tivesse bebido, ele pularia as perguntas sobre a comida, devidamente orientado no próprio questionário. O mesmo se ele só tivesse comido. Da forma (canhestra) como o questionário foi concebido, pergunta-se, pergunta-se, aborrece-se o respondente e não se chega ao ponto central.

Quem sabe, na 15ª pergunta? Vejamos.

Lembrando da sua mais recente visita ao XXX Botafogo, por qual motivo você escolheu o XXX e não, outro restaurante?

clip_image001

Qual é o problema?

Meu comentário:

É... a uma altura dessas, já se pode afirmar com segurança que a opinião dos respondentes sobre a comida, o serviço, o ambiente, etc. tem importância secundária para os proprietários do restaurante. Observe, atento leitor, que esses atributos aparecem aqui pela primeira vez no questionário, mas como opções de resposta. Ou seja, não se perguntou ainda aos respondentes o que acharam da comida, do serviço, do ambiente, etc.; perguntou-se que motivos os levaram ao restaurante. Trata-se de duas coisas completamente diferentes – o indivíduo pode ter escolhido o restaurante pela qualidade da comida (já conhecida de outras idas) e detestado o sabor, a temperatura, etc. na vez em questão.

O que está acontecendo aqui, compenetrado leitor, é, na melhor das hipóteses, uma total inversão da ordem das perguntas. Digo “na melhor das hipóteses”, porque julgo que nenhuma (ou quase nenhuma) das perguntas feitas até aqui era necessária. Mas vai que eu esteja sendo atacado por uma miopia gigante e que as perguntas sejam todas elas justificáveis. OK; mesmo assim, eu ainda poderia argumentar que o lógico era que fossem todas feitas no fim, depois de colhidas as opiniões sobre o principal: a comida, a bebida, o serviço, o ambiente, etc.

Veja que situação, perplexo leitor: na minha opinião, as perguntas não deveriam constar do questionário; se é para constarem, estão no lugar errado!

Vejamos o que nos traz a 16ª pergunta.

clip_image030

Qual é o problema?

Meu comentário:

Não há dúvida de que a pergunta é importante, afinal o tempo de espera é, com certeza, um atributo a considerar numa pesquisa de satisfação de clientes de um restaurante. Ele se torna ainda mais importante, pois, como você logo verá, sequaz leitor, a pergunta seguinte indagará dos respondentes sua opinião sobre providências tomadas pela equipe durante a espera. O oferecimento de cinco opções de resposta permitirá ao analista segmentar os resultados segundo períodos de tempo de espera, sejam os cinco preestabelecidos, sejam grupamentos dos mesmos. Em suma: a pergunta se justifica e é importante (a única modificação que eu faria seria acrescentar a opção “não sei dizer”, só para não forçar os respondentes a registrar uma resposta que eles não dariam se não fossem expostos a ela). Mas isso é um detalhe; o grande problema da pergunta é o ponto do questionário onde ela aparece: a primeira pergunta que tem diretamente a ver com o âmago da pesquisa é a 16ª. É difícil justificar isso.

Passemos à 17ª, na qual são feitas perguntas sobre o período de espera.

As próximas questões serão sobre o tempo de espera no XXX Botafogo. Por favor, responda “Sim” ou “Não. Se a pergunta “Não se Aplica” ou você não sabe, use esta opção.

clip_image001[13]

Qual é o problema?

Meu comentário:

Bem, agora que, finalmente entramos nas “questões que interessam”, cabe voltar o foco da nossa análise para o aspecto técnico da elaboração das perguntas.

O que se deveria esperar de uma pergunta que trata de providências a serem tomadas pelo prestador de serviço em casos de espera de 30 minutos ou mais? Que ela só fosse apresentada a quem teve que esperar 30 minutos ou mais, certo? Em outras palavras, apenas a quem respondeu qualquer das três últimas opções da pergunta anterior, concorda, ponderado leitor? Os que assinalaram uma das duas primeiras seriam automaticamente direcionados à próxima pergunta de interesse.

Os aplicativos de pesquisa na web, produzidos por diversos fornecedores de softwares de coleta de dados online, trazem funcionalidades que dão conta disso com facilidade. Cabe, então, questionar: se essa 17ª pergunta foi exposta ao respondente, é porque, como resposta à pergunta anterior, ele assinalou alguma opção diferente das duas primeiras, certo? Nesse caso, por que, no item que encabeça a 17ª, é feita a ressalva “Se sua espera foi de pelo menos 30 minutos”? Isso não é óbvio?

Seria um tanto rigoroso classificar um tal descuido como erro de pesquisa, mas certamente é algo que um questionário feito com capricho não deveria deixar passar. Qual o problema? Sinaliza-se ao respondente como que uma desatenção ao que ele acabou de dizer. Passa-se para ele a impressão de que ele está sendo submetido a todas as perguntas do questionário, independentemente da sua situação individual. Chato isso.

E a situação oposta? Imagine essa 17ª pergunta aparecendo na tela de quem acabou de dizer que não teve que esperar por uma mesa ou que esperou menos de 30 minutos? Esses pobres respondentes, se quisessem prosseguir respondendo, teriam que respirar fundo, encher-se de paciência e assinalar a opção “Não se aplica” em todas as respostas!

Conclusão: se a pergunta apareceu porque era para aparecer mesmo, então que se retirasse a menção aos 30 minutos mínimos de espera, por ser óbvia e portanto desnecessária; se não era para ter aparecido, irá testar os limites da paciência dos respondentes aos quais ela não se aplica. Em qualquer dos casos, transmitirá infaustos recados aos respondentes.

Vamos para a 18ª pergunta.

Quais das afirmativas abaixo, melhor descreve a sua recente experiência no XXX?

clip_image001[5]

Qual é o problema?

Meu comentário:

Diga-me, sensato leitor: com que objetivo uma organização pergunta aos seus clientes se houve algum problema na prestação de seus serviços? Para tomar conhecimento do problema e providenciar as ações corretivas, concorda? Seguindo essa lógica de raciocínio, de que adiantaria saber que: a) houve um problema; b) ele foi reportado (ou não) para a equipe; e c) teve (ou não) uma solução satisfatória, se não se sabe que problema foi esse? Muito pouco, não é mesmo?

Nenhuma organização de serviços está imune à ocorrência de problemas. Uma postura infeliz no atendimento de um empregado, uma falha no processo de prestação, uma interferência gerada por outros clientes no local do serviço, um defeito num equipamento..., inúmeros fatores podem contribuir para a ocorrência de um problema. Caso as pesquisas revelem que a grande maioria dos problemas ocorridos foi resolvida a contento pelos empregados, menos mal: sinal de que pelo menos a seleção e o treinamento do pessoal estão sendo bem feitos. Mas mesmo assim... e se esses problemas, em sua maioria, se deverem a uma omissão ou falha no desenho do processo de prestação do serviço: por mais que eles estejam sendo resolvidos, não seria importante conhecê-los?

Com certeza, sim – isto é, em se tratando de empresas comprometidas com uma boa qualidade de serviço. É desnecessário dizer aqui o quão mais importante ainda seria, para essas empresas, conhecer os problemas que não foram satisfatoriamente resolvidos pelo staff ou que nem chegaram ao conhecimento deles.

À luz disso, qual você acha que deveria ser a próxima pergunta do questionário, coerente leitor? Indagar, dos que relataram a existência de algum problema, que problema foi esse, concorda? Bem, é só correr os olhos um pouco para baixo na sua tela, que você verá que isso não foi feito.

Eu fiz vários testes nesse questionário (dei várias respostas diferentes, cada uma simulando ser um respondente diferente) e pude constatar: se você diz que houve um problema, o sistema não lhe oferece uma oportunidade de descrevê-lo, tenha ele sido solucionado satisfatoriamente ou não. Só lhe perguntarão o que não lhe agradou se você responder uma das três opções de resposta... da próxima pergunta! Isso, no meu modo de ver, é uma falha.

Passemos agora à 19ª, 20ª e 21ª perguntas do questionário.

clip_image036

clip_image038

Qual é o problema?

Meu comentário:

Normalmente encerrando os questionários de satisfação de clientes, essas são três perguntas clássicas desse tipo de pesquisa (com a possível ressalva à fixação do prazo de 30 dias para o retorno, na última delas). As respostas a essas perguntas fornecem ao analista duas informações relevantes: uma visão geral que os respondentes têm sobre o assunto e uma comparação de possíveis – e importantes – contradições entre grupos de respostas. Por exemplo, se o respondente afirma que gostou muito do serviço, por que então não o recomendaria a amigos e familiares? Por que diria que não pretende voltar a consumi-lo numa próxima ocasião?

Bem, se as perguntas são tão importantes, por que eu as lancei aqui como um problema?

Por causa do ponto em que elas foram incluídas no questionário – sobretudo as duas últimas. Como eu disse há pouco, essas perguntas de caráter global costumam ser o fecho dos questionários de pesquisas de satisfação. É obrigatório que sejam deixadas para o fim? É obrigatório pedir a opinião geral só depois de se conhecerem as opiniões sobre todas as partes relevantes da questão em estudo?

Bem, obrigatório não é (falo em detalhes sobre isso na Dica nº 25); depende do que se deseja captar com essas perguntas. Que motivos poderiam ter os responsáveis pelas pesquisas para fazer essas perguntas globais antes das de avaliação das diferentes partes do todo? Uma boa resposta seria: receber respostas “puras”, isto é, não influenciadas por aspectos do serviço expostos aos respondentes pelo questionário (e que talvez não tivessem passado pela cabeça deles se não os tivessem lido). Não é um argumento desprezível; talvez assim se obtenham mesmo respostas mais espontâneas. E esse pode ter sido o motivo que levou o nosso restaurante a fazer essas perguntas nesse ponto do questionário.

Então, de novo: por que lancei esse grupo de perguntas como um problema?

Porque, atilado leitor, se o restaurante realmente quisesse obter as tais respostas “puras”, não conspurcadas por nenhum atributo do serviço, não teriam feito antes perguntas sobre a espera e sobre a ocorrência de problemas, concorda? Dessa forma, cai por terra o argumento das “respostas puras”. Como você logo verá, caro leitor, daqui a pouquinho aparecerão as perguntas sobre outros aspectos do serviço (aquelas pelas quais eu venho esperando desde o início destes comentários). Ou seja: as três perguntas globais, aqui analisadas, ficaram “espremidas” entre perguntas de avaliação de partes do serviço. E para isso não há justificativa plausível.

Conclusão: ou bem as perguntas gerais são feitas antes das específicas ou depois delas. Ficar no meio do caminho só serve para duas coisas: sinalizar desorganização do questionário e atrapalhar o fluxo de raciocínio dos respondentes.

Para se embrenhar um pouco mais no assunto, leia, além da já citada Dica nº 25, a Dica nº 52 e o Fique Esperto nº 7. E passemos à 22ª pergunta do questionário.

clip_image040

Qual é o problema?

Meu comentário:

E agora querem saber por que os frequentadores não vão mais, antes de perguntarem o que eles acham da comida, do serviço, do ambiente... Preciso dizer mais?

Ah, sim: ainda bem que eles previram a opção “Outros”, com um campo a ser preenchido pelo respondente, não acha, amigo leitor? Estou certo de que você consegue imaginar uma série de motivos, diferentes de distância e insatisfação, que fazem com que uma pessoa deixe de ir mais vezes a um determinado restaurante, não consegue?

Vamos para a 23ª pergunta.

Abaixo há algumas declarações que podem ou não descrever como foi a sua última experiência no XXX Botafogo. Por favor, indique o quão você concorda ou discorda em cada declaração. Se você não sabe ou não se lembra, então marque essa opção.

clip_image044

Qual é o problema?

Meu comentário:

E finalmente, depois de 22 perguntas, aparece aquela que constitui o âmago de um questionário de satisfação com um restaurante! Quantos respondentes será que abandonaram a pesquisa antes de chegar até aqui? Quantos outros terão respondido qualquer coisa, de modo a chegar logo ao fim, para poderem imprimir o voucher que lhes dava o direito ao aperitivo de brinde? Não sabemos dizer. O que podemos afirmar é que tanto a quantidade de questões quanto o conteúdo de várias delas e a ordem em que foram apresentadas demonstram um grande desacerto do questionário como um todo.

E sobre essa 23ª questão: será que não há nada a dizer?

Há, sim! Eu poderia dizer, por exemplo, que seu primeiro item fere o princípio descrito na Dica nº 5, que preconiza que não se pergunte mais de uma coisa em uma mesma pergunta. De fato, seria perfeitamente possível os bartenders estarem atentos aos clientes, não os deixando sem bebida nos copos ou na mesa, sem contudo interagirem com eles.

Poderia dizer que o quarto e o oitavo itens ferem o princípio descrito na Dica nº 51, que condena o uso de certas palavras em perguntas avaliadas com escalas de concordância. De fato, se a avaliação do item for baixa, os gerentes do restaurante não saberão se o serviço foi prestado devagar demais ou rápido demais. Ou se a comida veio fria ou tão quente que comprometeu o sabor ou queimou a língua do cliente?

Poderia dizer que o quinto e o sétimo itens ferem o princípio descrito na Dica nº 7, que preconiza que não se deve fazer ao respondente perguntas cujas respostas ele desconhece. De fato, como é que os clientes do restaurante poderão saber se “outros”(?!) funcionários pareciam animados? E como poderão saber se o restaurante só usa ingredientes frescos?

Poderia dizer que o último item praticamente “pede” aos respondentes que façam uma avaliação menor que a máxima. De fato, a menos que algo realmente extraordinário aconteça num almoço ou num jantar, é pouco provável que alguém repute como “incrível” a experiência de ir a um restaurante – sobretudo um que se autodenomina “casual”.

Poderia dizer, por fim, que o leiaute do quadro de perguntas e respostas fere o princípio descrito na Dica nº 49, que preconiza que opções de resposta como “Não se aplica” e similares não mantenham o mesmo espaçamento e formato que as demais, quando se usam escalas ordinais, isto é, quando as opções de resposta da escala principal guardam uma relação de ordenação entre si.

Ou seja: a questão fundamental do questionário apareceu finalmente, depois de 22 outras perguntas. Quando apareceu, apresentou inúmeros problemas.

Estamos chegando ao fim do questionário. Vejamos a 24ª pergunta.

De maneira geral, você diria que  sua experiência no XXX, foi melhor, pior ou a mesma comparada com a sua visita anterior?

clip_image001[15]

Qual é o problema?

Meu comentário:

Responda sinceramente, sóbrio leitor: qual é a utilidade dessa pergunta? Ponha-se no lugar de um executivo da rede de restaurantes: dentre o universo de respostas recebidas (vamos imaginar que muita gente tenha respondido o questionário), você deve encontrar várias ocorrências de cada opção (“melhor”, “pior” e “a mesma coisa”). O que você faria com essa informação? A avaliação mais recente teria melhorado (ou piorado ou se mantido igual) em relação a que base de comparação? Impossível saber; isso não é perguntado em momento algum no questionário!

Um respondente pode ter comparado um almoço de negócios com clientes potenciais, num dia de semana na filial A com um jantar de confraternização com um grupo de amigos numa noite de sexta-feira, na filial B. Quem poderá saber? Outro respondente pode ter comparado um happy-hour com colegas de trabalho na filial C com um almoço de domingo com a família, na filial D. E assim por diante. E daí?

Se ainda fosse possível dizer que os clientes avaliaram situações similares, talvez fosse possível concluir algo do tipo “Ah, então o treinamento que demos à equipe (ou a nova disposição que fizemos das mesas ou o novo espaço que providenciamos para a espera, etc.) gerou uma maior satisfação dos clientes (ou causou a sua insatisfação ou não surtou efeito)”. Sem isso, não vejo uma utilidade na pergunta, a não ser que as respostas revelem uma maciça avaliação num só sentido (melhorou, piorou ou manteve-se igual). Fora isso... parece-me que estamos diante de mais um exemplo de (tantos) “nice to know” (ver Dica nº 3).

Chegamos assim às últimas perguntas do questionário, que apresento a seguir, em bloco.

clip_image048

clip_image050

Qual é o problema?

Meu comentário:

Bem, antes de sair criticando esse bloco final de perguntas, quero dizer que ele tem de bom exatamente o fato de ser... final. Não, não me entenda mal, sarcástico leitor: eu não quis dizer que a única coisa boa do bloco é o questionário terminar enfim (embora eu pense exatamente isso, mas não o confessarei jamais!). O que eu quis dizer é que a boa prática de elaboração de questionários recomenda que se deixe esse tipo de perguntas (dados demográficos) para o fim. Então, nesse particular, o redator do questionário fez a coisa certa.

E quanto às perguntas: elas têm razão de ser? Bem, não deixam de ter alguma – por exemplo, sabendo-se a faixa etária dos respondentes, seria possível cruzá-la com a informação da companhia com que foram ao restaurante na última vez, com o motivo da ida e com a presença de filhos menores morando com eles, e assim desenvolver uma oferta voltada para esse grupo.

Ué! E há problemas nisso? Bem,... há. Um probleminha menor, facilmente corrigível, seria alterar a última opção de resposta da pergunta sobre a idade para “75 anos ou mais”. Isso porque, da forma como foram redigidas as opções de resposta, quem tem 75 anos de idade não se encaixa em nenhuma das opções fornecidas pelo restaurante (leia a respeito na Dica nº 20).

Mas há problemas maiores, no atacado e no varejo. No atacado, o problema seria o prosseguimento do massacre do respondente. Depois de uma chuva de perguntas até certo ponto impertinentes, em que se sinalizou para os respondentes que o restaurante estava muito mais interessado neles do que na avaliação que faziam do serviço, surgem mais cinco, igualmente sobre as respectivas pessoas físicas. Eu arriscaria dizer que, se não fosse o aceno do brinde (um aperitivo de graça numa próxima visita a um restaurante da rede), pouquíssimos clientes teriam chegado a esse ponto do questionário.

No varejo, há uma série de sinais de que os responsáveis pelo questionário estavam meio perdidos, atendo-se a minúcias totalmente desimportantes. Alguns exemplos: na pergunta sobre ocupação / atividade principal, vemos a opção “clérigos”. Ora, há pouco mais que 20.000 padres no País; você acredita, judicioso leitor, que valia a pena abrir uma categoria de ocupação para uma classe tão pouco numerosa, ainda mais ao lado de outras, como estudante, profissional e dona de casa? Quantos clérigos será que já frequentaram os restaurantes da rede? E qual o interesse em separar “operário em cargo técnico” de “operário”? Pergunto-me se a administração do restaurante realmente acredita que irá extrair alguma informação útil dessas respostas.

Na pergunta sobre estado civil, duas filigranas: uma é o desmembramento entre “separado” e “divorciado”. Será que não bastaria à alta administração do restaurante saber que o respondente já teve um cônjuge e não tem mais? Ainda precisa saber como se deu a separação de fato? A outra filigrana é a separação dos solteiros entre os que têm um relacionamento e os descompromissados. Diga você, ponderado leitor: faz alguma diferença? Eu arriscaria dizer que, entre o momento da coleta de dados e o da obtenção e apresentação dos resultados, muitos “estados” desses já teriam mudado!

Bem, chega de críticas, fatigado leitor. Desculpe se eu o aborreci com tantas rabugices, censuras e condenações, mas o fato é que o questionário que acabamos de analisar é tão ruim que acaba sendo didático. Fiz questão de ir mais fundo nele do que em vários outros que eu analiso neste blog, como forma de alertar os meus prezados leitores a não fazerem nada parecido. Para terminar, registro aqui o meu lamento pelo desconhecimento do Fique Esperto nº 10, revelado por todos os responsáveis por essa pesquisa do restaurante. Em breves e diretas palavras, o que é dito lá é: “Não encha o saco dos seus respondentes!”.

Teste Teste Teste