Medição

Visibilidade em IA: como ler um resultado sem se enganar com o percentual

Um resultado de 60% pode contar uma história menos sólida que um de 30%. A diferença pode estar nas respostas que faltam. Com um caso numérico construído, vamos ver o que verificar antes de celebrar uma melhora ou transformá-la em prioridade.

Dois discos amarelos iguais dentro de molduras pretas de tamanhos diferentes.
Ilustração editorial da KAIRUM · a mesma observação muda de sentido quando a moldura muda.

Leia o escopo antes da porcentagem

Antes de perguntar se um número é alto ou baixo, revise quais perguntas o produziram, em qual ambiente, quando e com qual cobertura.

Um diagnóstico não estima todas as conversas em uma ferramenta nem descreve sozinho o comportamento de outra interface ou modelo.

Torne o denominador visível

Uma porcentagem de presença exige uma definição de resposta válida e um número explícito de observações. Falhas e respostas incompletas acompanham o resultado como cobertura.

Mudar o denominador pode alterar a porcentagem mesmo com a mesma quantidade de menções. Documente os dois valores.

O dobro do percentual. As mesmas seis menções.

30%Observação A

6 menções em 20 respostas válidas. Cobertura: 20/25.

60%Observação B

6 menções em 10 respostas válidas. Cobertura: 10/25.

Exercício sintético, não resultados da KAIRUM. A cobertura cai de 20 para 10 respostas válidas entre 25 previstas; falhas não são contadas como ausência da marca.

O caso: 30% e 60% podem descrever a mesma contagem

No exercício da figura, são planejadas 25 observações em cada período. Em A, há 20 respostas válidas e a marca aparece em 6: 6 ÷ 20 = 30%. Em B, há apenas 10 respostas válidas e também 6 menções: 6 ÷ 10 = 60%. O percentual dobrou; a contagem de menções ficou igual.

A cobertura passou de 80% para 40%. Não sabemos o que as respostas ausentes teriam dito. Contá-las como respostas sem menção esconderia a falha; descartá-las sem mostrar a cobertura esconderia outra parte do problema. Antes de interpretar a mudança, investigue os erros e o conjunto de perguntas que recebeu resposta.

Volte às linhas: falharam as mesmas intenções, a superfície foi mantida e quais perguntas têm resposta nos dois períodos? Um subconjunto comum pode ajudar na comparação, desde que seu tamanho e suas exclusões estejam visíveis.

Compare condições compatíveis

Duas capturas podem usar perguntas, idiomas, modelos ou modos de busca diferentes. Sua diferença pode refletir essas condições além de mudanças de conteúdo.

Mantenha uma versão comum de perguntas, identifique os ambientes e registre datas. Explique mudanças de condições antes de interpretar a comparação.

  • Mesmo objetivo e conjunto comparável de perguntas.
  • Idioma e contexto preservados ou mudanças documentadas.
  • Ambiente e modelo identificados quando possível.
  • Cobertura, erros e regras de cálculo visíveis.
  • Respostas e fontes consultáveis por trás do resumo.

Quando a comparação preserva a amostra

Agora suponha outro exercício com condições compatíveis e 20 respostas válidas nos dois períodos: a marca passa de aparecer em 6 para aparecer em 9. A presença vai de 30% para 45%. São 15 pontos percentuais de diferença, ou aumento relativo de 50%. As duas expressões estão aritmeticamente corretas, mas precisam da contagem ao lado para serem interpretadas.

Nem essa diferença comprova o efeito de uma intervenção. As respostas podem variar entre execuções. Registre as repetições previstas e evite tratar reformulações parecidas como pessoas independentes. Essa amostra não mede participação de mercado nem a frequência de todas as conversas.

Diferencie observação, hipótese e efeito

Observação: a marca apareceu em mais respostas da amostra. Hipótese: uma melhoria de conteúdo pode ter contribuído. Conclusão causal: aquela intervenção produziu a mudança. A terceira exige um desenho que avalie outras explicações.

Uma comparação antes e depois ajuda a acompanhar a evolução, mas também podem mudar modelo, fontes e respostas entre execuções. Evite atribuir o movimento automaticamente a uma ação.

Documente uma decisão revisável

Uma prioridade útil indica a resposta que a motiva, a fonte a revisar e um próximo passo. Se a evidência for insuficiente, investigue mais.

Separe resultados de visibilidade, visitas e contatos comerciais. A cadeia completa exige observações distintas e não é demonstrada por uma menção.

Uma nota de decisão que possa ser discutida

Tente escrever quatro linhas: o que observamos, com qual evidência, qual explicação estamos considerando e o que vamos revisar. Por exemplo: “Na amostra comparável, há três respostas adicionais com menção. Revisaremos suas fontes e a descrição da marca antes de propor mudanças”. Essa nota admite revisão e evita transformar uma associação em causa.

Se a pergunta é se chegaram visitas ou contatos, abra essa análise nas fontes correspondentes. O Google explica que o tráfego de seus recursos de IA entra no desempenho geral de pesquisa Web do Search Console. Esse relatório e um registro de respostas observadas descrevem populações distintas; um não valida automaticamente o outro.

Fontes e referências

Analytics
Da leitura ao próximo passo

Uma boa pergunta pode iniciar seu próximo diagnóstico.

Com AI Report, podemos definir uma amostra, revisar respostas e fontes e documentar o que merece atenção.

Conhecer AI Report