Site pronto para agentes de IA, sem anunciar o que não existe
Por que o site passou a entregar Markdown a agentes de IA e a anunciar o que oferece, e por que metade da lista da auditoria ficou de fora de propósito.
- commit
7f136e3(williandsantos.com)- Author:
- Willian D. Santos
- Date:
Site pronto para agentes de IA, sem anunciar o que não existe
registro 8 de 8 no ramo williandsantos.com
Contexto
No dia em que liguei a indexação, passei o site pelo isitagentready.com, a auditoria da Cloudflare que mede se um site está preparado para agentes de IA. O resultado foi nota 20, nível 1, com 16 itens falhando.
Antes de mexer em qualquer coisa, li as instruções de cada item, a documentação da Cloudflare e a spec da AgentReady, que organiza o assunto em três partes: encontrar, ler e agir. Também testei o site direto. O básico já estava certo: o robots.txt libera todos os robôs, inclusive os de IA, o endereço inexistente devolve 404 de verdade, o firewall não barra GPTBot, ClaudeBot nem PerplexityBot, e o HTML sai completo, sem depender de JavaScript. A maior parte da nota baixa vinha de itens feitos para sites com API protegida, login e agentes próprios.
O que mudou
- O robots.txt ganhou o Content-Signal, que declara as preferências de uso por IA. Mantive os três em sim: busca, respostas de IA e treino, como eu já tinha decidido em 5 de novembro.
- Cada página do sitemap ganhou uma versão em Markdown, gerada no build a partir do texto principal do HTML, sem menus, sumários e botões.
- O Worker passou a entregar essa versão a quem pede a página com
Accept: text/markdown. Navegadores continuam recebendo HTML. - As páginas passaram a anunciar, no cabeçalho
Link, a versão em Markdown, o/llms.txt, o catálogo de APIs e o feed. - As duas APIs públicas de leitura, o índice de conteúdo e a timeline do Agora, ganharam um catálogo em
/.well-known/api-cataloge uma descrição OpenAPI.
Depois do deploy a auditoria foi para o nível 4.
A decisão
Fiz só o que serve a um site editorial: ajudar o agente a encontrar e ler. Ficaram de fora OAuth, auth.md, servidor MCP, cartão de agente, Agent Skills, WebMCP e registros de DNS para agentes. Publicar metadados de OAuth convidaria agentes a tentar entrar no painel, que é só meu. Os cartões de MCP e de agente anunciariam coisas que não existem, e o WebMCP exigiria JavaScript em todas as páginas.
Para o Markdown, a Cloudflare tem uma conversão pronta, mas ela é dos planos Pro em diante e a documentação não garante que funcione num site servido por Worker. Preferi gerar no build e servir pelo próprio Worker. Isso me deu duas opções: negociar só na Home, que já passava pelo Worker, ou fazer o Worker rodar primeiro em todas as páginas. Fiquei com a segunda. Cada visita passa a contar como uma execução do Worker, e o plano pago comporta isso com folga. Arquivos do build, imagens, o painel e o laboratório continuam saindo direto.
Por que importa
Cada vez mais gente chega a um conteúdo pela resposta de um assistente, e não pela busca. Se o agente lê a página limpa, com título, data e endereço canônico, a resposta sai mais fiel ao que eu escrevi e aponta para o lugar certo. Anunciar só o que existe também conta: um agente que segue um cartão vazio volta sem nada e passa a confiar menos no site.
Pendências e próximo passo
- Deixar desligados, no painel da Cloudflare, o bloqueio de robôs de IA e o robots.txt gerenciado, que contradizem essa decisão.
- Se o site ganhar um servidor MCP de leitura dos artigos, rever o cartão de MCP e o catálogo de recursos.
- O que entrou e o que ficou de fora está documentado no repositório, para a próxima auditoria não refazer a discussão.
Registro escrito no dia da decisão, a partir da sessão de trabalho e dos commits.
