addyosmani / addyosmani/agentic-seo

Error: No AI crawlers are explicitly allowed in robots.txt

Aberta
#5 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
JavaScript
Estrelas
309
Forks
50
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

Repro:
agentic-seo --url https://docs.nvidia.com/dynamo/getting-started/quickstart
OR
agentic-seo --url https://docs.nvidia.com/dynamo/getting-started/quickstart.md (ran sequentially)

Warning returned:
△ [Robots.txt AI Access] No AI crawlers are explicitly allowed in robots.txt.

There's a robots.txt at https://docs.nvidia.com/robots.txt and it does explicitly allow AI crawlers (not that it should be needed as robots is an **exclusion protocol,** not a permissions protocol).

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.