addyosmani / addyosmani/agentic-seo

Error: No AI crawlers are explicitly allowed in robots.txt

Abierto
#5 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
JavaScript
Estrellas
309
Forks
50
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Repro:
agentic-seo --url https://docs.nvidia.com/dynamo/getting-started/quickstart
OR
agentic-seo --url https://docs.nvidia.com/dynamo/getting-started/quickstart.md (ran sequentially)

Warning returned:
△ [Robots.txt AI Access] No AI crawlers are explicitly allowed in robots.txt.

There's a robots.txt at https://docs.nvidia.com/robots.txt and it does explicitly allow AI crawlers (not that it should be needed as robots is an **exclusion protocol,** not a permissions protocol).

Guía de contribución

Abrir la guía de contribución

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.