addyosmani / addyosmani/agentic-seo

Error: No AI crawlers are explicitly allowed in robots.txt

オープン
#5 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
JavaScript
スター
309
フォーク
50
PR マージ指標
30日以内にマージされた PR はありません

説明

Repro:
agentic-seo --url https://docs.nvidia.com/dynamo/getting-started/quickstart
OR
agentic-seo --url https://docs.nvidia.com/dynamo/getting-started/quickstart.md (ran sequentially)

Warning returned:
△ [Robots.txt AI Access] No AI crawlers are explicitly allowed in robots.txt.

There's a robots.txt at https://docs.nvidia.com/robots.txt and it does explicitly allow AI crawlers (not that it should be needed as robots is an **exclusion protocol,** not a permissions protocol).

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。