Consider excluding crawlers by default

Anecdotally, we have had a number of users complain about their name and email address being made available to spiders. This could be done by adding a robots.txt file to a pod.

Solid, being a privacy first framework, should consider excluding crawlers by default.

It would be relatively easy subsequently to turn it on via a dashboard, or an app.

The downside to the approach is that an adoption vector of finding people via search engine is lost. And ability to create a social graph.

I'm personally unsure on the trade off here.

Good idea / Bad idea / Thoughts?

Không có tệp, bài kiểm thử hoặc điểm vào nào được nêu. Trước tiên, hãy làm rõ liệu việc loại trừ crawler có nên là mặc định hay không và người dùng sẽ đăng ký cho phép thông qua dashboard hoặc app như thế nào, sau đó kiểm tra hành vi phục vụ pod của server. Công việc được xem là hoàn tất khi có một chính sách đã được thống nhất và một kế hoạch triển khai có tính đến sự đánh đổi giữa quyền riêng tư và khả năng được phát hiện.