Consider excluding crawlers by default

Anecdotally, we have had a number of users complain about their name and email address being made available to spiders. This could be done by adding a robots.txt file to a pod.

Solid, being a privacy first framework, should consider excluding crawlers by default.

It would be relatively easy subsequently to turn it on via a dashboard, or an app.

The downside to the approach is that an adoption vector of finding people via search engine is lost. And ability to create a social graph.

I'm personally unsure on the trade off here.

Good idea / Bad idea / Thoughts?

Es werden keine Dateien, Tests oder Einstiegspunkte genannt. Kläre zunächst, ob der Ausschluss von Crawlern standardmäßig gelten sollte und wie sich Nutzer über ein Dashboard oder eine App dafür entscheiden würden, und untersuche anschließend das Verhalten des Servers beim Bereitstellen von Pods. Als abgeschlossen gilt die Aufgabe, wenn eine abgestimmte Richtlinie und ein Implementierungsplan vorliegen, der den Zielkonflikt zwischen Datenschutz und Auffindbarkeit berücksichtigt.