Evaluate adding Registry.crawl(until=URI)

This is a potential performance enhancement / laziness enhancement -- we could stop crawling a registry when a particular URI of desire is found -- perhaps relatedly we could store crawled URIs in a trie or something so we go directly to the most likely location to find the resource (e.g. look in http://example.com/foo first if we're looking for http://example.com/foo/bar).

crawl(until=None) (the default) would crawl the entire set of uncrawled resources, i.e. the current behavior.

Doing this should first come with some benchmarking.

Inizia dal punto di ingresso Registry.crawl e verifica come crawl(until=None) gestisce attualmente le risorse non ancora sottoposte a crawling. Definisci i benchmark richiesti prima di modificare il comportamento, quindi determina in che modo un target URI opzionale e una ricerca basata su trie influirebbero sul design. Il lavoro è completato quando il target può interrompere il crawling una volta trovato, mentre il comportamento predefinito continua a eseguire il crawling di tutte le risorse non ancora sottoposte a crawling e i risultati dei benchmark vengono registrati.