apache/stormcrawler

Auf GitHub ansehen

A scalable, mature and versatile web crawler based on Apache Storm

Sterne: 995
Forks: 292
Offene Anfänger-Issues: 0
Indexierte Issues: 30
Ø Merge: 2 T. 49 Min.
Gemergte PRs (30 T.): 62

Vorherrschende Sprache: Java
Lizenz: Apache-2.0
Letzter GitHub-Push: 13.9.2026
Zuletzt indexiert: 14.9.2026
Beitragsleitfaden: Beitragsleitfaden
Verhaltenskodex: Verhaltenskodex
Anfänger-Labels: good first issue help wanted

Offen Alle

Bisher 29 offene Issues indexiert

URLPartitionerBolt to partition on arbitrary metadata value Offen

core enhancement good first issue

apache/stormcrawler#85 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Normalise HTTP headers Offen

core fetcher good first issue help wanted

apache/stormcrawler#108 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Remove needsDOM() in ParseFilter Offen

good first issue help wanted question

apache/stormcrawler#158 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Adaptative URL filter to normalize URLs based on canonical tag Offen

good first issue

apache/stormcrawler#315 · 6 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 14.9.2026
Capture stats about hosts on status stream post fetching Offen

good first issue ideas

apache/stormcrawler#504 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
wish: WARCHdfsBolt with CDX index Offen

good first issue help wanted warc wish

apache/stormcrawler#567 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
New XPATH implementation based on JSON file and organised per hostname or domain Offen

core enhancement good first issue

apache/stormcrawler#586 · 0 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 14.9.2026
Delete redirected pages Offen

core good first issue

apache/stormcrawler#994 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
[Improvement] Work towards Maven 4 Compatibility Offen

good first issue help wanted

apache/stormcrawler#1662 · 2 Kommentare · 0 Reaktionen · 1 zugewiesene Person · Indexiert am 14.9.2026
[Improvement] Add configuration to stop parsing PDFs after X pages Offen

enhancement

apache/stormcrawler#1901 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Refactor FetcherBolt Offen

core enhancement fetcher

apache/stormcrawler#2057 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
fetcher.timeout.queue silently drops URLs Offen

bug core fetcher

apache/stormcrawler#2058 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
http.basicauth credentials are attached to every request, whatever the host Offen

apache/stormcrawler#2089 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
A response header named set-header becomes a request header directive Offen

apache/stormcrawler#2090 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Response headers can populate the reserved verbatim request and response metadata keys Offen

apache/stormcrawler#2091 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
CharsetIdentification retries the meta charset lookup ten bytes at a time by recursing, and the call sits outside JSoupParserBolt's catch block Offen

apache/stormcrawler#2092 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
AbstractLLMTextExtractor pastes page HTML into the prompt unescaped and returns the reply unchecked Offen

apache/stormcrawler#2093 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Playwright browser context stops validating certificates as soon as a proxy is configured Offen

apache/stormcrawler#2094 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Playwright protocol applies neither the IP filter nor the URL filters to the requests it makes Offen

apache/stormcrawler#2095 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Tika ParserBolt puts no limit on the extracted text and no time limit on the parse Offen

apache/stormcrawler#2097 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
URLFrontier channels are always plaintext and the module has no TLS option Offen

apache/stormcrawler#2098 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Response headers named metrics.* are fed straight into the fetcher metric registry, and a non-numeric one fails the fetch Offen

apache/stormcrawler#2099 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Gzipped sitemap files are expanded with no size bound, and SiteMapParserBolt reads Content-Type under a key that is never present Offen

apache/stormcrawler#2100 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
HostURLFilter memoizes the source host in plain fields shared by all fetcher threads Offen

apache/stormcrawler#2101 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
SCProxy.toString() rebuilds the proxy URL with user and password, and the protocol logs it Offen

apache/stormcrawler#2102 · 1 Kommentar · 0 Reaktionen · 1 zugewiesene Person · Indexiert am 14.9.2026
OpenSearch addresses default to http and Basic credentials are registered for any host Offen

apache/stormcrawler#2103 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Enable Storm dynamic producer batching in the archetype configurations Offen

apache/stormcrawler#2131 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
fetcher.thread.timeout: cancel the okhttp call instead of interrupting a helper thread Offen

apache/stormcrawler#2134 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026
Politeness keys do not collapse IDN host spellings (unicode vs punycode) Offen

apache/stormcrawler#2145 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 14.9.2026

apache/stormcrawler

Neue Issues direkt in Ihr Postfach