apache / apache/accumulo-testing

Explore writng a specialized summarizer for bulk ingest

Offen
#97 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Java
Sterne
19
Forks
40
Ø Merge
21 Std. 30 Min.
Gemergte PRs (30 T.)
1

Beschreibung

To debug a recent bulk ingest test I wrote the following summarizer. This summarizer counted the number of times each UUID was seen. I used to count the number of entries each map reduce job had created.

```java
package test.ci;

import org.apache.accumulo.core.client.summary.CountingSummarizer;

public class CiUuidSummarizer extends CountingSummarizer{

@Override
protected Converter converter() {
return (k,v,c) -> c.accept(v.toString().split(":")[0]);
}

}

```

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Start by reading the recent bulk ingest test that motivated the CiUuidSummarizer example and the Accumulo CountingSummarizer entry point. Clarify which summarization behavior is required, then define the implementation and test criteria; the issue currently does not specify what done looks like.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.