deeplearning4j / deeplearning4j/deeplearning4j-docs

DataVec: End-to-end examples of transforms

Aperta
#60 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
documentation
Lingua principale
HTML
Stelle
56
Fork
42
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

This issue has been migrated from https://github.com/deeplearning4j/deeplearning4j/issues/5213

Original author @AlexDBlack

----

https://github.com/deeplearning4j/DataVec/issues/355

> #### Issue Description

> As a total newcomer to datavec transform processes, it was very difficult for me to infer how to build a full transform pipeline. With the exception of @tomthetrainer's easy to follow [video](https://www.youtube.com/watch?v=MLEMw2NxjxE), I was lost on how to properly work with CSV data.

> This issue is to address the need for an example that does the following:

> 1. Works with a complex CSV of different types (categorical, integers, doubles strings)
> 2. Shows how to use custom conditions and transforms to replace null values
> 3. Shows how to do advanced transformation, including applying advanced code on string values (for example, CSV has human input text and we want to classify it before passing further into pipeline)
> 4. Shows how to save to Hadoop map file, then load it into an MLP into training.
> 5. Shows how to do advanced schemas for complex CSVs (what happens when you have 5,000 columns!?).

> #### Version Information

> Please indicate relevant versions, including, if relevant:

> Master, current, etc.

> #### Contributing

> I'm very happy to contribute here. First, I'd like to find out if there's more that should be on this example before continuing.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia con l’issue migrata di DataVec e il video collegato per comprendere il workflow di trasformazione richiesto. Il lavoro è completo quando un esempio eseguibile end-to-end copre lo schema CSV complesso, la sostituzione dei valori null, l’elaborazione personalizzata delle stringhe, la persistenza di Hadoop map-file e il flusso di addestramento MLP.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
hadoop
Ambito
data-engineering, documentation
Tipo di issue
Documentazione
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.