Azure / Azure/MachineLearningNotebooks

Pandas dataframes with array column values are not correctly persisted as AzureML datasets

Aperta
#1,587 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
ADO bug MLOps
Lingua principale
Jupyter Notebook
Stelle
4.4k
Fork
2.6k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Pandas dataframes with arrays as column values seem to be incorrectly persisted. An example:

```python
test_df = pd.DataFrame({'x': [np.random.rand(1000) for _ in range(1000)]})
ds = Datastore.get_default(ws)
Dataset.Tabular.register_pandas_dataframe(test_df, ds, 'test_dataset')

test_df.head()
###
x
0 [0.5044850335733219, 0.6054305053424696, 0.669...
1 [0.41759815476145723, 0.266477750018155, 0.511...
2 [0.6777708610872593, 0.16925324567267985, 0.16...
3 [0.4268294269387616, 0.6540643485117185, 0.033...
4 [0.6560106490417036, 0.5804652379458484, 0.582...

Dataset.get_by_name(ws, 'test_dataset').to_pandas_dataframe().head()
###
x
0 ERROR
1 ERROR
2 ERROR
3 ERROR
4 ERROR
```

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Iniziate con la riproduzione in Python usando Dataset.Tabular.register_pandas_dataframe e to_pandas_dataframe, quindi tracciate il modo in cui le colonne Pandas con valori array vengono serializzate e rilette. Aggiungete o aggiornate un test di regressione per il dataframe mostrato e verificate che i valori persistiti completino il round-trip come array invece di ERROR.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
pandas, python
Ambito
data, machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.