Azure / Azure/MachineLearningNotebooks

Pandas dataframes with array column values are not correctly persisted as AzureML datasets

Offen
#1,587 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
ADO bug MLOps
Vorherrschende Sprache
Jupyter Notebook
Sterne
4.4k
Forks
2.6k
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Pandas dataframes with arrays as column values seem to be incorrectly persisted. An example:

```python
test_df = pd.DataFrame({'x': [np.random.rand(1000) for _ in range(1000)]})
ds = Datastore.get_default(ws)
Dataset.Tabular.register_pandas_dataframe(test_df, ds, 'test_dataset')

test_df.head()
###
x
0 [0.5044850335733219, 0.6054305053424696, 0.669...
1 [0.41759815476145723, 0.266477750018155, 0.511...
2 [0.6777708610872593, 0.16925324567267985, 0.16...
3 [0.4268294269387616, 0.6540643485117185, 0.033...
4 [0.6560106490417036, 0.5804652379458484, 0.582...

Dataset.get_by_name(ws, 'test_dataset').to_pandas_dataframe().head()
###
x
0 ERROR
1 ERROR
2 ERROR
3 ERROR
4 ERROR
```

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie mit der Python-Reproduktion unter Verwendung von Dataset.Tabular.register_pandas_dataframe und to_pandas_dataframe, und verfolgen Sie dann, wie Pandas-Spalten mit Array-Werten serialisiert und wieder eingelesen werden. Fügen Sie einen Regressionstest für den gezeigten Dataframe hinzu oder aktualisieren Sie ihn, und überprüfen Sie, dass die persistierten Werte als Arrays statt als ERROR einen Roundtrip durchlaufen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
pandas, python
Bereich
data, machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.