Azure / Azure/MachineLearningNotebooks
Pandas dataframes with array column values are not correctly persisted as AzureML datasets
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 4.4k
- Forks
- 2.6k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Pandas dataframes with arrays as column values seem to be incorrectly persisted. An example:
```python
test_df = pd.DataFrame({'x': [np.random.rand(1000) for _ in range(1000)]})
ds = Datastore.get_default(ws)
Dataset.Tabular.register_pandas_dataframe(test_df, ds, 'test_dataset')
test_df.head()
###
x
0 [0.5044850335733219, 0.6054305053424696, 0.669...
1 [0.41759815476145723, 0.266477750018155, 0.511...
2 [0.6777708610872593, 0.16925324567267985, 0.16...
3 [0.4268294269387616, 0.6540643485117185, 0.033...
4 [0.6560106490417036, 0.5804652379458484, 0.582...
Dataset.get_by_name(ws, 'test_dataset').to_pandas_dataframe().head()
###
x
0 ERROR
1 ERROR
2 ERROR
3 ERROR
4 ERROR
```
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginnen Sie mit der Python-Reproduktion unter Verwendung von Dataset.Tabular.register_pandas_dataframe und to_pandas_dataframe, und verfolgen Sie dann, wie Pandas-Spalten mit Array-Werten serialisiert und wieder eingelesen werden. Fügen Sie einen Regressionstest für den gezeigten Dataframe hinzu oder aktualisieren Sie ihn, und überprüfen Sie, dass die persistierten Werte als Arrays statt als ERROR einen Roundtrip durchlaufen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- pandas, python
- Bereich
- data, machine-learning
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100