NCAS-CMS / NCAS-CMS/cf-python

Allow access to netCDF-4 files in S3 object stores

Offen
#712 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

dataset read enhancement
Vorherrschende Sprache
Python
Sterne
150
Forks
23
Ø Merge
1 T. 11 Std.
Gemergte PRs (30 T.)
2

Beschreibung

Currently netCDF files are only opened and read by the netCDF4 library. However, netCDF4 can't read files in S3 object stores.

h5netcdf, on the other hand can, access S3 netCDF-4 files (but not netCDF-3).

A new default behaviour for an arbitrary file should be to try netCDF4, and fall back on h5netcdf if that doesn't work. There should also be the option to cf.read to specifically choose one or other of the libraries.

Access to an S3 object store may require credentials, which will need to be passed in via a new cf.read argument.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Start by tracing the cf.read entry point and how it currently selects the netCDF4 library. Define the behavior for automatic fallback, explicit library selection, and credentials passed to S3 access. Done means netCDF-4 files in S3 can be read through h5netcdf while existing netCDF-3 access remains supported.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
cloud, data
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.