NCAS-CMS / NCAS-CMS/cf-python

speed of cfa

Offen
#736 7 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

question um/pp
Vorherrschende Sprache
Python
Sterne
150
Forks
23
Ø Merge
1 T. 11 Std.
Gemergte PRs (30 T.)
2

Beschreibung

Dear @davidhassell and @sadielbartholomew

A few months ago I recall David reporting much faster time for cfa processing pp files. I've installed the latest version of cf-python and dependencies, I believe:

>>> cf.environment(paths=False)
Platform: Linux-3.10.0-1160.108.1.el7.x86_64-x86_64-with-glibc2.17
HDF5 library: 1.12.2
netcdf library: 4.9.3-development
udunits2 library: libudunits2.so.0
esmpy/ESMF: not available
Python: 3.9.13
dask: 2023.7.0
netCDF4: 1.6.4
psutil: 5.9.0
packaging: 21.3
numpy: 1.25.1
scipy: 1.10.0
matplotlib: 3.5.2
cftime: 1.6.2
cfunits: 3.3.6
cfplot: not available
cfdm: 1.11.1.0
cf: 3.16.1

$ cfa
Using cf-python library version 3.16.1 at /home/users/sws02jmg/.local/lib/python3.9/site-packages/cf

In /storage/basic/baobab/jonathan/general/exprzb.000100 on the RACC I am executing cfa -f CFA4 -o nca *.pp. The directory contains 42,000 pp files, each containing one pp field. So far, it has been executing for a couple of hours. Should it take this long?

Best wishes and thanks

Jonathan

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne am Einstiegspunkt des cfa-Befehls und reproduziere cfa -f CFA4 -o nca *.pp mit den 42.000 einfeldrigen .pp-Dateien im angegebenen Verzeichnis. Miss die Konvertierungszeit und untersuche das Laufzeitverhalten des Befehls, um festzustellen, ob die Verlangsamung reproduzierbar ist; abgeschlossen ist die Aufgabe, wenn du die beobachtete Leistung erklärst oder einen konkreten Engpass identifizierst.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
cli, performance
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.