speed of cfa
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 150
- Forks
- 23
- Ø Merge
- 1 T. 11 Std.
- Gemergte PRs (30 T.)
- 2
Beschreibung
Dear @davidhassell and @sadielbartholomew
A few months ago I recall David reporting much faster time for cfa processing pp files. I've installed the latest version of cf-python and dependencies, I believe:
>>> cf.environment(paths=False)
Platform: Linux-3.10.0-1160.108.1.el7.x86_64-x86_64-with-glibc2.17
HDF5 library: 1.12.2
netcdf library: 4.9.3-development
udunits2 library: libudunits2.so.0
esmpy/ESMF: not available
Python: 3.9.13
dask: 2023.7.0
netCDF4: 1.6.4
psutil: 5.9.0
packaging: 21.3
numpy: 1.25.1
scipy: 1.10.0
matplotlib: 3.5.2
cftime: 1.6.2
cfunits: 3.3.6
cfplot: not available
cfdm: 1.11.1.0
cf: 3.16.1
$ cfa
Using cf-python library version 3.16.1 at /home/users/sws02jmg/.local/lib/python3.9/site-packages/cf
In /storage/basic/baobab/jonathan/general/exprzb.000100 on the RACC I am executing cfa -f CFA4 -o nca *.pp. The directory contains 42,000 pp files, each containing one pp field. So far, it has been executing for a couple of hours. Should it take this long?
Best wishes and thanks
Jonathan
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne am Einstiegspunkt des cfa-Befehls und reproduziere cfa -f CFA4 -o nca *.pp mit den 42.000 einfeldrigen .pp-Dateien im angegebenen Verzeichnis. Miss die Konvertierungszeit und untersuche das Laufzeitverhalten des Befehls, um festzustellen, ob die Verlangsamung reproduzierbar ist; abgeschlossen ist die Aufgabe, wenn du die beobachtete Leistung erklärst oder einen konkreten Engpass identifizierst.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- cli, performance
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100