MagicStack / MagicStack/asyncpg

copy_from_query drops headers if any postgis NOTICE/LOCATION messages produced

Offen
#1,264 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Python
Sterne
8.1k
Forks
468
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

when using Connection.copy_from_query I had a statement which eventually resolved to something like:

COPY (
    select 1
    from field_year_crop_variety_layer fycvl
    cross join filters
    join field_meta fm on
        fm.field_id = fycvl.field_id and
        (filters.filter_geometry is null or st_intersects(filters.filter_geometry, fm.centroid))
    order by fycvl.field_id, fycvl.harvest_year, fycvl.layer_id, fycvl.crop, fycvl.variety
    limit '100000'::int
) TO STDOUT (FORMAT 'csv', HEADER True)

where filter_geometry is a geometry, and fm.centroid is a geography.

and no matter what I did asyncpg would not return the headers. It wasn't until I broke it down and ran it from psql that I noticed the output:

field_id,harvest_year,layer_id,crop,variety,is_precision_data,date_period,avg_date,data_is_missing,missing_data_message,crop_variety_layer_area_m2,geometry,computed_at
NOTICE:  00000: Coordinate values were coerced into range [-180 -90, 180 90] for GEOGRAPHY
LOCATION:  geography_from_geometry, geography_inout.c:510
NOTICE:  00000: Coordinate values were coerced into range [-180 -90, 180 90] for GEOGRAPHY
LOCATION:  geography_from_geometry, geography_inout.c:510
143011,2017,0,corn,unknown,t,"[2017-04-25,2017-04-26)",2017-04-24,f,,7240.833,,1752130305.616610

sure enough, if I fixed the bug (casting fm.centroid to a geometry) the headers appeared. This seems like a bug in asyncpg when interpreting the data returned.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne mit Connection.copy_from_query und führe die bereitgestellte COPY-Abfrage gegen PostgreSQL mit aktivierten PostGIS NOTICE/LOCATION-Meldungen erneut aus. Verfolge, wie diese Meldungen zusammen mit der COPY-Ausgabe verarbeitet werden; abgeschlossen ist die Aufgabe, wenn die zurückgegebenen Daten ihren CSV-Header behalten, sobald solche Meldungen erzeugt werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
postgresql, python
Bereich
databases
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.