MagicStack / MagicStack/asyncpg

set_type_codec() doesn't work with copy_records_to_table()

オープン
#762 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

主要言語
Python
スター
8.1k
フォーク
469
平均マージ
18分
マージ済み PR(30日)
4

説明

  • asyncpg version: 0.23.0
  • PostgreSQL version: 9.5.21
  • Do you use a PostgreSQL SaaS? If so, which? Can you reproduce
    the issue with a local PostgreSQL install?
    : No and this is on a local PSQL install.
  • Python version: 3.6.13
  • Platform: Ubuntu 16.04.6 LTS
  • Do you use pgbouncer?: No
  • Did you install asyncpg with pip?: Yes
  • If you built asyncpg locally, which version of Cython did you use?: n/a
  • Can the issue be reproduced under both asyncio and
    uvloop?
    : Not tried

The following:

    await conn.set_type_codec(
        "numeric",
        encoder=str,
        decoder=float,
        schema="pg_catalog",
    )

Doesn't work when used with copy_records_to_table()

 ...
 File "asyncpg/protocol/protocol.pyx", line 504, in copy_in
  File "asyncpg/protocol/protocol.pyx", line 437, in asyncpg.protocol.protocol.BaseProtocol.copy_in
asyncpg.exceptions._base.InternalClientError: no binary format encoder for type numeric (OID 1700)

This is despite solving issue https://github.com/MagicStack/asyncpg/issues/157 which added a binary format codec for numeric types - https://github.com/MagicStack/asyncpg/commit/0f8483517ebde66f3c7cc858fa6ad227c6e3fd64

Can we get the ability to provide a custom decoder without having to also provide an encoder then internally just fall back to the default encoder? I believe it should solve the issue. E.g.

    await conn.set_type_codec(
        "numeric",
        decoder=float,
        schema="pg_catalog",
    )

or

    await conn.set_type_codec(
        "numeric",
        encoder=None,
        decoder=float,
        schema="pg_catalog",
    )

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

issue の数値例を使って set_type_codec() と copy_records_to_table() で失敗を再現します。asyncpg/protocol/protocol.pyx の copy_in と BaseProtocol.copy_in から開始し、カスタム Codec がどのように選択されるかを追跡します。copy_records_to_table() が numeric 用のエンコーダーを引き続き取得しながら、カスタムデコーダーを使用できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
postgresql, python
領域
databases
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。