MagicStack / MagicStack/asyncpg

no binary format encoder for type jsonb

Ouverte
#1,144 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Langage dominant
Python
Étoiles
8.1k
Forks
468
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

  • asyncpg version: 0.29.0

  • PostgreSQL version: 16

  • Do you use a PostgreSQL SaaS? If so, which? Can you reproduce
    the issue with a local PostgreSQL install?
    :

  • Python version: 3.11

  • Platform: 5.10.0-21-arm64 #1 SMP Debian 5.10.162-1 (2023-01-21) aarch64 GNU/Linux

  • Do you use pgbouncer?:no

  • Did you install asyncpg with pip?: yes

  • If you built asyncpg locally, which version of Cython did you use?:

  • Can the issue be reproduced under both asyncio and
    uvloop?
    : yes

,asyncpg.exceptions._base.InternalClientError: no binary format encoder for type jsonb (OID 3802)

async def insert_binary(self, table, rows):
	if rows:
		rows = common_function.convert_data_type(rows, decimal.Decimal, float, )
		columms = rows[0].keys()
		data = []
		for row_index, rows_once in enumerate(rows):
			data_once = [rows_once[columns_once] for columns_once in columms]
			data.append(tuple(data_once))
		conn = await self.connect()
		await conn.copy_records_to_table(table,records=data, columns=rows[0].keys())
		await conn.fetch('SELECT 1')
		await conn.close()

I've tried various methods, but I couldn't manage to insert binary data. I've tried using decoders and other approaches. It seems like it needs a binary decoder, not a text one, but I haven't figured out how to represent it in binary. I'd appreciate any help.


await conn.set_type_codec(
	"jsonb",
	encoder=lambda data: b"\x01" + common_function.decoder.dumps(data, False),
	decoder=lambda data: common_function.decoder.loads(data[1:]),
	schema="pg_catalog",
	format="binary"
)
await conn.set_type_codec(
	'numeric'
	, encoder = lambda f: str(f).encode('utf8')
	, decoder = lambda b: b.decode('utf8')
	, schema='pg_catalog'
	, format='binary'
)


"This also doesn't work."

"I replaced 'numeric' with 'float' (database field types), and the problem 'no binary format encoder for type numeric' disappeared. However, I couldn't figure out which format decoder is needed for JSON."

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par copy_records_to_table et set_type_codec, puis reproduisez l’échec signalé pour PostgreSQL jsonb (OID 3802) avec binary format. Suivez ensuite la gestion existante des codecs JSON et numériques, puis vérifiez que les enregistrements jsonb au format binary format sont acceptés sans l’erreur d’encodeur signalée.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
postgresql, python
Domaine
databases
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.