Json inference of multiple files is brittle

Currently, we run the inference on a per file basis, and limit the number of records over all files. This means that if the first file has 1000 entries and the second 1000, and we run the inference with a max of 1000 rows, the whole inference will be based on the first file alone.

IMO we should distribute the rows at least evenly with the number of files we are inferring. In the case above, this would correspond to 500 lines for each file.

Aucun fichier ni aucun test n’est mentionné dans l’issue. Commencez par localiser le point d’entrée de l’inférence JSON par fichier et les tests couvrant la limite maximale de lignes ; le travail est terminé lorsque l’inférence répartit la limite entre plusieurs fichiers au lieu de la consommer uniquement sur le premier fichier.

Rédigé par le modèle d'indexation à partir du texte de l'issue.