docling-project / docling-project/docling

Multi-column text with 3 column pdf is extracted partly in wrong order

Open
#1,835 1 comment 0 reactions 0 assignees View on GitHub
bug triage/close-stale
Dominant language
Python
Stars
66.4k
Forks
4.8k
Avg merge
2d 21h
Merged PRs (30d)
84

Description

### Bug
Multi-column text with 3 column pdf is extracted partly in wrong order. Last part of text from column 2 appears in chunk after first part of text from column 3.

### Steps to reproduce

from docling.document_converter import DocumentConverter
from docling.chunking import HybridChunker

DOC_SOURCE = "test.pdf" # https://fiia.fi/wp-content/uploads/2023/09/comment10_iso-britannian-ja-suomen-puolustusyhteistyo-2020-luvulla.pdf
doc = DocumentConverter().convert(source=DOC_SOURCE).document

chunker = HybridChunker()
chunk_iter = chunker.chunk(dl_doc=doc)

for i, chunk in enumerate(chunk_iter):
print(f"=== {i} ===")
print(f"chunk.text:\n{chunk.text}")
print()

...

=== 3 ===
chunk.text:
Maantieteellisestä etäisyydestä huolimatta Iso-Britannia on 2010luvun jälkipuoliskolta alkaen osoittanut suurta kiinnostusta Suomen lähialueiden turvallisuuskysymyksiin. Esimerkiksi Iso-Britannian käynnistämä Joint Expeditionary Force (JEF) -yhteistyö - jossa Suomikin on ollut mukana vuodesta 2017 - on painottunut yhä enemmän Itämeren alueeseen muun muassa korkean tason keskustelujen ja yhteisten harjoitusten muodossa. Toukokuussa 2022 Iso-Britannia antoi Suomelle ja Ruotsille kahdenväliset turvallisuusvakuutukset Nato-jäsenyysprosessin ajaksi.

=== 4 ===
chunk.text:
**toimijana, joka suorimmin vaikuttaa niiden omaan turvallisuuteen. Iso-Britannia tulkitsee Venäjän uhkaavan avointa kansainvälistä järjestystä, mutta viime vuosina huomiota ovat herättäneet myös konkreettisemmat huolenaiheet. Näihin lukeutuvat esimerkiksi merenpohjassa kulkevien kaapelien haavoittuvuus sekä venäläisten sukellusveneiden ja ilma-alusten lisääntynyt toiminta Brittein saarten liepeillä.**
Useat tekijät edistävät Ison-Britannian ja Suomen yhteistyötä niin kahden- ja monenvälisesti kuin Natonkin puitteissa. Ensinnäkin molemmat maat näkevät Venäjän

=== 5 ===
chunk.text:
Toisekseen sekä Iso-Britannia että Suomi ovat kiinnostuneita arktisen alueen puolustuksesta. Iso-Britannia näkee itsensä 'alueen lähimpänä naapurina', joskaan sen mielenkiinto arktista aluetta kohtaan ei ole itsestäänselvyys vaan on virinnyt samaa tahtia kuin Venäjän ulkopolitiikka on muuttunut
SYYSKUU 2023
aggressiivisemmaksi. Isolla-Britannialla on toki kokemusta sotilaallisesta toiminnasta pohjoisilla alueilla jo kylmän sodan ajoilta.

### Docling version

Docling version: 2.37.0
Docling Core version: 2.38.1
Docling IBM Models version: 3.6.0
Docling Parse version: 4.0.5
Python: cpython-312 (3.12.3)
Platform: Linux-6.6.87.1-microsoft-standard-WSL2-x86_64-with-glibc2.39

### Python version

Python 3.12.3

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.