allenai / allenai/wimbd

Openwebtext index can not fetch all hits

Aperta
#20 9 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
229
Fork
22
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

This is a very good project! But I encountered a problem.
I wrote a function to retrieve all documents containing a certain word from an index, but it doesn't work when I use the openwebtext index. (When I use c4 index it works well. )
I traced the codes and found that these codes
`results = es.search(
index=index,
query=query,
size=num_documents,
sort=sort,
search_after=results[-1]["sort"]
)["hits"]["hits"]`
in the function `get_documents_containing_phrases` cannot return any results.
I couldn't find the reason, so I came here for help.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.