cindex is silently ignoring some text files and there's no way to tell why

I have a couple of text files (UTF-8, with mostly ASCII and Cyrillic characters) which cindex/csearch ignore.

The worst problem is that I cannot tell why cindex ignores them, there is no "verbose" option to cindex. Maybe there is a character somewhere in the file cindex does not like but how do I tell?

`iconv -f utf-8 -t utf-16 < text/book1.txt > /dev/null` never complains so I presume the book1.txt file is valid UTF-8. But cindex excludes it from search.

codesearch version:
codesearch/oldstable,now 0.0~hg20120502-3+b11 amd64 on Debian 10.

The problem may be related to https://github.com/google/codesearch/issues/26

Beginne beim Indizierungspfad von cindex und dem Verhalten von csearch, indem du das Problem mit text/book1.txt und der UTF-8/iconv-Prüfung des Issues reproduzierst. Verfolge nach, warum die Datei ausgeschlossen wird, und stelle eine überprüfbare Erklärung für die Auslassung auf; abgeschlossen ist die Aufgabe, wenn die Ursache und eine Möglichkeit zu ihrer Diagnose klar sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.