Database for evaluating the language models

### Proposal
Create a database with real-world samples of claims that need to be checked, and use the database to evaluate the performance of Aletheia agents.

### Data source

Claims manually added to aletheiafact.org database.

### Data structure

This is the most complicated part because there is an intrinsic relationship between the data structure and how it will be used.

A starting point would be:

|Column|Description|
|---|---|
|Claim|The text that needs to be verified|
|Date|The date the claim was made|
|Tags|A list with the tags associated with that claim. These should agree with Wikidata's entities|
|Questions|A list with the questions that will lead to the claim verification|
|Data Sources|A list with the documents used to answer the questions. If the `data source` is embedded in the report, we can ignore this column|
|Report|The report generated after the `questions` have been answered|
|Report Debriefing|The "line of thought" used when (i) creating the questions, (ii) looking for documents with supporting facts, (iii) answering the questions, and (iv) writing the report|
|Report Summary|A brief version of the report|
|Label|The resulting label|

For example, the data from [this claim](https://aletheiafact.org/personality/nikolas-ferreira/claim/discurso-dado-pelo-deputado-nikolas-ferreira-na-tribuna-da-camara-dos-deputados-no-dia-internacional-das-mulheres/sentence/4092d724a13e33088309cffb967d7a70) would be:

|Column|Content|
|---|---|
|Claim|(...) As mulheres estão perdendo seu espaço para homens que se sentem mulheres.|
|Date|2023-03-08|
|Tags|Transfobia, Empregabilidade-Trans, Transgeneridade, Causa-Feminina|
|Questions|Quais são as políticas de inclusão de gênero que existem no Brasil?
Qual é a taxa de candidatura de pessoas trans em eleições políticas?
Qual é a taxa de pessoas trans empregadas em serviços fixos atualmente?
O discurso apresentado por Nikolas Ferreira pode ser considerado transfóbico?|
|Data Sources|1. https://www.tse.jus.br/legislacao/codigo-eleitoral/lei-das-eleicoes/lei-das-eleicoes-lei-nb0-9.504-de-30-de-setembro-de-1997
2. https://antrabrasil.files.wordpress.com/2022/09/canditaturas-trans-em-2022-05set2022-2.pdf
3. https://www.justicaeleitoral.jus.br/tse-mulheres/#estatisticas
4. https://antrabrasil.files.wordpress.com/2018/02/relatc3b3rio-mapa-dos-assassinatos-2017-antra.pdf
5. https://www.prefeitura.sp.gov.br/cidade/secretarias/upload/direitos_humanos/LGBT/AnexoB_Relatorio_Final_Mapeamento_Pessoas_Trans_Fase1.pdf|
|Report|Segundo a [Lei das Eleições (Lei 9504/1997)1](https://aletheiafact.org/personality/nikolas-ferreira/claim/discurso-dado-pelo-deputado-nikolas-ferreira-na-tribuna-da-camara-dos-deputados-no-dia-internacional-das-mulheres/sentence/4092d724a13e33088309cffb967d7a70#Lei%20das%20Elei%C3%A7%C3%B5es%20(Lei%209504/1997)), é necessário que exista no mínimo 30% e no máximo 70% de vagas para cargos de cada sexo em partidos políticos, para as eleições da Câmara dos Deputados, Câmara Legislativa do Distrito Federal, Assembleias Legislativas e Câmaras Municipais. Importante ressaltar que o próprio projeto de lei, em atualização feita em 2018, salienta que a expressão “cada sexo” se refere ao gênero a qual a pessoa se identifica, não o gênero atribuído a ela pelo nascimento. Essa lei foi criada com o intuito de ter um ambiente mais diverso e mais inclusivo dentro do meio político.O cenário político brasileiro, no entanto, conta com uma baixa participação feminina e, ainda menor, participação de pessoas trans. Dados coletados pela [Associação Nacional de Travestis e Transexuais (ANTRA)2](https://aletheiafact.org/personality/nikolas-ferreira/claim/discurso-dado-pelo-deputado-nikolas-ferreira-na-tribuna-da-camara-dos-deputados-no-dia-internacional-das-mulheres/sentence/4092d724a13e33088309cffb967d7a70#Associa%C3%A7%C3%A3o%20Nacional%20de%20Travestis%20e%20Transexuais%20(ANTRA)) mapearam por volta de 78 candidaturas trans em 2022 no Brasil - sendo 69% de travestis e mulheres trans, 5 de homens trans e 5 candidaturas de pessoas não-binárias, sendo que apenas 6 candidatas chegaram a ser eleitas. No contexto de pessoas cisgênero, temos atualmente [por volta de 18% de mulheres3](https://aletheiafact.org/personality/nikolas-ferreira/claim/discurso-dado-pelo-deputado-nikolas-ferreira-na-tribuna-da-camara-dos-deputados-no-dia-internacional-das-mulheres/sentence/4092d724a13e33088309cffb967d7a70#por%20volta%20de%2018%%20de%20mulheres) ocupando cargos políticos, desde a eleição de 2022. Ainda com base nos estudos feitos pela ANTRA, em um relatório publicado em 2017 que analisava o mapa de assassinatos de pessoas trans no Brasil, mostra que 90% da população de Travestis e Transexuais acabam por [utilizar da prostituição como fonte de renda4](https://aletheiafact.org/personality/nikolas-ferreira/claim/discurso-dado-pelo-deputado-nikolas-ferreira-na-tribuna-da-camara-dos-deputados-no-dia-internacional-das-mulheres/sentence/4092d724a13e33088309cffb967d7a70#utilizar%20da%20prostitui%C3%A7%C3%A3o%20como%20fonte%20de%20renda), e possibilidade de subsistência. É estimado que 13 anos de idade é a média em que Travestis e Transexuais são expulsas da casa pelos pais. No relatório ainda é dito que 56% das pessoas trans ou travestis não possuem o ensino fundamental completo, 72% não possuem o ensino médio e, por fim, apenas 0,02% estão no ambiente acadêmico universitário. Segundo [relatório da Prefeitura de São Paulo5](https://aletheiafact.org/personality/nikolas-ferreira/claim/discurso-dado-pelo-deputado-nikolas-ferreira-na-tribuna-da-camara-dos-deputados-no-dia-internacional-das-mulheres/sentence/4092d724a13e33088309cffb967d7a70#relat%C3%B3rio%20da%20Prefeitura%20de%20S%C3%A3o%20Paulo) quanto a vivência trans, as áreas técnicas que mais agregam mulheres trans e travestis são as atividades de serviço (saúde, embelezamento, alimentação, hotelaria e atividades domésticas), atingindo um total de 27% e 23% da população, respectivamente; sendo seguida pela área de vendas e comércio, com respectivamente 18% dentre as travestis e 21% dentre as mulheres trans.Homens trans, por outro lado, apresentam uma formação em ciências sociais e humanas (19% nessa área), nesse mesmo grupo também conseguimos encontrar uma quantidade expressiva de travestis e mulheres trans (ambos com 15%), além de pessoas não-binárias (14%).A pesquisa também mostrou que 58% da população trans entrevistada estava empregada no momento das entrevistas, tendo um ênfase para pessoas não-binárias, que apresentaram um percentual maior de empregabilidade (64%).Por fim, ao analisarmos a situação socioeconômica que a maioria das mulheres trans e travestis no Brasil, fica inerente de que não há uma disputa concreta entre essa minoria e as mulheres cisgênero - as oportunidades se diferem muito, principalmente na questão de que o nível de educação é separado de forma desigualitária. Ter mulheres trans e travestis em cargos públicos, como na Câmara dos Deputados, é quase um privilégio - dos 18% de mulheres eleitas (91) presentes no cenário político, existe uma estimativa de que apenas 6 transfemininas conseguiram cargos pós-eleição de 2022.Outro ponto relevante quanto ao assunto, é que há um discurso ideológico concreto por meio do deputado federal, Nikolas Ferreira, ao citar personagens bíblicas como personagens femininas fortes e retomar padrões ligados à feminilidade que já estão sendo abandonados nos dias de hoje - como a fixação pela maternidade e matrimônio. Sendo assim, o discurso apresentado no dia das mulheres tem caráter transfóbico e falso, já que não apresenta o parâmetro real das situações empregatícias no universo feminino - seja ele cisgênero ou transgênero.|
|Report Debriefing|1. A partir do discurso, procuramos saber como funcionava a divisão de cargos por sexo no congresso. Com isso, foi possível fazer uma primeira análise de qual seria o espaço que as mulheres trans estariam, supostamente, ocupando.2. Com isso já formalizado, procuramos quantas mulheres atualmente estão exercendo cargos de poder dentro da política. O TSE Mulheres, por exemplo, foi um caminho para chegarmos a esse dado - assim como o relatório do ANTRA sobre candidaturas trans em 2022.3. Por fim, procuramos os temas de empregabilidades de mulheres transgênero, novamente pelo ANTRA e pelo mapeamento de pessoas trans pela prefeitura de São Paulo.|
|Report Summary|A fala do Deputado está equivocada e apresenta um caráter transfóbico - o qual se enquadra como crime desde 2018. As informações não relevam a quantidade de mulheres trans e travestis presentes no senado, quiçá no universo empregatício voltado para o mundo feminino - sendo o primeiro alvo de problemas graves socioeconômicos que faz com que os indivíduos se voltem para a prostituição e venda de seus corpos.|
|Label|Falso|

### Usage

* Question evaluation -- Given a claim, how well did the language model perform in predicting the questions that guide to the claim verification?
* Data search -- Can a web crawler find the documents used to answer these questions?
* Data analysis -- Given the data used by the human fact-checker, can the model analyze the text and generate satisfactory answers to the questions?
* Report generation -- How good is the report generated by the agent?
* Label prediction -- How accurate is the label prediction?

### Ideas

* **Can questions be reused?** When creating the questions that can be made about a claim, the agent could search on a data bank of questions that had already been answered to save time. So instead of looking for "similar claims", the agent will be looking for "similar questions about a claim". I believe this would make it easier to track how a given "answer" (e.g. "how many women were elected in the federal level?") evolves over time.