Inqui-Lab: Improving duplicate-detection

Aperta
#1,108 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
ai, backend

Direzione di ricerca

Inizia tracciando la pipeline di rilevamento dei duplicati e di scoring LLM nel backend, quindi esamina come vengono assemblati i prompt e come Input app fornisce i risultati. Conferma con il team di Input app la separazione, il passaggio di consegne e il comportamento desiderati per la revisione umana. Il lavoro è completato quando il segnale di duplicato concordato raggiunge la fase LLM successiva e il suo effetto sul punteggio di novità è documentato e testato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Is your feature request related to a problem?
The pilot testing of the input app revealed inadequate duplicate detection, the need for a global knowledge base, and the correlation between duplicate detection and topic relevance. This lack affects processing effectiveness and user experience.

Describe the solution you'd like

  • Keep duplicate detection separate from L2 scoring, using weighted averages in post-processing.
  • Improve communication about duplicate detection accuracy (40–50%) and maintain a human-in-loop.
  • Utilize the model's trained knowledge for cost-effective duplicate assessment.
  • Integrate duplicate detection results as input for the next LLM stage.
  • Adjust prompts to guide LLM on handling duplicate results and novelty scoring.
  • Collaborate with the Input app team on prompt modifications while limiting Google search use.
Original issue

Context

Input app pilot testing (~2,000 dataset) surfaced missing duplicate detection, a desire for a global knowledge base, and duplicate detection linked to topic relevance. These are mostly prompt + pipeline changes.

Approach

Option 1:

  • Keep duplicate detection independent of L2 scoring; handle it in post-processing via a weighted average (a flagged idea may still be strong relative to the cohort — a decision input, not a score penalty).
  • Duplicate detection is ~40–50% accurate — communicate plainly, keep human-in-loop.
  • Cheaper alternative to global web search: lean on the model's trained knowledge via rubric wording ("if the idea is generally common, score lower on novelty").
    Option 2:
  • Feed the duplicate-detection result as an input into the next LLM stage (not done today).
  • Prompt then instructs the LLM to consider the duplicate result and assign appropriate novelty scores.
  • Need the Input app team's help on how they want the prompt changes shaped.
  • Keep some scope for Google search but treat cautiously (nondeterministic wide search).
Lingua principale
Python
Stelle
18
Fork
10
Merge medio
2g 20h
PR unite (30g)
14

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ProjectTech4DevAI/kaapi-backend

Tutte le issue di ProjectTech4DevAI/kaapi-backend

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.