Define tokenizer strategy

## Summary
Define how conventional commit messages will be tokenized for both n-gram lookup and neural fallback.

## Success Criteria
- [ ] Tokenization strategy chosen (BPE, WordPiece, character, or hybrid)
- [ ] Special tokens defined (, , , etc.)
- [ ] Vocabulary size determined
- [ ] Tokenizer can be trained on our dataset
- [ ] Roundtrip test: tokenize → detokenize preserves meaning

## Context
The tokenizer must work well for both:
1. **N-gram lookup**: Needs discrete, interpretable tokens
2. **Neural fallback**: Needs subword handling for rare terms

## Considerations
- Conventional commits have structured grammar (type(scope): subject)
- Technical terms may need subword tokenization
- Should we use different tokenizers for different components?

Non vengono indicati file, test o punti di ingresso. Inizia individuando i componenti n-gram e neural fallback, quindi confronta le opzioni del tokenizer con la grammatica strutturata di conventional-commit e i requisiti relativi ai termini rari. Il lavoro è completato quando sono disponibili una strategia documentata, decisioni su special-token e vocabulary, un tokenizer addestrabile e un test di roundtrip superato.

Scritto dal modello di indicizzazione a partire dal testo della issue.