NVIDIA / NVIDIA/cutile-python

[Question] Clarification on FP8 Micro-block Scaling and FP4 Support Timeline

Aperta
#47 6 commenti 3 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

status: resolved
Lingua principale
Python
Stelle
2.2k
Fork
155
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Hi cuTile team,

I have two specific questions regarding the support for Blackwell-specific hardware features:

  1. Automatic Micro-block Scaling for FP8
    When using fp8 with ct.matmul, how is the Micro-block Scaling (1x16) handled?

Automation: Does the tileiras compiler automatically handle the scaling logic and hardware invocation (5th-gen Tensor Core) under the hood?

Explicit Scaling: If it is not fully automatic, how should we provide the scale-factor tiles to the ct.matmul operator? Currently, the ct.matmul(A, B) signature seems to only accept data tiles. Is there a plan for a signature like ct.matmul(A, B, A_scale, B_scale)?

  1. NVFP4 (FP4) Support Roadmap
    The current documentation and samples focus on fp8 and bf16. Since Blackwell's throughput peak is tied to NVFP4:
    When can we expect the support for 4-bit narrow-precision tiles in cuTile Python?

Thanks for this great library!

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Esamina la documentazione Python attuale di cuTile e gli esempi per fp8, bf16 e ct.matmul, quindi confrontali con le domande dell’issue relative a Micro-block Scaling e NVFP4. Il lavoro è completo quando è documentato se lo scaling è automatico, come vengono forniti gli scale-factor tiles in caso contrario e quale sia la tempistica prevista per il supporto degli FP4 tiles.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
compilers
Tipo di issue
Documentazione
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.