[FEA]: Does cutile-python have plans to integrate NCCL as the communication backend?
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 2.2k
- Forks
- 155
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Is this a new feature, an improvement, or a change to existing functionality?
New Feature
How would you describe the priority of this feature request?
High
Please provide a clear description of problem this feature solves
Integrating NCCL with CuTile-Python enables compute-communication operator fusion.
Feature Description
Are there plans to integrate NCCL as the communication backend? Thx.
Describe your ideal solution
def allgather_gemm():
nccl_device.allgather()
gemm()
Describe any alternatives you have considered
No response
Additional context
No response
Contributing Guidelines
- I agree to follow cuTile Python's contributing guidelines
- I have searched the open feature requests and have found no duplicates for this feature request
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Das Issue nennt keine Dateien, Tests oder Einstiegspunkte. Beginne damit, die Abstraktionen für Kommunikation oder Geräte-Backends von cuTile-Python sowie die vorhandene Unterstützung für kollektive Operationen zu lokalisieren, und bestimme dann, ob sich die NCCL-Integration in die Projektarchitektur einfügt. Als erledigt gilt die Aufgabe, wenn der Implementierungsumfang für NCCL-basierte Kommunikation festgelegt und ein validierter Weg für das allgather-plus-GEMM-Beispiel vorhanden ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- distributed-systems
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100