NVIDIA / NVIDIA/cutile-python

[FEA]: Does cutile-python have plans to integrate NCCL as the communication backend?

Offen
#65 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

feature request status: in-progress
Vorherrschende Sprache
Python
Sterne
2.2k
Forks
155
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Is this a new feature, an improvement, or a change to existing functionality?

New Feature

How would you describe the priority of this feature request?

High

Please provide a clear description of problem this feature solves

Integrating NCCL with CuTile-Python enables compute-communication operator fusion.

Feature Description

Are there plans to integrate NCCL as the communication backend? Thx.

Describe your ideal solution

def allgather_gemm():
nccl_device.allgather()
gemm()

Describe any alternatives you have considered

No response

Additional context

No response

Contributing Guidelines
  • I agree to follow cuTile Python's contributing guidelines
  • I have searched the open feature requests and have found no duplicates for this feature request

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Das Issue nennt keine Dateien, Tests oder Einstiegspunkte. Beginne damit, die Abstraktionen für Kommunikation oder Geräte-Backends von cuTile-Python sowie die vorhandene Unterstützung für kollektive Operationen zu lokalisieren, und bestimme dann, ob sich die NCCL-Integration in die Projektarchitektur einfügt. Als erledigt gilt die Aufgabe, wenn der Implementierungsumfang für NCCL-basierte Kommunikation festgelegt und ein validierter Weg für das allgather-plus-GEMM-Beispiel vorhanden ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
distributed-systems
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.