Separate IPFS file hosting: subgraph core files vs. arbitrary use files

Ouverte
#5,572 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
20/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
À l'abandon
Stack technique
rust
Domaine
backend, distributed-systems, infrastructure

Piste de recherche

L’issue mentionne graph-node, des chemins IPFS gateway séparés (/files et /subgraphs), middleware et configuration, ainsi que IPFS cluster, mais ne contient ni fichiers ni tests. Commencez par transformer les exigences de gateway et d’operator en un plan concret ; le travail sera considéré comme terminé lorsque les fichiers subgraph principaux utiliseront un hébergement protégé séparé, tandis que l’hébergement de fichiers arbitraires restera sur la configuration existante.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

area/ipfs hardening infra Stale

Background

We have two major classes of files hosted on IPFS: core subgraph files (manifests, schemas, mappings) and files to be synced by subgraphs with file data sources (arbitrary user files such as images, and text documents).

I propose we separate the storage and access points for these two classes of files in order to provide better fault separation, and to prioritize robustness of the core subgraph file hosting.

Proposal

Let's setup a new IPFS gateway for subgraph core files, ensure only core subgraph files are pinned and accessed via that gateway, and start to use IPFS cluster for other core devs and indexers to begin hosting these files too. For now the arbitrary file hosting can use the existing paradigm until we redesign that setup. In the meantime at least the subgraph core file hosting will be robust and fast for network participants.

Tasks

  • Setup new IPFS gateway for subgraph core files, located at ipfs.network.thegraph.com/subgraphs (just a strawman URL, let's discuss)
  • Protect subgraph core IPFS with middleware and configurations that only allows subgraph core files to be pinned to it and accessed from it.
  • Update graph-node to use different IPFS gateways for subgraph core objects then it does for FDS files. Needs plan. Do we supply a single IPFS gateway URL and the graph-node uses different paths for each gateway /files or /subgraphs? Or do we allow operator to supply different endpoints for each?
  • Setup IPFS cluster for the subgraph core IPFS gateway and bring in at least one operator running a node.
Langage dominant
Rust
Étoiles
3.2k
Forks
1.1k
Merge moyen
4 j 1 h
PR mergées (30 j)
1

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de graphprotocol/graph-node

Toutes les issues de graphprotocol/graph-node

Issues similaires

Plus d'issues Rust

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.