continuedev / continuedev/continue

M365: Diseño inicial de modelo semántico y pipelines para Power BI desde SharePoint/Graph

Open
#13,111 0 comments 0 reactions 0 assignees View on GitHub

Nobody has claimed this yet.

Dominant language
TypeScript
Stars
36k
Forks
5.4k
PR merge metrics
No merged PRs in 30d

Description

Resumen

  • Añade artefactos iniciales para extraer datos de SharePoint (Microsoft Graph) y alimentar Power BI: modelo semántico, plantillas/guidance de Power BI, scripts ETL de ejemplo y documentación de linaje y refresh.

Archivos añadidos (ruta relativa)

  • infra/m365/data/README.md
  • infra/m365/data/model.md
  • infra/m365/data/powerbi_template.md
  • infra/m365/data/lineage_and_refresh.md
  • infra/m365/data/etl/README.md
  • infra/m365/data/etl/sharepoint_graph_to_blob.py

Qué contiene cada artefacto

  • model.md: tablas/datasets iniciales (Sites, Libraries, Documents, Lists, ListItems, Users, ActivityEvents), mapeo a endpoints Graph y un diagrama ER básico (mermaid).
  • powerbi_template.md: guía para dataflows y PBIX, recomendaciones de modelado, incremental refresh y mapeo de entidades.
  • etl/sharepoint_graph_to_blob.py: script Python ejemplo que usa MSAL + Graph para extraer metadatos y escribir parquet en Azure Blob/ADLS (usa variables de entorno para credenciales).
  • lineage_and_refresh.md: linaje propuesto, cadencias de refresh sugeridas y recomendaciones de monitoreo.

Acciones solicitadas / checklist

  • Revisar y validar el modelo semántico vs. inventario real de listas y bibliotecas (owner: Producto / BI)
  • Validar permisos necesarios para la App Registration (owner: Infra/Seguridad)
  • Probar los scripts en entorno sandbox con datos reales (owner: Data engineering)
  • Crear pipelines de ingest (ADF / Databricks / Functions) que reemplacen los scripts de ejemplo y programar refresh en Power BI Service (owner: Data engineering)
  • Añadir plantillas de Dataflow (JSON) o PBIX de ejemplo en un PR posterior si se requiere (owner: BI)

Notas

  • No se provisiona nada automáticamente — estos son artefactos y ejemplos. No incluir secretos en el repo.
  • Para extracción incremental recomendamos usar endpoints delta o registrar lastModified watermark.

Por favor revisar y comentar. Una vez aprobado, propondré un plan para implementar pipelines reutilizando ADF + triggers hacia Power BI REST API para refresh.

Contributor guide

Open the contributing guide

First steps

  1. Read the whole issue, then the project's contributing guide.
  2. Comment on the issue to say you are picking it up — it saves two people doing the same work.
  3. Fork the repository and make your change on a branch.
  4. Open a pull request that references the issue number.

Research direction

Start with infra/m365/data/README.md and model.md, then read powerbi_template.md, lineage_and_refresh.md, and etl/sharepoint_graph_to_blob.py. Compare the proposed entities and Graph mappings with the real SharePoint inventory, review the permission and sandbox-validation checklists, and treat completion as validated artifacts plus an agreed scope for production pipelines and refresh scheduling.

Written by the indexing model from the issue text.

Assessment

Tech stack
azure, python
Domain
cloud, data-engineering, documentation
Issue type
Feature
Difficulty
5/5
Estimated time
Over a week
Activity status
Quiet
Clarity
Mostly clear
Newbie friendliness
35/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.