continuedev / continuedev/continue
M365: Diseño inicial de modelo semántico y pipelines para Power BI desde SharePoint/Graph
Nobody has claimed this yet.
- Dominant language
- TypeScript
- Stars
- 36k
- Forks
- 5.4k
- PR merge metrics
- No merged PRs in 30d
Description
Resumen
- Añade artefactos iniciales para extraer datos de SharePoint (Microsoft Graph) y alimentar Power BI: modelo semántico, plantillas/guidance de Power BI, scripts ETL de ejemplo y documentación de linaje y refresh.
Archivos añadidos (ruta relativa)
- infra/m365/data/README.md
- infra/m365/data/model.md
- infra/m365/data/powerbi_template.md
- infra/m365/data/lineage_and_refresh.md
- infra/m365/data/etl/README.md
- infra/m365/data/etl/sharepoint_graph_to_blob.py
Qué contiene cada artefacto
- model.md: tablas/datasets iniciales (Sites, Libraries, Documents, Lists, ListItems, Users, ActivityEvents), mapeo a endpoints Graph y un diagrama ER básico (mermaid).
- powerbi_template.md: guía para dataflows y PBIX, recomendaciones de modelado, incremental refresh y mapeo de entidades.
- etl/sharepoint_graph_to_blob.py: script Python ejemplo que usa MSAL + Graph para extraer metadatos y escribir parquet en Azure Blob/ADLS (usa variables de entorno para credenciales).
- lineage_and_refresh.md: linaje propuesto, cadencias de refresh sugeridas y recomendaciones de monitoreo.
Acciones solicitadas / checklist
- Revisar y validar el modelo semántico vs. inventario real de listas y bibliotecas (owner: Producto / BI)
- Validar permisos necesarios para la App Registration (owner: Infra/Seguridad)
- Probar los scripts en entorno sandbox con datos reales (owner: Data engineering)
- Crear pipelines de ingest (ADF / Databricks / Functions) que reemplacen los scripts de ejemplo y programar refresh en Power BI Service (owner: Data engineering)
- Añadir plantillas de Dataflow (JSON) o PBIX de ejemplo en un PR posterior si se requiere (owner: BI)
Notas
- No se provisiona nada automáticamente — estos son artefactos y ejemplos. No incluir secretos en el repo.
- Para extracción incremental recomendamos usar endpoints delta o registrar lastModified watermark.
Por favor revisar y comentar. Una vez aprobado, propondré un plan para implementar pipelines reutilizando ADF + triggers hacia Power BI REST API para refresh.
Contributor guide
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
Research direction
Start with infra/m365/data/README.md and model.md, then read powerbi_template.md, lineage_and_refresh.md, and etl/sharepoint_graph_to_blob.py. Compare the proposed entities and Graph mappings with the real SharePoint inventory, review the permission and sandbox-validation checklists, and treat completion as validated artifacts plus an agreed scope for production pipelines and refresh scheduling.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- azure, python
- Domain
- cloud, data-engineering, documentation
- Issue type
- Feature
- Difficulty
- 5/5
- Estimated time
- Over a week
- Activity status
- Quiet
- Clarity
- Mostly clear
- Newbie friendliness
- 35/100