Собрать статистику по использованию GitHub

Issue open by Roman Dyakov via telegram message.

• Позволит выдавать ачивки за активность, которую пользователи создают на гитхаю

• Позволит автоматизированно отнимать доступы у неактивных аккаунтов во избежании проблем с безопасностью

• Собрать информацию о пользователях и о запущенных окружениях из API

  • Забрать информацию о коммитах. STG_GITHUB.profcomff_commit
  • Забрать информацию о задачах с гитхаб. STG_GITHUB.profcomff_issue

• Совместить информацию о пользователях Твой ФФ и их активности в GitHub.

  • Построить таблицу ODS_ACTIVITY.github_code – с информацией об изменениях в коде и репозиториях. В ключах должны быть user_id (из Auth API), имя пользователя github (есть в auth api и данных github, ключ для джойна данных), время (округленное до ровной сетки в 10 минут, т.е. 2024-01-01T10:00, 2024-01-01T10:10 и тд), репозиторий с кодом, в котором была активность. Запись должна быть для каждого момента, когда пользователь был в активен и не должно быть, если пользователь активен не был
    • Сделать таблицу dwh_definitions
    • Собрать пайплайн dwh_pipelines
    • Запускать пайплайн в проде раз в час
  • Построить таблицу ODS_ACTIVITY.github_issue – с информацией об изменениях в задачах и досках задач. В ключах должны быть user_id (из Auth API), имя пользователя github (есть в auth api и данных github, ключ для джойна данных), время (округленное до ровной сетки в 10 минут, т.е. 2024-01-01T10:00, 2024-01-01T10:10 и тд), название доски задач, на которой была активность. Запись должна быть для каждого момента, когда пользователь был в активен и не должно быть, если пользователь активен не был
    • Сделать таблицу dwh_definitions
    • Собрать пайплайн dwh_pipelines
    • Запускать пайплайн в проде раз в час