שיפורים ותוספות לתשתיות של פרוייקט כריית הנתונים של כנסת פתוחה

מטרה

בפרוייקט כריית הנתונים של כנסת פתוחה הקמנו תשתית שמאפשרת הוספת שינוי וקינפוג תשתיות שרתים ושירותים בצורה נוחה. התשתית מאפשר להרחיב ולשנות את השירותים וכך לאפשר שירותים מורכבים שנדרשים לצורך עיבוד וויזואליזציה של מידע באופן אחיד.

יש לנו מס' משימות של תוספות ושינויים נדרשים לתשתית אבל פתוחים גם להצעות אחרות

מה צריך לעשות?

• לבחור משימה לעבודה מתוך הרשימה:
  • help wanted devops issues
• להרים סביבת בדיקות מקומית מתאימה
• לבדוק ולערוך את קבצי הקונפיגורציה מקומית
• לפתוח pull request

ידע נדרש

המשימה דורשת היכרות עם או רצון ללמוד עצמאית את הנושאים הבאים:

• Docker
• Docker Compose
• Kubernetes
• Basic Linux shell scripting / terminal usage
• Git / GitHub

הוראות מפורטות

התקנת סביבת העבודה והיכרות עם המערכת

בשלב זה נבצע התקנה ראשונית של סביבת העבודה ונריץ כמה תהליכי עיבוד שרלוונטיים למשימה לצורך היכרות עם המערכת

• fork and clone the project - https://github.com/hasadna/knesset-data-pipelines
• install latest versions of Docker and Docker Compose - refer to docker core documentation and docker compose documentation
• open a terminal from the project directory and run bin/start.sh
  • this will start a docker compose environment with everything you need to start running the pipelines
  • it binds 2 services to ports on your host:
    • datapackage pipelines dashboard: http://localhost:5000/
    • postgresql DB (default password 123456): postgresql://postgres:123456@localhost:5432/postgres
• run the dpp cli command inside the docker environment
  • bin/dpp.sh
    • this should show all the available pipelines
  • bin/dpp.sh --help
• run the committees pipeline (shouldn't take more then 1-2 minutes)
  • bin/dpp.sh run ./committees/committees
  • this populates the committees-committees DB table
  • you can connect to the DB at postgresql://postgres:123456@localhost:5432/postgres and check the data
• run the committee meetings pipeline to get some committee meeting in DB
  • this command should give some meetings -
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meetings'
• this should give you some meeting - you can check in the DB committee-meetings table
• run the committee meeting protocols pipelines to download and parse the meetings
  • docker-compose exec app sh -c 'OVERRIDE_COMMITTEE_IDS=2,3 dpp run ./committees/committee-meeting-protocols'
• the source protocol files were downloaded to .data-docker/committee-meeting-protocols/
• the parsed files should be in .data-docker/committee-meeting-protocols-parsed/

המשך הפיתוח

• ביחרו משימה מהרשימה - help wanted devops issues
• או - הציעו משימה חדשה - new issue
• עדכנו בבקשה בהערות למשימה שאתם עובדים עליה
• we are using standard GitHub pull requests, issues, releases etc.. you can read more about the development workflow here - https://opensource.guide/how-to-contribute/

Start by reviewing bin/start.sh and bin/dpp.sh, then run the Docker Compose environment and the example committees pipelines. Choose a specific task from the linked help wanted devops issues; the selected issue should define the files to change and what done means before work begins. Report your chosen task in its comments and open a pull request when the configuration or infrastructure change is verified locally.