CodeForPhilly / CodeForPhilly/MATchMapper
Script to convert scraped data (in csv or pandas df) to json format for Django
- Ngôn ngữ chính
- Python
- Star
- 7
- Fork
- 5
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Write a script that works with the output from the scraper (could be directly with .csv or the pandas df) and converts the output into json data that can be sent to the Django API to input into our database. ** Important: If you are taking this issue, make sure you make clear documentation as to whether you have decided to work directly with the pandas df or the csv format output from the scrapers. It would be best if you make a decision and let the rest of the team know. After making the decision, you should also reconfigure the scraping files such that they become functions with a boolean parameter that allows the user to decide if he or she wants the scraping scripts to output a .csv file or not.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách xác định các tệp scraper và theo dõi xem đầu ra của chúng là pandas DataFrame hay CSV, sau đó kiểm tra đường dẫn đầu vào của Django API và các yêu cầu của cơ sở dữ liệu. Quyết định và ghi lại một định dạng đầu vào, thêm việc chuyển đổi sang JSON, rồi cấu hình lại các tệp scraping để cung cấp tùy chọn đầu ra CSV được yêu cầu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- django, pandas, python
- Lĩnh vực
- api, backend, data
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100