CodeForPhilly / CodeForPhilly/MATchMapper

Script to convert scraped data (in csv or pandas df) to json format for Django

Đang mở
#12 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
7
Fork
5
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

Write a script that works with the output from the scraper (could be directly with .csv or the pandas df) and converts the output into json data that can be sent to the Django API to input into our database. ** Important: If you are taking this issue, make sure you make clear documentation as to whether you have decided to work directly with the pandas df or the csv format output from the scrapers. It would be best if you make a decision and let the rest of the team know. After making the decision, you should also reconfigure the scraping files such that they become functions with a boolean parameter that allows the user to decide if he or she wants the scraping scripts to output a .csv file or not.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách xác định các tệp scraper và theo dõi xem đầu ra của chúng là pandas DataFrame hay CSV, sau đó kiểm tra đường dẫn đầu vào của Django API và các yêu cầu của cơ sở dữ liệu. Quyết định và ghi lại một định dạng đầu vào, thêm việc chuyển đổi sang JSON, rồi cấu hình lại các tệp scraping để cung cấp tùy chọn đầu ra CSV được yêu cầu.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
django, pandas, python
Lĩnh vực
api, backend, data
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.