CodeForPhilly / CodeForPhilly/MATchMapper

Script to convert scraped data (in csv or pandas df) to json format for Django

未關閉
#12 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
7
分支
5
PR 合併指標
30 天內沒有已合併 PR

描述

Write a script that works with the output from the scraper (could be directly with .csv or the pandas df) and converts the output into json data that can be sent to the Django API to input into our database. ** Important: If you are taking this issue, make sure you make clear documentation as to whether you have decided to work directly with the pandas df or the csv format output from the scrapers. It would be best if you make a decision and let the rest of the team know. After making the decision, you should also reconfigure the scraping files such that they become functions with a boolean parameter that allows the user to decide if he or she wants the scraping scripts to output a .csv file or not.

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

先定位 scraper 檔案並追蹤其輸出是 pandas DataFrame 還是 CSV,然後檢查 Django API 的輸入路徑和資料庫預期。決定並記錄一種輸入格式,加入轉換為 JSON 的功能,並重新設定 scraping 檔案以提供所要求的 CSV 輸出選項。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
django, pandas, python
領域
api, backend, data
Issue 類型
功能
難度
4/5
預估耗時
3-5 天
活躍度
停滯
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。