CodeForPhilly / CodeForPhilly/MATchMapper

Script to convert scraped data (in csv or pandas df) to json format for Django

オープン
#12 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
7
フォーク
5
PR マージ指標
30日以内にマージされた PR はありません

説明

Write a script that works with the output from the scraper (could be directly with .csv or the pandas df) and converts the output into json data that can be sent to the Django API to input into our database. ** Important: If you are taking this issue, make sure you make clear documentation as to whether you have decided to work directly with the pandas df or the csv format output from the scrapers. It would be best if you make a decision and let the rest of the team know. After making the decision, you should also reconfigure the scraping files such that they become functions with a boolean parameter that allows the user to decide if he or she wants the scraping scripts to output a .csv file or not.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まずスクレイパーファイルを見つけ、出力が pandas DataFrame なのか CSV なのかを追跡し、次に Django API の入力パスとデータベースの想定を確認します。入力形式を1つ決定して文書化し、JSON への変換を追加し、要求された CSV 出力オプションを公開するようスクレイピングファイルを再構成します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
django, pandas, python
領域
api, backend, data
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。