aai-institute / aai-institute/practical-ai-act
Information collection for transparency story
- 主要言語
- Python
- スター
- 21
- フォーク
- 3
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
We want to showcase an example to fulfill the transparency requirements from the AI act. There is a first collection in the [docs](https://github.com/aai-institute/twai-pipeline/blob/main/docs/explanations/transparency.md).
**Ideas:**
- [ ] json file for static system information (e.g. intended use, responsible persons/institution, contacts)
- [ ] model signature (source: mlflow) + model prediction endpoint (swagger UI)
- [ ] evaluation results (metrics + plots)
- [ ] fairness scores with explanation
- [ ] data source
- [ ] [huggingface model card template](https://clear.ml/docs/latest/docs/webapp/webapp_exp_track_visual/#execution)
**Missing information (not yet traced):**
- [ ] commit hash
- [ ] serving endpoint runtime (dependencies) information (make available via separate endpoint), check [this collection from clearml for inspiration](https://clear.ml/docs/latest/docs/webapp/webapp_exp_track_visual/#execution)
- [ ] implement raw information collection step in pipeline (result zip archive logged in datalake/ mlflow)
**Things to check:**
コントリビューションガイド
調査の方向性
docs/explanations フォルダーにある既存の transparency.md ファイルを確認してください。パイプラインコードを調査して、生の情報の収集を追加できる場所を把握してください。ロギングには MLflow を、ランタイム依存関係については ClearML を参考にすることが想定されます。目標は、システム情報、モデルシグネチャ、評価メトリクス、フェアネススコア、データプロヴェナンスを統合した構造化された出力 (JSON, zip archive) を生成することです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- huggingface
- 領域
- ai, documentation, observability-sre
- issue の種類
- ドキュメント
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100