aai-institute / aai-institute/practical-ai-act

Information collection for transparency story

オープン
#33 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
21
フォーク
3
PR マージ指標
30日以内にマージされた PR はありません

説明

We want to showcase an example to fulfill the transparency requirements from the AI act. There is a first collection in the [docs](https://github.com/aai-institute/twai-pipeline/blob/main/docs/explanations/transparency.md).

**Ideas:**

- [ ] json file for static system information (e.g. intended use, responsible persons/institution, contacts)
- [ ] model signature (source: mlflow) + model prediction endpoint (swagger UI)
- [ ] evaluation results (metrics + plots)
- [ ] fairness scores with explanation
- [ ] data source
- [ ] [huggingface model card template](https://clear.ml/docs/latest/docs/webapp/webapp_exp_track_visual/#execution)

**Missing information (not yet traced):**
- [ ] commit hash
- [ ] serving endpoint runtime (dependencies) information (make available via separate endpoint), check [this collection from clearml for inspiration](https://clear.ml/docs/latest/docs/webapp/webapp_exp_track_visual/#execution)
- [ ] implement raw information collection step in pipeline (result zip archive logged in datalake/ mlflow)

**Things to check:**

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

docs/explanations フォルダーにある既存の transparency.md ファイルを確認してください。パイプラインコードを調査して、生の情報の収集を追加できる場所を把握してください。ロギングには MLflow を、ランタイム依存関係については ClearML を参考にすることが想定されます。目標は、システム情報、モデルシグネチャ、評価メトリクス、フェアネススコア、データプロヴェナンスを統合した構造化された出力 (JSON, zip archive) を生成することです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
huggingface
領域
ai, documentation, observability-sre
issue の種類
ドキュメント
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。