[ML] Use hashing for categorical data
- 主要言語
- C++
- スター
- 157
- フォーク
- 67
- 平均マージ
- 17時間 52分
- マージ済み PR(30日)
- 20
説明
Model inference definition can potentially reveal personally identifiable information used in categorical encoding maps. This is usually not a problem since the access permissions for reviewing the model definitions are the same as for reviewing the training datasets where this PII occurred.
However, there is no reason to have original categorical strings stored in the model. For the learning algorithm, it is sufficient to use the distinct representation of the categories produced by a cryptographic hash function.
Note that the encodings need to be unique only within the same feature, which reduces the complexity of the hash function
コントリビューションガイド
調査の方向性
まず、C++ コード内でカテゴリカルエンコーディングのマップとモデル推論定義の処理を探します。カテゴリカル文字列が現在どのように格納されているか、また特徴量ごとのハッシュ化されたエンコーディングを一意に保つ必要がある箇所を特定します。モデル定義に元のカテゴリカル文字列が保持されなくなり、推論で引き続きカテゴリを正しく区別できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- cpp
- 領域
- machine-learning, security
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100