elastic / elastic/ml-cpp

[ML] Use hashing for categorical data

オープン
#2,199 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る
:ml/DataFrameAnalysis >feature
主要言語
C++
スター
157
フォーク
67
平均マージ
17時間 52分
マージ済み PR(30日)
20

説明

Model inference definition can potentially reveal personally identifiable information used in categorical encoding maps. This is usually not a problem since the access permissions for reviewing the model definitions are the same as for reviewing the training datasets where this PII occurred.

However, there is no reason to have original categorical strings stored in the model. For the learning algorithm, it is sufficient to use the distinct representation of the categories produced by a cryptographic hash function.

Note that the encodings need to be unique only within the same feature, which reduces the complexity of the hash function

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、C++ コード内でカテゴリカルエンコーディングのマップとモデル推論定義の処理を探します。カテゴリカル文字列が現在どのように格納されているか、また特徴量ごとのハッシュ化されたエンコーディングを一意に保つ必要がある箇所を特定します。モデル定義に元のカテゴリカル文字列が保持されなくなり、推論で引き続きカテゴリを正しく区別できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp
領域
machine-learning, security
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。