elastic / elastic/ml-cpp

[ML] Use hashing for categorical data

Ouverte
#2,199 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
:ml/DataFrameAnalysis >feature
Langage dominant
C++
Étoiles
157
Forks
67
Merge moyen
17 h 52 min
PR mergées (30 j)
20

Description

Model inference definition can potentially reveal personally identifiable information used in categorical encoding maps. This is usually not a problem since the access permissions for reviewing the model definitions are the same as for reviewing the training datasets where this PII occurred.

However, there is no reason to have original categorical strings stored in the model. For the learning algorithm, it is sufficient to use the distinct representation of the categories produced by a cryptographic hash function.

Note that the encodings need to be unique only within the same feature, which reduces the complexity of the hash function

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez par localiser les tables de codage catégoriel et la gestion de la définition de l’inférence du modèle dans le code C++. Déterminez comment les chaînes catégorielles sont actuellement stockées et où les codages hachés par caractéristique doivent rester uniques ; le travail sera considéré comme terminé lorsque les définitions de modèle ne conserveront plus les chaînes catégorielles d’origine, tout en permettant à l’inférence de continuer à distinguer correctement les catégories.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
cpp
Domaine
machine-learning, security
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.