Framework: Move Ops parameter to call method where possible
Personne n'a encore pris cette issue.
- Langage dominant
- Java
- Étoiles
- 928
- Forks
- 227
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
I'd like to move the Ops parameters of framework classes to the call method, where possible. This is primarily for Kotlin interop, but has a few other benefits as well. It won't be possible for stateful classes (Metrics, Optimizers), but should be possible for most, as far as I can tell (Initializers, Activations, Losses). I'm going to use Losses as a standin for all 3 for my examples.
- Kotlin interop w/
@FunctionInterface. If we do this, we can then define new losses likeLoss{ tf, x -> tf.stuff(x) }or pass lambdas to methods that take losses. This is very nice for layers, where we might have something Keras-likeLayer(activation=ReLU())but want to replace it with something custom. - Re-use of objects. Currently, losses create any subsequent calls in the same scope as their first call. That means if it's called inside a sub-scope, including device ones, it ignores the scope. This is somewhat expected, but not ideal. It also causes further issues if we use
Opsfor (eager) tensor lifetime management, which has been suggested and is something I'd like to do (it's easy enough to make a long-lived copy of the initial scope, but then the tensors created in the call methods live forever, and the framework classes need to be closable). - Passing configs, like Keras. In Keras, if you have a activation or loss that requires some parameters, you can pass it to a layer like
Layer(activation=LeakyReLU(alpha=0.3)). I expect this will be common with our API, as well. Currently, this runs into the above issue w/ scoping, and prevents you from passing activations (or losses) from scopes that don't have an Ops instance available.
I'd look at having the stateful classes take Ops in call as well, and only using the constructor ops for initializing state. This works better with scoping and lifetimes as mentioned above.
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Commencez par examiner les classes du framework pour Initializers, Activations et Losses, puis comparez les classes avec état Metrics et Optimizers. Déterminez quelles classes peuvent recevoir des Ops dans call plutôt qu’à la construction, en ne conservant les Ops du constructeur que lorsque cela est nécessaire pour l’initialisation de l’état. Le travail est considéré comme terminé lorsque les APIs concernées prennent en charge des appels adaptés à Kotlin et préservent le comportement prévu en matière de portée et de durée de vie.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java, kotlin
- Domaine
- api, backend-api-design
- Type d'issue
- Refactorisation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 20/100