arrayfire / arrayfire/arrayfire-ml

RNN Models

Đang mở
#20 12 bình luận 0 reaction 1 người được giao Được @pavanky nhận Xem trên GitHub
feature
Ngôn ngữ chính
C++
Star
105
Fork
22
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

Once we have an implementation of the Layer Class https://github.com/arrayfire/arrayfire_ml/issues/17 , the Optimizer class and the DataSet class we can go about creating RNN flavors. There are 3 models that should be implemented:
- [ ] Vanilla RNN
- [ ] LSTM
- [ ] GRU

These will require the implementation of their derivatives and their forward prop values.
Certain details to consider:
- RNN's have a stack of weight matrices and bias' (not just 1 per Layer, thus the Layer needs to be general enough to handle this)
- The optimization needs to be handled via two methods:
- [ ] RTRL (real time recurrent learning) &
- [ ] BPTT (backprop through time)

To enable the above two methods of learning we should consider inheriting from Layer and implementing a Recurrent Layer.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.