Pull to refresh

Comments 6

А почему не взяли, например, ONNX + ONNX Runtime или OpenVINO (он ещё и ускорит всё на процессорах Intel)?

Так я все равно не смогу все это развернуть на целевом железе.

Не очень понятно, какие ограничения. Numpy же получилось развернуть.

Если честно, я не знаком с этим инструментом. Хотелось сделать именно простейшую реализацию, которая заработает где угодно.

но спасибо за, что обратили внимание на эти инструменты

Возник вопрос по вашей "матричной реализации" слоя embedding: а зачем вам там вообще перемножение? Умножение one-hot на матрицу просто вернет тот эмбеддинг, позиция которого соответствует позиции единички. Можно же просто обращаться в массив эмбеддиннгов по индексу слова, без one-hot вообще, разве нет?

Функция должна выглядеть как-то так:

return emb_weights[data],

где data - матрица до one-hot размером 100 (а не 100х1000, как после one-hot), emb_weights - матрица 1000x40

Не понимаю, куда пропал прошлый комментарий.
Спасибо больше за этот совет. Действительно я делал в принципе лишнее действие.

Все исправил.

Sign up to leave a comment.

Articles