"Умножение матриц так же неисчепаемо, как и атом"

[dmm]

Take this:



And multiply its transposition by it, the result is:

Comments

[dmm]

Не пробовал, да :-) А почему это - двухмерная свертка?

(Edit: ah, ok, this is the actual reference: https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.convolve2d.html

Ну это тот ещё пример; там второй массив совсем маленькой размерности... Мне бы какие-нибудь содержательные примеры, где с обоих сторон тензоры большие, и получается интересно.)

Вот что я пробовал, это умножать матрицу на вектор из матриц (т.е. это свертка по одному направлению между тензором ранга 2 и тензором ранга 3, получается опять вектор из матриц, то есть, тензор ранга 3).

Но я пробовал это только в небольшом разрешении и в динамике, в контексте рекуррентной системы, наслаждался возникающими emergent properties:

https://youtu.be/CKVwsQEMNjY

https://youtu.be/_mZVVU8x3bs

[vak]

Помню, видел где-то наглядное видео, как работает простейшее распознавание цифр (MNIST-CNN демо).

Вот, нагуглил: https://thumbs.gfycat.com/AffectionateMemorableGreyhounddog-mobile.mp4

Там первые три слоя - двумерные свертки с порогом (maxpool), а четвёртый и пятый слои - простые умножения матриц.

[dmm]

Да, конечно, в convolutional neural nets используются слои таких "локальных свёрток"...

Но теперь уже новая эпоха вовсю наступает, где доминируют Transformers, в которых нет больше явного locality prior, а только умножения матриц, из которых сделаны "слои внимания", соединённые простыми нейронными коннекторами. Собственно, эта моя деятельность по умножению картинок, как матриц, она как раз мотивирована желанием создать небольшие гибкие машины, использующие, среди прочего, архитектурные компоненты, из которых сделаны Transformers.

Я довольно много с этим вожусь в последние месяцы:

Section 11 of https://www.cs.brandeis.edu/~bukatin/dmm-collaborative-research-agenda.pdf

https://github.com/anhinga/2020-notes/tree/master/attention-based-models

https://github.com/anhinga/2020-notes/blob/master/attention-based-models/matrix-mult-machines.md

https://github.com/anhinga/julia-notebooks/blob/main/images-as-matrices/presentation/talk-proposal.md

https://anhinga-anhinga.livejournal.com/84392.html