"Умножение матриц так же неисчепаемо, как и атом"

[dmm]

Take this:



And multiply its transposition by it, the result is:

Comments

[vak]

Это вы ещё двумерную свёртку не пробовали. :)

[juan_gandhi]

Вот люди открывают для себя всякую фигню. Это же в книжках еще в 70-е было все напечатано.

[vak]

Как ни странно, большинство программистов понятия не имеет о дискретной свёртке. Несмотря на повальное увлечение нейронными сетями и глубоким обучением, где 2D свёртка - основополагающая операция.

[juan_gandhi]

В общем да. Сложно это для них.

[dmm]

Что именно там было напечатано?

Я бы хотел найти две вещи (и чтобы сослаться, и чтобы выучить получше), но, пока что, не знаю, где бы такое найти:

1) Наверняка кто-то брал уже монохромные картинки, умножал их, как матрицы, и обнаруживал, что результат визуально интересен. Я бы очень хотел каких-нибудь таких предшественников найти, и ссылаться на них в своих "трудах" на эту тему.

2) Наверняка, где-нибудь написано про всякую геометрическую интуицию - как то, как устроены матрицы-множители, оказывается видно в том, как устроено произведение (так, чтобы "на глаз" увидеть, ну и вообще структуры понять). Вот, я ничего такого не помню, ни в книжках по линейной алгебре, ни в книжках по компьютерной графике.

Наверняка, кто-то это должен был изучать, но где оно написано?

[juan_gandhi]

Не скажу, чтобы помнил, какие это книжки, но я их буйно изучал когда-то. Когда мы в нашем КБ машинный лернинг применяли для всякого там бурения и для определения, скважина нефтяная или фтяная.

[dmm]

Дело не столько в том, какие книжки, сколько про что.

Я понимаю, что про signal processing, и всякие фильтры, и вот такие "мини-конволюции", как в этом примере, когда свертка по маленькой окрестности, про это написано в разных местах.

А про "свертку по полной размерности", как когда умножаешь матрицы, или когда уменьшаешь ранг тензора на 2, определения, конечно, всюду есть, и формулы, как считать, и вообще. Но мне бы геометрическую интуицию про то, как выглядит результат, и какие у этого результата свойства, - неужели это там тоже было?

[juan_gandhi]

Нет-нет, это две отдельные вещи. Одна - линейная алгебра, а другая - свертки, которые при обработке изображений еще в 70-е разъясняли в книжках. Как соляризацию делать (можно сказать, дифференцированием).

[dmm]

Ну да, то есть, "локальные свертки", суммирующие в окрестности точки, а не как при умножении матриц или свёртке тензоров, когда суммируешь по всей размерности, сколь бы она не была длинной...

[dmm]

Не пробовал, да :-) А почему это - двухмерная свертка?

(Edit: ah, ok, this is the actual reference: https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.convolve2d.html

Ну это тот ещё пример; там второй массив совсем маленькой размерности... Мне бы какие-нибудь содержательные примеры, где с обоих сторон тензоры большие, и получается интересно.)

Вот что я пробовал, это умножать матрицу на вектор из матриц (т.е. это свертка по одному направлению между тензором ранга 2 и тензором ранга 3, получается опять вектор из матриц, то есть, тензор ранга 3).

Но я пробовал это только в небольшом разрешении и в динамике, в контексте рекуррентной системы, наслаждался возникающими emergent properties:

https://youtu.be/CKVwsQEMNjY

https://youtu.be/_mZVVU8x3bs

[vak]

Помню, видел где-то наглядное видео, как работает простейшее распознавание цифр (MNIST-CNN демо).

Вот, нагуглил: https://thumbs.gfycat.com/AffectionateMemorableGreyhounddog-mobile.mp4

Там первые три слоя - двумерные свертки с порогом (maxpool), а четвёртый и пятый слои - простые умножения матриц.

[dmm]

Да, конечно, в convolutional neural nets используются слои таких "локальных свёрток"...

Но теперь уже новая эпоха вовсю наступает, где доминируют Transformers, в которых нет больше явного locality prior, а только умножения матриц, из которых сделаны "слои внимания", соединённые простыми нейронными коннекторами. Собственно, эта моя деятельность по умножению картинок, как матриц, она как раз мотивирована желанием создать небольшие гибкие машины, использующие, среди прочего, архитектурные компоненты, из которых сделаны Transformers.

Я довольно много с этим вожусь в последние месяцы:

Section 11 of https://www.cs.brandeis.edu/~bukatin/dmm-collaborative-research-agenda.pdf

https://github.com/anhinga/2020-notes/tree/master/attention-based-models

https://github.com/anhinga/2020-notes/blob/master/attention-based-models/matrix-mult-machines.md

https://github.com/anhinga/julia-notebooks/blob/main/images-as-matrices/presentation/talk-proposal.md

https://anhinga-anhinga.livejournal.com/84392.html