"Умножение матриц так же неисчепаемо, как и атом"

[dmm]

Take this:



And multiply its transposition by it, the result is:

Comments

[juan_gandhi]

Вот люди открывают для себя всякую фигню. Это же в книжках еще в 70-е было все напечатано.

[vak]

Как ни странно, большинство программистов понятия не имеет о дискретной свёртке. Несмотря на повальное увлечение нейронными сетями и глубоким обучением, где 2D свёртка - основополагающая операция.

[juan_gandhi]

В общем да. Сложно это для них.

[dmm]

Что именно там было напечатано?

Я бы хотел найти две вещи (и чтобы сослаться, и чтобы выучить получше), но, пока что, не знаю, где бы такое найти:

1) Наверняка кто-то брал уже монохромные картинки, умножал их, как матрицы, и обнаруживал, что результат визуально интересен. Я бы очень хотел каких-нибудь таких предшественников найти, и ссылаться на них в своих "трудах" на эту тему.

2) Наверняка, где-нибудь написано про всякую геометрическую интуицию - как то, как устроены матрицы-множители, оказывается видно в том, как устроено произведение (так, чтобы "на глаз" увидеть, ну и вообще структуры понять). Вот, я ничего такого не помню, ни в книжках по линейной алгебре, ни в книжках по компьютерной графике.

Наверняка, кто-то это должен был изучать, но где оно написано?

[juan_gandhi]

Не скажу, чтобы помнил, какие это книжки, но я их буйно изучал когда-то. Когда мы в нашем КБ машинный лернинг применяли для всякого там бурения и для определения, скважина нефтяная или фтяная.

[dmm]

Дело не столько в том, какие книжки, сколько про что.

Я понимаю, что про signal processing, и всякие фильтры, и вот такие "мини-конволюции", как в этом примере, когда свертка по маленькой окрестности, про это написано в разных местах.

А про "свертку по полной размерности", как когда умножаешь матрицы, или когда уменьшаешь ранг тензора на 2, определения, конечно, всюду есть, и формулы, как считать, и вообще. Но мне бы геометрическую интуицию про то, как выглядит результат, и какие у этого результата свойства, - неужели это там тоже было?

[juan_gandhi]

Нет-нет, это две отдельные вещи. Одна - линейная алгебра, а другая - свертки, которые при обработке изображений еще в 70-е разъясняли в книжках. Как соляризацию делать (можно сказать, дифференцированием).

[dmm]

Ну да, то есть, "локальные свертки", суммирующие в окрестности точки, а не как при умножении матриц или свёртке тензоров, когда суммируешь по всей размерности, сколь бы она не была длинной...