Умножая монохромные картинки как матрицы

[dmm]

Умножение матриц - штука крайне интересная. Один из необычных способов смотреть на это дело - интерпретировать монохромные картинки как матрицы, и умножать их друг на друга матричным умножением. Я не видел, чтобы кто-то так делал, хотя было бы странно, если бы до сих пор никто такое не пробовал.

Получается весьма забавное абстрактное искусство, особенно если нормализовать строчки левой матрицы и столбцы правой матрицы, так чтобы элементы в них суммировались к единице. Например, получается такое



или такое



Пояснения в комментариях.

Comments

[mikerrr]

Вот тут люди сделали много разных функций активации:
https://towardsdatascience.com/a-quick-introduction-to-neural-arithmetic-logic-units-288da7e259d7
https://github.com/AndreasMadsen/stable-nalu

Если взять их реализацию за пример, то сделать любую свою функцию активации - очень просто.


А вообще интересно) Спасибо за наводку, надо будет почитать про JAX.

Интересно, можно ли сделать условную функцию активации? В последних работах гугла было что-то подобное.

[dmm]

я видел этот список:

https://en.wikipedia.org/wiki/Activation_function

но в нём много не хватает; во-первых, нет многих популярных функций от двух аргументов, например, умножения (умножение на ноль как раз даёт неэффективный но действующий вариант условной активации)...

во-вторых, они все работают на скалярных потоках - можно их применять к элементам тензоров поэлементно, но бывает множество интересных преобразований тензоров (например, матриц), которые не сводятся к применению поэлементной активационной функции.

например, для создания вот этой анимации

https://youtu.be/fEWcg_A5UZc

я, в частности, использую вот такую функцию активации (она "immutable переставляет" индексы в матрице):

https://github.com/anhinga/fluid/blob/master/may_9_15_experiment/custom_wave_transform.pde

[mikerrr]

Красиво получилось)

[dmm]

Вдохновлено наблюдениями движущихся отражений в волнах на поверности озер и рек :-)

Но синтетическое :-)