Dataflow matrix machines

[dmm]

Dataflow matrix machines: a class of expressive self-modifiable neural machines

• which can fluently modify their own weights, connectivity patterns, and size;
• and can serve as a programming platform, resulting in a programming formalism with continuously deformable programs.

---

Reference paper: Dataflow Matrix Machines and V-values: a Bridge between Programs and Neural Nets

arxiv.org/abs/1712.07447

More details:
anhinga-anhinga.dreamwidth.org/83104.html
anhinga-anhinga.dreamwidth.org/82703.html

*** Dataflow Matrix Machines internet resources: anhinga.github.io

Interdisciplinary list of open research directions (I am looking for collaborators): dmm-collaborative-research-agenda.pdf

*** My blogs:

Main Dreamwidth blog: dmm.dreamwidth.org (partial mirror: anhinga-travel.livejournal.com )
Main LiveJournal: anhinga-anhinga.livejournal.com (mirror: anhinga-anhinga.dreamwidth.org )
Auxiliary LiveJournal: anhinga-drafts.livejournal.com (mirror: anhinga-drafts.dreamwidth.org )


🇺🇦 🇺🇦 🇺🇦 🇺🇦 🇺🇦 🇺🇦 🇺🇦

Comments

[juan_gandhi]

Странная теория. Не видал такого. А "теория линейных систем управления" к этому отношения не имеет? Такое ощущение, что это близко к той фигне, что уже сто лет употребляют, чтобы ракета шла на цель.

[dmm]

Я думаю, имеет прямое отношение, только линейные системы управления это, скорее всего, узкий подкласс (в смысле, что, на самом деле, эти линейные системы управления должны оказаться просто подклассом искусственных нейронных сетей, насколько я понимаю в этом деле; там ведь разрешается и не иметь нелинейностей, нелинейности - они optional в нейронных сетях).

[dmm]

То есть, примеры задач, которые тривиально делать в DMMs, весьма трудно делать в обычных нейронных сетях и, я думаю, практически невозможно делать в линейных системах управления - построить список некоторых событий (например, кликов мышки), или по тексту построить словарь, где ключи - слова в тексте, а значения - сколько раз это слово входит в этот текст.

Так что, нейронные сети - это некоторый подкласс DMMs, а линейные системы управления - это некоторый подкласс нейронных сетей.

[juan_gandhi]

Да. Кстати, вы видели это смешное выступление Эрика Мейера, с алгебрами Клиффорда?

[dmm]

Нет, но хочу :-) Это, наверное, стоит послушать...

[dmm]

Надо сказать, я так и не смог найти выступление Эрика Мейера с алгебрами Клиффорда.

Я, пока его искал, нашёл много другого интересного, так что не жалуюсь :-)

Но если вы можете найти линк и поделиться им, было бы классно :-)

[juan_gandhi]

https://www.youtube.com/watch?v=Rs0uRQJdIcg&t=33s

[dmm]

Thanks, super!

(Now I see why I could not find it; the talk description does not mention Clifford algebras explicitly, neither in the video description, nor here: https://gotocph.com/2018/sessions/615/machine-learning-alchemy-for-the-modern-computer-scientist

Starting to listen to it :-) )

[dmm]

Even the first 15 min are great:

- going to a gym to code (while leaving the heavy lifting to a automated code synthesizer)

- try to withhold a subset of tests for validation even for "Software 1.0"

[dmm]

And I've seen split-complex numbers recently, the third case he briefly mentions, in particular in connection with Warmus work: https://en.wikipedia.org/wiki/Split-complex_number#History

(Warmus was the first one who generalized interval numbers to allow the contradictory approximations, e.g. [3,2] (the set of numbers larger than 3, but at the same time smaller than 2), a situation where one can have a partial contradiction without collapsing the whole thing to "everything is now a theorem".)

But I've only heard about these kinds of dual numbers, with epsilon squared equal to zero, never seen them used in practice... super-interesting...

[juan_gandhi]

It's actually an old story. Can't remember the name of a guy from Aarhus, who wrote about it in the 80s. Will try.

[dmm]

Я вижу, что, говоря математически, современная фаза всего этого дела началась, как водится, с Ловера:

https://en.wikipedia.org/wiki/Smooth_infinitesimal_analysis

и

https://en.wikipedia.org/wiki/Synthetic_differential_geometry

[dmm]

И математической стороной этого дела, как раз много и давно занимался Anders Kock (Aarhus University), который, вообще говоря, больше известен суперкрасивыми работами про всякие интересные монады (например, монады, смешанные с частичными порядками).

Но кто занимался прикладной стороной этого дела, это я не знаю...

[juan_gandhi]

Вот, спасибо, да, Андерс Кок! Я что-то его фамилию не мог вспомнить.

[anhinga_anhinga]

Да, он, кстати, продолжает вовсю заниматься "синтетикой":

https://users-math.au.dk/~kock/

Так что, для людей, ищущих математику, освобождённую от "тирании множеств", его работы могут быть очень интересны...

[dmm]

So... the second time in a couple of hours I see a mention of John Hughes... amazing... (The other one was his "arrows" as an inspiration for combinators in the TensorFlow's Fold library...)

Time to sleep and meditate on this...