Self-Organizing Intelligent Matter: A blueprint for an AI generating algorithm

[dmm]

Via twitter.com/maxjaderberg/status/1314208851667808256 "Mesmerising emergent dynamics, each pixel contains an individual neural network"

This is an ICLR double-blind submission (I hope to eventually find out who the authors are): https://openreview.net/forum?id=160xFQdp7HR

There is a video related to this submission:

Watch on YouTube

Comments

[dmm]

Статья довольно сырая, но идеи на первых нескольких страницах вполне вдохновляющие.

В их экспериментах они получили интересную самоогранизацию и "видообразование", но до обучения дело пока не дошло...

***

Это всё интересно перекликается с моим мартовским эссе "Synergy between AI-generating algorithms and dataflow matrix machines", in https://dmm.dreamwidth.org/24201.html

В частности, они тоже не верят, что для этой программы автогенерации искусственного интеллекта нужны такие уж большие вычислительные мощности.

И много другого общего: мир сделан из единого активного нейромофного субстрата, в котором и растут нужные структуры.

Их тормозит то, что они пробуют вписаться в Jax, которые более гибок, чем TensorFlow и PyTorch, но, всё равно, более жёсткий, чем им реально нужно, судя по тексту статьи. Ну и им было бы полезно использовать структуризующие возможности "гибких тензоров с древовидными индексами" и прочие замечательные штуки, которые могут делать DMMs.

[dmm]

This is Jax: https://github.com/google/jax

https://jax.readthedocs.io/en/latest/

Because it is only using "classical tensors" (multidimensional arrays), it is still much less flexible than Flux: https://github.com/FluxML/Flux.jl

https://fluxml.ai/

Flux is used in SciML: https://github.com/SciML

https://sciml.ai/

[dmm]

No, I am quite wrong about JAX, it should be flexible enough, see my comments at

https://anhinga-anhinga.livejournal.com/84046.html?thread=734286#t734286

Now we DO KNOW who the authors are (they are from DeepMind, and DeepMind has essentially switched to JAX):

https://arxiv.org/abs/2101.07627

I know the name of the first author from the AI-generating algorithms community, he wrote https://arxiv.org/abs/2003.03124 "Finding online neural update rules by learning to remember" and many other interesting papers.

The second author co-wrote this one: https://arxiv.org/abs/1606.02580 "Convolution by Evolution: Differentiable Pattern Producing Networks"

Unfortunately, the most stupid ICLR reviewers decided to reject this paper. Hence much more reason to pay close attention to this paper (if the mainstream of the field is stupid as usual, then one can benefit from disagreeing and paying early attention to this innovation before it becomes fashionable).

[dmm]

This is also a nice complementary article which is a great inspiration for more flexible future architectures of artificial agents, including more flexible computer software:

https://aeon.co/essays/how-to-understand-cells-tissues-and-organisms-as-agents-with-agendas

Via https://twitter.com/drmichaellevin/status/1316107039249227776

[fenikso]

Aeon article is very nice, thank you!