![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
dmmVia twitter.com/maxjaderberg/status/1314208851667808256 "Mesmerising emergent dynamics, each pixel contains an individual neural network"
This is an ICLR double-blind submission (I hope to eventually find out who the authors are): https://openreview.net/forum?id=160xFQdp7HR
There is a video related to this submission:
This is an ICLR double-blind submission (I hope to eventually find out who the authors are): https://openreview.net/forum?id=160xFQdp7HR
There is a video related to this submission:
no subject
Date: 2020-10-19 04:15 pm (UTC)В их экспериментах они получили интересную самоогранизацию и "видообразование", но до обучения дело пока не дошло...
***
Это всё интересно перекликается с моим мартовским эссе "Synergy between AI-generating algorithms and dataflow matrix machines", in https://dmm.dreamwidth.org/24201.html
В частности, они тоже не верят, что для этой программы автогенерации искусственного интеллекта нужны такие уж большие вычислительные мощности.
И много другого общего: мир сделан из единого активного нейромофного субстрата, в котором и растут нужные структуры.
Их тормозит то, что они пробуют вписаться в Jax, которые более гибок, чем TensorFlow и PyTorch, но, всё равно, более жёсткий, чем им реально нужно, судя по тексту статьи. Ну и им было бы полезно использовать структуризующие возможности "гибких тензоров с древовидными индексами" и прочие замечательные штуки, которые могут делать DMMs.
no subject
Date: 2020-10-19 04:29 pm (UTC)https://jax.readthedocs.io/en/latest/
Because it is only using "classical tensors" (multidimensional arrays), it is still much less flexible than Flux: https://github.com/FluxML/Flux.jl
https://fluxml.ai/
Flux is used in SciML: https://github.com/SciML
https://sciml.ai/
no subject
Date: 2021-01-30 05:08 pm (UTC)https://anhinga-anhinga.livejournal.com/84046.html?thread=734286#t734286
Now we DO KNOW who the authors are (they are from DeepMind, and DeepMind has essentially switched to JAX):
https://arxiv.org/abs/2101.07627
I know the name of the first author from the AI-generating algorithms community, he wrote https://arxiv.org/abs/2003.03124 "Finding online neural update rules by learning to remember" and many other interesting papers.
The second author co-wrote this one: https://arxiv.org/abs/1606.02580 "Convolution by Evolution: Differentiable Pattern Producing Networks"
Unfortunately, the most stupid ICLR reviewers decided to reject this paper. Hence much more reason to pay close attention to this paper (if the mainstream of the field is stupid as usual, then one can benefit from disagreeing and paying early attention to this innovation before it becomes fashionable).
no subject
Date: 2020-10-19 08:18 pm (UTC)https://aeon.co/essays/how-to-understand-cells-tissues-and-organisms-as-agents-with-agendas
Via https://twitter.com/drmichaellevin/status/1316107039249227776
no subject
Date: 2020-10-20 07:17 am (UTC)