Формулировка
Mar. 27th, 2020 02:06 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
dmmХочется фокусироваться на том, чтобы скульптурно лепить классные штуки из DMMs, и на том, чтобы учить их лепить классные штуки из самих себя.
***
Dataflow matrix machines: more versatile neural machines. It might be useful to be able to easily express algorithms precisely within neural machines, rather than only to learn them approximately, to be able to use readable compact neural networks as well as the overparameterized ones, and to control the degree to which they are overparameterized, to be able to precisely express complicated hierarchical structures and graphs within neural networks, rather than only to model them, and to be able to have flexible self-modification capabilities, where one can take linear combinations and compositions of various self-modification operators and where one is not constrained by the fact that a neural net tends to have more weights than outputs.
It turns out that this can be achieved by a rather mild upgrade: instead of basing neural machines on streams of numbers, one could base them on arbitrary streams supporting the notion of combining several streams with coefficients ("linear combination"). Then one can support the key idea of neural computations, namely that linear and non-linear transformations should be interleaved, and at the same time achieve the wish list above.
***
Здесь возможен стереовзляд на эту деятельность. Можно подходить к этому всему, как к очень нестандартному варианту программирования, и к использованию машинного обучения для создания систем, умеющих делать этот нестандартный вариант программирования. А можно думать про это, как про нестандартный способ делать разные замечательные виды искусства, особенно динамического искусства, morphing, breathing audio-visuals, and similar things, и к тому, чтобы создавать системы, которые учатся делать такое искусство.
Хочется сохранять этот стереовзгляд, занимаясь всем этим... (Я надеюсь, что всякое довольно стрёмное, что происходит вокруг, тем ни менее, даст ещё некоторое время на усилия в этом направлении; но посмотрим.)
***
Dataflow matrix machines: more versatile neural machines. It might be useful to be able to easily express algorithms precisely within neural machines, rather than only to learn them approximately, to be able to use readable compact neural networks as well as the overparameterized ones, and to control the degree to which they are overparameterized, to be able to precisely express complicated hierarchical structures and graphs within neural networks, rather than only to model them, and to be able to have flexible self-modification capabilities, where one can take linear combinations and compositions of various self-modification operators and where one is not constrained by the fact that a neural net tends to have more weights than outputs.
It turns out that this can be achieved by a rather mild upgrade: instead of basing neural machines on streams of numbers, one could base them on arbitrary streams supporting the notion of combining several streams with coefficients ("linear combination"). Then one can support the key idea of neural computations, namely that linear and non-linear transformations should be interleaved, and at the same time achieve the wish list above.
***
Здесь возможен стереовзляд на эту деятельность. Можно подходить к этому всему, как к очень нестандартному варианту программирования, и к использованию машинного обучения для создания систем, умеющих делать этот нестандартный вариант программирования. А можно думать про это, как про нестандартный способ делать разные замечательные виды искусства, особенно динамического искусства, morphing, breathing audio-visuals, and similar things, и к тому, чтобы создавать системы, которые учатся делать такое искусство.
Хочется сохранять этот стереовзгляд, занимаясь всем этим... (Я надеюсь, что всякое довольно стрёмное, что происходит вокруг, тем ни менее, даст ещё некоторое время на усилия в этом направлении; но посмотрим.)
no subject
Date: 2020-03-27 07:54 am (UTC)Скажем, когда сеть наращивает сама себя "фрактальным образом", путём клонирования своих собственных подграфов, хорошо бы как-то научиться думать про то, "как она это ощущает изнутри"...