Generative autoregressive models are similators

[dmm]

Вот, наконец, кажется возник правильный подход к пониманию природы моделей вроде GPT-3 и разнообразного волшебства, с этим связанного:

www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators

Он говорит, что надо перестать думать про эти модели в терминах более старых AI-систем.

Comments

[dmm]

Via https://astralcodexten.substack.com/p/janus-gpt-wrangling

[dmm]

https://generative.ink/posts/language-models-are-multiverse-generators/

[dmm]

Речь идёт о кристаллизации людьми некоторого понимания, проблески которого давно возникают у многих людей. У меня эти проблески пониманию возникли, ещё когда я играл с GPT-2. Там было видно, что начальный текст создаёт некоторое «распределение вероятностей на пространстве виртуальных личностей», и Трансформер выбирает одну из этих личностей, производя вероятностный sampling, и уже эта личность с тобой беседует... Во-всяком случае, впечатление было именно такое...

Вот, люди наконец сформулировали это всё более подробно: эти штуки, вроде GPT-3, надо понимать, как симуляторы, они создают (обычно довольно эфемерные) виртуальные реальности («ветки мультиверса»), и там возникают разные сущности, умные и глупые, гениальные и патологические, часто весьма эфемерные и короткоживущие, и с этими сущностями человек и взаимодействует, общаясь с каким-нибудь вариантом GPT-3.

[dmm]

Это самое важное новое, что сейчас происходит. Понимание, что современный Трансформер, это не модель, решающая задачу (хотя она натренирована на то, чтобы как можно лучше предсказывать следующее слово по контексту), а генератор виртуальных реальностей, в которых есть много всякого, классного и не очень, с частью чего мы и взаимодействуем...

Поэтому, оно иногда работает очень классно, а иногда фигово, это смотря на какую сущность попадёшь (известно, что можно заставить его вести себя более предсказуемо, но тогда он становится резко менее творческим; знакомый мотив у людей и их сообществ; вот у Трансформеров оно устроено так же)...

[dmm]

Руководствуясь этим пониманием, и отбросив устаревшие способы думать про эти вещи (устаревшие способы - те, которыми мы думали про модели предыдущих поколений, про обычные нейросети и всякое такое), можно достичь разнообразных новых пониманий и ярких вещей (и это сейчас будет происходить, я думаю, этот подход сейчас вовсю распространится, поскольку многие читают Скотта Александра, и некоторое количество из числа его читателей обратят внимание на происходящее)...

[dmm]

Of course, we see here, once again, that alignment research and capability gains are tightly linked together (and are not in opposition, but in consonance).

[dmm]

I'll do more detailed work with these materials here:

https://github.com/anhinga/2022-notes/tree/main/Generative-autoregressive-models-are-similators

[dmm]

Пока что, я просто делаю конспект, и немножко аннотаций к нему...

Текущее состояние: покрывает заметку Скотта Александра и первую половину текста Януса (я думаю, что это уже гораздо проще читать, чем оригиналы)...

[dmm]

конспект закончен