Generative autoregressive models are similators

[dmm]

Вот, наконец, кажется возник правильный подход к пониманию природы моделей вроде GPT-3 и разнообразного волшебства, с этим связанного:

www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators

Он говорит, что надо перестать думать про эти модели в терминах более старых AI-систем.

Comments

[dmm]

Это самое важное новое, что сейчас происходит. Понимание, что современный Трансформер, это не модель, решающая задачу (хотя она натренирована на то, чтобы как можно лучше предсказывать следующее слово по контексту), а генератор виртуальных реальностей, в которых есть много всякого, классного и не очень, с частью чего мы и взаимодействуем...

Поэтому, оно иногда работает очень классно, а иногда фигово, это смотря на какую сущность попадёшь (известно, что можно заставить его вести себя более предсказуемо, но тогда он становится резко менее творческим; знакомый мотив у людей и их сообществ; вот у Трансформеров оно устроено так же)...

[dmm]

Руководствуясь этим пониманием, и отбросив устаревшие способы думать про эти вещи (устаревшие способы - те, которыми мы думали про модели предыдущих поколений, про обычные нейросети и всякое такое), можно достичь разнообразных новых пониманий и ярких вещей (и это сейчас будет происходить, я думаю, этот подход сейчас вовсю распространится, поскольку многие читают Скотта Александра, и некоторое количество из числа его читателей обратят внимание на происходящее)...