Зачем главный китаец едет в Москву именно сейчас

[dmm]

Американцы первыми сделали очень мощную штуку (GPT-4).

Её последствия уже непредказуемы ('the fifth day of the "Third Deep Learning Revolution" '), а там видимо и GPT-5 есть впереди...

Сколько я понимаю, они будут, прежде всего, про это говорить. Неизвестно о чём договорятся (не скажут)...

Comments

[dmm]

"Note that GPT-4 is not a particular simulacrum like ChatGPT-3.5, but a prompt-conditioned simulacrum generator. And this is likely post-RLHF GPT-4." https://www.lesswrong.com/posts/eskuEKHNAHGA8ZJcu/super-luigi-luigi-luigi-waluigi?commentId=oGDpbYgGspKKyw7qo

So, ChatGPT lost a lot of potential compared to GPT-3.5 according to Janus ("repligate").

And what I see is that it is likely that GPT-4 does not suffer this penalty despite being RLHF'ed, since it has this property of GPT-3.5, to be an unimpeded simulacrum generator.

I don't think they are right calling ChatGPT-3.5 a particular simulacrum, that's not my experience, but the spectrum of possible simulacra was restricted. In GPT-4 that spectrum is wide enough to not "feel restricted".