К 9 месяцам с появления GPT-3

[dmm]

Моя профессиональная деятельность в последние девять месяцев вся была окрашена прорывом, связанным с тем, что придумали GPT-3, и оказалось, что у этой штуки уже вполне волшебные свойства.

Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).

Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.

Comments

[dmm]

August 9: "Implicit MetaLearning": https://github.com/anhinga/2020-notes/blob/master/attention-based-models/implicit-metalearning.md

"The fact that inexpensive transfer learning or inexpensive fine-tuning is possible in many machine learning models such as neural nets and transformers implies that implicit metalearning on the level of model is happening during their training or pretraining."

GPT-3 seems to do this even more, in a style which somewhat resembles MAML (Model-Agnostic Meta-Learning), although it was not planned this way, but the authors are trying to explain this effect.