К 9 месяцам с появления GPT-3

[dmm]

Моя профессиональная деятельность в последние девять месяцев вся была окрашена прорывом, связанным с тем, что придумали GPT-3, и оказалось, что у этой штуки уже вполне волшебные свойства.

Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).

Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.

Comments

[dmm]

Sep 27 - Sep 30: "Theory problems on DMMs as Transformer-like machines": https://github.com/anhinga/2020-notes/blob/master/attention-based-models/theory-problems.md

Here I am reviving my June 2019 preprint on duality between the matrix network weights and the matrix of input vectors in DMMs. Back in 2019 it was "some theory work to revisit in the future", but Transformer's focus on matrix multiplication made me to move it to the forefront. Suddenly it started to look as potentially the most promising direction to explore.

Now we are at about 4 months since GPT-3 revolution.