К 9 месяцам с появления GPT-3

[dmm]

Моя профессиональная деятельность в последние девять месяцев вся была окрашена прорывом, связанным с тем, что придумали GPT-3, и оказалось, что у этой штуки уже вполне волшебные свойства.

Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).

Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.

Comments

[dmm]

July 21: Comment on the simple-minded pragmatic attention ("content-based neural attention"): https://github.com/anhinga/2020-notes/blob/master/attention-based-models/simple-minded-attention.md

I am explaining the intuition behind "content-based attention" - why it is natural to think about linear combination as "attention" (I did not understand this before; this explanation is the result of my new focus on these issues.)