К 9 месяцам с появления GPT-3

[dmm]

Моя профессиональная деятельность в последние девять месяцев вся была окрашена прорывом, связанным с тем, что придумали GPT-3, и оказалось, что у этой штуки уже вполне волшебные свойства.

Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).

Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.

Comments

[dmm]

The next two months (Oct-Nov) I did a bunch of work which was only committed/posted on internet in December (and some in January).

It involved playing with the idea of a machine built around bilinear operation of matrix multiplication interleaved with non-linear transform.

In particular, the first experiments interpreting monochrome images as matrices and multiplying them as matrices were done in October (this was done in Julia; I was playing with Julia till late May, then I stopped, and switched to thinking about Transformers, in October I resumed playing with Julia).

In December I reproduced those experiments inside Jupyter notebook (my first Jupyter notebook in Julia), and I committed the Jupyter notebook version.

So, this was not too fast: Oct-Nov was a slow time of thinking and software explorations, and by the end of November we find ourselves at 6 months since GPT-3 revolution.