К 9 месяцам с появления GPT-3
Mar. 1st, 2021 02:03 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
dmmМоя профессиональная деятельность в последние девять месяцев вся была окрашена прорывом, связанным с тем, что придумали GPT-3, и оказалось, что у этой штуки уже вполне волшебные свойства.
Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).
Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.
Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).
Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.
no subject
Date: 2021-03-02 07:08 am (UTC)I also made a slide deck and gave a talk on Sep 3, "Higher-order neuromorphic computations with linear streams": https://github.com/anhinga/2020-notes/tree/master/CCC-2020 (particularly emphasizing mathematical side of the situation and recalling the material from our 2013-2015 research)
I ended up recording two most important papers of those which I've read here, both on Efficient Transformers:
Sep 27: "Selected less known papers on Transformers": https://github.com/anhinga/2020-notes/blob/master/attention-based-models/selected-papers.md