К 9 месяцам с появления GPT-3

[dmm]

Моя профессиональная деятельность в последние девять месяцев вся была окрашена прорывом, связанным с тем, что придумали GPT-3, и оказалось, что у этой штуки уже вполне волшебные свойства.

Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).

Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.

Comments

[dmm]

So, in late December-early January I considered whether one might nevertheless want to implement DMMs in an old-fashioned framework like PyTorch or TensorFlow (it might make sense if people involved with those old-fashioned frameworks would want to invest in such an effort, as this is a relatively inexpensive way to bring flexibility and differential programming into those old-fashioned frameworks without rearchitecting them drastically).

Jan 4: I publish a research draft about this: "Dataflow matrix machines, tree-shaped flexible tensors, neural architecture search, and PyTorch", https://github.com/anhinga/2021-notes/tree/main/research-drafts

Feb 11-17: I upgrade my "interdisciplinary collaborative research agenda", adding information about JAX, and also adding Section 7: " DMMs vs. differential (differentiable) programming: a meta-learning aspect":

https://github.com/anhinga/2021-notes/tree/main/research-agenda

https://www.cs.brandeis.edu/~bukatin/dmm-collaborative-research-agenda.pdf