К 9 месяцам с появления GPT-3

[dmm]

Моя профессиональная деятельность в последние девять месяцев вся была окрашена прорывом, связанным с тем, что придумали GPT-3, и оказалось, что у этой штуки уже вполне волшебные свойства.

Вот, я хочу в комментариях проследить, как оно было, и что я по этому поводу пробовал делать (в том числе, на гитхабе).

Революция, вызванная или, по крайней мере, радикально ускоренная появлением GPT-3 и последующих работ, происходит вовсю, и я не уверен, получается ли у кого-нибудь следить за всеми важными развитиями в этой области. Я не делаю попытку обзора, это, скорее, попытка вспомнить свою личную траекторию.

Comments

[dmm]

July 23: Possible attention-related experiments: https://github.com/anhinga/2020-notes/blob/master/attention-based-models/possible-experiments.md

Starting making notes on possible attention-related experiments:

1)"Adding feedback to Transformers"

2) "DMM neural achitecture search" (здесь, кажется, впервые в явном виде возникают наблюдения о тесных связях между DMMs и Transformers: и те и другие основаны на линейных комбинациях, и объединение многих линейных комбинаций в матричное умножение тоже является важным мотивом и там и там.

На самом деле, эти тесные связи и являются ключевым мотивом для моего продолжающегося внимания к теме attention and Transformers - всё это гораздо ближе к тому, чем я и так занимаюсь, чем очевидно на первый взгляд. И есть надежда на разнообразное плодотворное взаимодействие между этими темами.)

July 28: added "Semantic grounding experiments"

July 31: added "Higher-order attention" (another section which is closely related to DMMs and which inspired quite a bit later)