Следующее поколение систем машинного обучения - гибриды с архитектурой Transformer

[dmm]

В какой-то момент несколько лет назад преимущества многослойных сетей (Deep Nets) стали настолько яркими, что люди, занимающиеся другими подходами, стали делать гибриды с многослойными системами.

Появилось deep this, deep that (Deep Probabilistic Programming, Deep Neuroevolution, etc, etc). Без этого трудно было получать яркие результаты на современном уровне.

Сейчас начался новый период, когда доминирует новый класс лингвистических моделей "Transformer", основанных на наличии многих слоёв, состоящих из "устройств внимания" (attention heads). Их придумали всего три года назад, но результаты "зашкаливают" - это новый качественный скачок.

Видимо, неизбежен следующий период гибридизации - разнообразных привнесений мотивов иерархического внимания во всевозможные ситуации и модели, с которыми работают люди. (Вообще говоря, даже необязательно, чтобы они были уж всегда такими огромными, я думаю, есть место и для маленьких изящных модификаций идеи иерархического внимания.)

***

Одно из странных соображений, которое недавно пришло мне в голову по этому поводу, это что есть много общего по духу между структурами иерархического внимания в этих моделях, и регуляцией экспрессии генов в клетках:

https://twitter.com/ComputingByArts/status/1280989217150156806

Да, кстати, группа из Salesforce Research показала, что "the Transformer's attention mechanism recovers high-level structural (folding) and functional properties of proteins", в дополнение к всякой другой магии, достижимой с использованием этого класса моделей:

https://twitter.com/RichardSocher/status/1278058096481333253

Comments

[timelets]

Это интересное развитие ML — спасибо за ссылки и идеи. Есть такие попытки анализировать RNA? Это может быть важным, потому что одна из функций RNA — передавать сообщения.

[dmm]

Я не знаю. Люди много с ними возятся, поскольку штука волшебная, неожиданно оказалась сильно лучше, чем можно было ожидать a priori, но понимание того, почему она настолько хороша, очень рудиментарное.

Я вижу, что их пытаются использовать всевозможными способами, в том числе, такими, которые на первый взгляд вообще не кажутся лингвистическими, а также смотрят на то, какие структуры образуются в этих "слоях внимания" (там, похоже, прямо деревья грамматического разбора возникают сами собой, и всякое такое).

[dmm]

And the attempts to understand them grow exponentially. 7 weeks ago I looked at 3 papers doing that, and now I looked at them again. Here is what happened to their citation counts (not quite doubling, but almost so):

https://dmm.dreamwidth.org/27542.html?thread=40598#cmt40598

[timelets]

The whole are is quite hot and everybody's looking for an edge. Language is redundant and inherently self-referential; therefore, the idea of attending to related content sounds productive.