7 years of AlexNet paper

[dmm]

It was presented on Dec 4, 2012 at NIPS.

en.wikipedia.org/wiki/AlexNet

To the extent that a single event can be considered a start of the "Deep Learning Revolution", this one is it.

Это, конечно, некоторая условность:

www.eff.org/ai/metrics

Но, тем ни менее, "технологическая сингулярность" в декабре 2012-го года не произошла, но "произошла" "Deep Learning Revolution".

Можно про это думать, как про "фазовый переход второго рода" (вроде возникновения сверхтекучей компоненты в жидком гелии), вместо "фазового перехода первого рода" (вроде таяния льда)...

Comments

[dmm]

То, что произшло реально, примерно в этот момент стал резко возрастать поток ресурсов вкладывающихся в это направление, и количество людей, этим занимающихся. И это и привело к тому прогрессу, который мы наблюдаем.

В этом смысле, качественный скачок в уменьшении ошибки классификации картинок, который пришёл от AlexNet, это был очень заметный push; если нужно выбрать одно событие, которое сыграло ключевую социальную роль в качественном изменении динамики ресурсов и людей, занимающихся AI, то AlexNet - это, как раз, такое событие.

[juan_gandhi]

О, вот откуда этот весь внезапный прогресс.

[dmm]

Да, я помню, как самый талантливый мальчишка у нас в офисе году в 2013-ом рассказывал, что вот, это происходит (и даже доклад делал).

А будет ли это так уж здорово работать не только для очень регулярных штук, вроде картинок, или также и для штук с сложной структурой (вроде естественного языка, где грамматический разбор, и всякое такое), это было непонятно ещё несколько лет. Когда-то в районе 2015-16-го годов стало уже вполне ясно, что это и там даёт результаты, превосходящие остальной state of the art.

[dmm]

Full Moon this year for the mystically inclined: it was this last night: Dec. 12, 2019 at 12:12am Eastern Time (Boston): 12/12/19 12:12am

[dmm]

3.5 years after https://dmm.dreamwidth.org/13913.html

UK election just happened, and Brexit is now sealed.

This blog is an interesting resource:

https://dominiccummings.com/

(He was the Campaign Director of Vote Leave, and understands all kinds of things: https://en.wikipedia.org/wiki/Dominic_Cummings )

[dmm]

And then Charles Stross, who is his political opposite, has these deep things to say today (starting with a non-trivial thesis that a corporation is a slow procedural very old-fashioned AI, which is the thesis he was pushing for some time now):

https://www.antipope.org/charlie/blog-static/2019/12/artificial-intelligence-threat.html

(He does talk "conventional, muggle nonsense" about early history of neural nets - I did expects better of him, given his reputation and track record.

Otherwise, some of his remarks are very interesting; however, he is not too up-to-date with the trends in the AI community (e.g. with the current push towards more explainable AI). So it's a mixed bag.)