Чем дальше читаю, тем больше там интересных деталей (фазовые переходы, и как процесс тренировки самостоятельно переоткрывает преобразование Фурье, и всякое такое):

https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokking

Очень, очень интересно...

*******

Но, в целом, народ в этой области по-прежнему вполне слеп и глух; вот эта замечательная и, вроде бы, очень известная работа Anthropic прошлого года:

https://transformer-circuits.pub/2021/framework/index.html

совсем мало всё это цитируется:

https://scholar.google.com/citations?user=GLnX3MkAAAAJ&hl=en&oi=ao

Ну, может, дойдёт со временем... (Но, пока что, те, до кого дойдёт раньше, чем до толпы, будут иметь большое преимущество.)