Llama 3 models are pretty spectacular

[dmm]

Both 70B and 8B versions are very impressive on initial blind comparisons: chat.lmsys.org/?leaderboard

If Llama 3-70B-Instruct turns out to be indeed more or less equivalent to early GPT-4, this would have a lot of wide-ranging implications.

One can use Llama 3-70B-Instruct at www.meta.ai/ for free.

Comments

[dmm]

архитектура их известна (хотя описана неряшливо, но код совсем короткий, так что можно полностью разобраться).

но тренировка с нуля - дело безнадежное, это нужно иметь очень много денег и оборудования (там они примерно описывают сколько); сделать что-то тяп-ляп более низкого качества можно, но непонятно, какой в этом смысл...

но да, есть довольно подробный длинный отчёт, где они пишут, что они делали и как (хотя деталей недостаточно, но если уже быть в теме, то довольно много понятно)

но есть open source fine-tuning software, можно эти модели дотренировывать (тоже надо подробно разбираться, как именно; может быть, со временем кто-нибудь напишет облегчающее жизнь руководство).

> Какимъ образомъ получили идеальный нейтрально-академическiй стиль изъ "грязныхъ" текстовъ книгъ и статей, въ которыхъ у каждой свой стиль и свои какiе-то стилистическiе недочеты или просто опечатки и ошибки?

Модели эти настраиваются на некоторый стиль началом разговора (там обычно есть "системная преамбула", так что начало разговора длиннее, чем кажется)

> повторяющими какую-то заданную политическую линiю

Например, Llama 3 существует в базовом варианте и в прирученном (-Instruct in Llama 3 family). Я думаю, что в момент перехода от базового к прирученному как раз и происходит, так что если этого не хочется, то надо брать базовый...

> можно ли было этого избѣжать путемъ какой-то другой тренировки моделей?

ну вот, теперь как раз и можно поэкспериментировать на эти темы; открытые модели, открытый софт для по крайней мере некоторых методов их настройки/донастройки/перенастройки...

я думаю, многого можно достичь, если проложить усилия

[dmm]

если приложить усилия