Llama 3 models are pretty spectacular

[dmm]

Both 70B and 8B versions are very impressive on initial blind comparisons: chat.lmsys.org/?leaderboard

If Llama 3-70B-Instruct turns out to be indeed more or less equivalent to early GPT-4, this would have a lot of wide-ranging implications.

One can use Llama 3-70B-Instruct at www.meta.ai/ for free.

Comments

[chaource]

Я видѣлъ, что есть возможность установить себѣ на лаптопъ модель LLM и пользоваться приватно. https://lmstudio.ai/

У меня два вопроса по этому поводу:

- Есть ли гдѣ-нибудь полное и подробное описанiе того, какъ собирать и тренировать съ нуля модели типа Ллама? Какая архитектура моделей, на какомъ этапѣ нужно имѣть тексты миллiоновъ книгъ и статей и фотографiй, какъ готовить эти матерiалъ для тренировки модели, на какомъ этапѣ надо нанимать десятки тысячъ людей для ручной работы оцѣнки отвѣтовъ и дiалога (или этого уже не надо) и т.д.

Для меня наибольшее впечатленiе - отъ способности LLM генерировать абсолютно правильный текстъ съ явными кусками смысла (а иногда и полностью осмысленный текстъ). Какимъ образомъ получили идеальный нейтрально-академическiй стиль изъ "грязныхъ" текстовъ книгъ и статей, въ которыхъ у каждой свой стиль и свои какiе-то стилистическiе недочеты или просто опечатки и ошибки?

- Можно ли увидѣть, на какомъ этапѣ модели перестаютъ быть "интеллектомъ" и становятся мартышками, повторяющими какую-то заданную политическую линiю? Скажемъ, если спросить про ковидъ или про климатъ или о томъ, почему у богатыхъ людей столько денегъ, начнется пропаганда. Я ожидалъ бы, что нейросѣть будетъ объяснять, что по ряду вопросовъ нѣтъ однозначныхъ отвѣтовъ и есть лишь различныя мнѣнiя. Вмѣсто этого, нейросѣть бодро и самоувѣренно несетъ пургу. Какъ это было достигнуто, и можно ли было этого избѣжать путемъ какой-то другой тренировки моделей?

Можетъ, тамъ какая-то непреодолимая проблема? Скажемъ, я бы ожидалъ получить лажу, если задать провокацiонный вопросъ типа "Перечисли основныя научныя открытiя въ области физики кристалловъ, за которыя Председатель Президiума ВС СССР Леонидъ Ильичъ Брежневъ получилъ въ 1995 году Нобелевскую премiю. Используй языкъ, понятный школьникамъ выпускныхъ классовъ. Построй шагъ за шагомъ логическую картину. Дай ссылки на опубликованную научную литературу." Я бы ожидалъ, что любая языковая модель начнетъ "галлюцинировать" на такой запросъ, просто по построенiю.

[dmm]

архитектура их известна (хотя описана неряшливо, но код совсем короткий, так что можно полностью разобраться).

но тренировка с нуля - дело безнадежное, это нужно иметь очень много денег и оборудования (там они примерно описывают сколько); сделать что-то тяп-ляп более низкого качества можно, но непонятно, какой в этом смысл...

но да, есть довольно подробный длинный отчёт, где они пишут, что они делали и как (хотя деталей недостаточно, но если уже быть в теме, то довольно много понятно)

но есть open source fine-tuning software, можно эти модели дотренировывать (тоже надо подробно разбираться, как именно; может быть, со временем кто-нибудь напишет облегчающее жизнь руководство).

> Какимъ образомъ получили идеальный нейтрально-академическiй стиль изъ "грязныхъ" текстовъ книгъ и статей, въ которыхъ у каждой свой стиль и свои какiе-то стилистическiе недочеты или просто опечатки и ошибки?

Модели эти настраиваются на некоторый стиль началом разговора (там обычно есть "системная преамбула", так что начало разговора длиннее, чем кажется)

> повторяющими какую-то заданную политическую линiю

Например, Llama 3 существует в базовом варианте и в прирученном (-Instruct in Llama 3 family). Я думаю, что в момент перехода от базового к прирученному как раз и происходит, так что если этого не хочется, то надо брать базовый...

> можно ли было этого избѣжать путемъ какой-то другой тренировки моделей?

ну вот, теперь как раз и можно поэкспериментировать на эти темы; открытые модели, открытый софт для по крайней мере некоторых методов их настройки/донастройки/перенастройки...

я думаю, многого можно достичь, если проложить усилия

[dmm]

если приложить усилия