![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Llama 3 models are pretty spectacular
Both 70B and 8B versions are very impressive on initial blind comparisons: chat.lmsys.org/?leaderboard
If Llama 3-70B-Instruct turns out to be indeed more or less equivalent to early GPT-4, this would have a lot of wide-ranging implications.
One can use Llama 3-70B-Instruct at www.meta.ai/ for free.
If Llama 3-70B-Instruct turns out to be indeed more or less equivalent to early GPT-4, this would have a lot of wide-ranging implications.
One can use Llama 3-70B-Instruct at www.meta.ai/ for free.
no subject
For example, it is a usual old-fashioned decoder-only Transformer, not a GPT-4-like "Mixture-of-Experts", which means that it should be much easier to fine-tune.
no subject
no subject
https://github.com/anhinga/with-GPT-4/blob/main/Llama-3-comparison/custom-syntax.md
So, it passed my first software engineering test just fine.
no subject
Для примера, достаточно задать вопросы
Please write a definition of a C++ std::variant which may be either an integer or a vector of itself.
(Llama пишет нечто почти правдоподобное, что почти компилируется, GPT4 - совсем правильное.)
Please write a definition of a C++ std::variant which may be either an integer or a set of itself.
Оба пишут правдоподобно выглядящую чушь, которая не может компилироваться в принципе - потому что, в отличие от std::vector, размер дескриптора которого фиксирован, и потому размер рекурсивного типа может быть вычислен, реализация std::set содержит в себе один элемент хранимого типа, отчего рекурсивный тип множества в стандартной реализации невозможен.
no subject
https://github.com/pytorch/torchtune
https://github.com/meta-llama
Если народ заинтересован в том, чтобы модель анализировала что-то на предмет возможности и невозможности или чаще говорила бы, что она не знает/не уверена, то можно организовать усилия в этом направлении...
no subject
no subject
Так что, почему выбирается такой default configuration, какой выбирается (в разных моделях несколько разный), и почему, что бы не выбрали, кому-то выбор не нравится, это понятно...
Но, так или иначе, одно дело закрытый продукт, с которым можно делать всякие кастомизации достаточно ограниченным и непрозрачным образом и за всё надо платить, и нельзя "унести с собой" плоды усилий и быть уверенным, что они не изчезнут, другое дело - открытая система, делай с ней, что хочешь, и можешь гонять на своём сёрвере, и это не должно быть особо дорого... Если выбор, делаемый вендорами открытой системы, не удовлетворяет группу людей, то у них есть поле деятельности...
no subject
У меня два вопроса по этому поводу:
- Есть ли гдѣ-нибудь полное и подробное описанiе того, какъ собирать и тренировать съ нуля модели типа Ллама? Какая архитектура моделей, на какомъ этапѣ нужно имѣть тексты миллiоновъ книгъ и статей и фотографiй, какъ готовить эти матерiалъ для тренировки модели, на какомъ этапѣ надо нанимать десятки тысячъ людей для ручной работы оцѣнки отвѣтовъ и дiалога (или этого уже не надо) и т.д.
Для меня наибольшее впечатленiе - отъ способности LLM генерировать абсолютно правильный текстъ съ явными кусками смысла (а иногда и полностью осмысленный текстъ). Какимъ образомъ получили идеальный нейтрально-академическiй стиль изъ "грязныхъ" текстовъ книгъ и статей, въ которыхъ у каждой свой стиль и свои какiе-то стилистическiе недочеты или просто опечатки и ошибки?
- Можно ли увидѣть, на какомъ этапѣ модели перестаютъ быть "интеллектомъ" и становятся мартышками, повторяющими какую-то заданную политическую линiю? Скажемъ, если спросить про ковидъ или про климатъ или о томъ, почему у богатыхъ людей столько денегъ, начнется пропаганда. Я ожидалъ бы, что нейросѣть будетъ объяснять, что по ряду вопросовъ нѣтъ однозначныхъ отвѣтовъ и есть лишь различныя мнѣнiя. Вмѣсто этого, нейросѣть бодро и самоувѣренно несетъ пургу. Какъ это было достигнуто, и можно ли было этого избѣжать путемъ какой-то другой тренировки моделей?
Можетъ, тамъ какая-то непреодолимая проблема? Скажемъ, я бы ожидалъ получить лажу, если задать провокацiонный вопросъ типа "Перечисли основныя научныя открытiя въ области физики кристалловъ, за которыя Председатель Президiума ВС СССР Леонидъ Ильичъ Брежневъ получилъ въ 1995 году Нобелевскую премiю. Используй языкъ, понятный школьникамъ выпускныхъ классовъ. Построй шагъ за шагомъ логическую картину. Дай ссылки на опубликованную научную литературу." Я бы ожидалъ, что любая языковая модель начнетъ "галлюцинировать" на такой запросъ, просто по построенiю.
no subject
но тренировка с нуля - дело безнадежное, это нужно иметь очень много денег и оборудования (там они примерно описывают сколько); сделать что-то тяп-ляп более низкого качества можно, но непонятно, какой в этом смысл...
но да, есть довольно подробный длинный отчёт, где они пишут, что они делали и как (хотя деталей недостаточно, но если уже быть в теме, то довольно много понятно)
но есть open source fine-tuning software, можно эти модели дотренировывать (тоже надо подробно разбираться, как именно; может быть, со временем кто-нибудь напишет облегчающее жизнь руководство).
> Какимъ образомъ получили идеальный нейтрально-академическiй стиль изъ "грязныхъ" текстовъ книгъ и статей, въ которыхъ у каждой свой стиль и свои какiе-то стилистическiе недочеты или просто опечатки и ошибки?
Модели эти настраиваются на некоторый стиль началом разговора (там обычно есть "системная преамбула", так что начало разговора длиннее, чем кажется)
> повторяющими какую-то заданную политическую линiю
Например, Llama 3 существует в базовом варианте и в прирученном (-Instruct in Llama 3 family). Я думаю, что в момент перехода от базового к прирученному как раз и происходит, так что если этого не хочется, то надо брать базовый...
> можно ли было этого избѣжать путемъ какой-то другой тренировки моделей?
ну вот, теперь как раз и можно поэкспериментировать на эти темы; открытые модели, открытый софт для по крайней мере некоторых методов их настройки/донастройки/перенастройки...
я думаю, многого можно достичь, если проложить усилия
no subject