Llama 3 models are pretty spectacular

[dmm]

Both 70B and 8B versions are very impressive on initial blind comparisons: chat.lmsys.org/?leaderboard

If Llama 3-70B-Instruct turns out to be indeed more or less equivalent to early GPT-4, this would have a lot of wide-ranging implications.

One can use Llama 3-70B-Instruct at www.meta.ai/ for free.

Comments

[spamsink]

Увы, пока модели не в состоянии отвечать на некоторые вопросы в стиле "к сожалению, это невозможно", полезность их будет ограничена, потому что их использование будет приводить к пустой трате времени.

Для примера, достаточно задать вопросы

Please write a definition of a C++ std::variant which may be either an integer or a vector of itself.
(Llama пишет нечто почти правдоподобное, что почти компилируется, GPT4 - совсем правильное.)
Please write a definition of a C++ std::variant which may be either an integer or a set of itself.
Оба пишут правдоподобно выглядящую чушь, которая не может компилироваться в принципе - потому что, в отличие от std::vector, размер дескриптора которого фиксирован, и потому размер рекурсивного типа может быть вычислен, реализация std::set содержит в себе один элемент хранимого типа, отчего рекурсивный тип множества в стандартной реализации невозможен.

[dmm]

Ну так "не боги горшки обжигают". Модель open source, софт для того, чтобы её finetune, - тоже:

https://github.com/pytorch/torchtune

https://github.com/meta-llama

Если народ заинтересован в том, чтобы модель анализировала что-то на предмет возможности и невозможности или чаще говорила бы, что она не знает/не уверена, то можно организовать усилия в этом направлении...

[spamsink]

Я к тому, что и (второй) лучший на данный момент GPT4 страдает тем же. Возможно, это не так уж просто, потому что в исходном материале на одно вхождение "это невозможно" будет на порядок больше вхождений "попробовал так-то - почти получилось; что я делаю не так?"

[dmm]

Ну да; во-первых, нужно добавить рефлексию (больше "разговоров с самим собой", то есть, если это делать всегда, то это дольше и дороже), во-вторый, уменьшить уверенность модели в себе, что можно сделать и через системную часть промпта, но это, вероятно, чаще портит дело, чем помогает (и так уже всех раздражает то, что кажется чрезмерным занудством, "с одной стороны, с другой стороны", типичное для многих моделей, но это как раз и делается для того, чтобы уменьшить уверенные неверные ответы)...

Так что, почему выбирается такой default configuration, какой выбирается (в разных моделях несколько разный), и почему, что бы не выбрали, кому-то выбор не нравится, это понятно...

Но, так или иначе, одно дело закрытый продукт, с которым можно делать всякие кастомизации достаточно ограниченным и непрозрачным образом и за всё надо платить, и нельзя "унести с собой" плоды усилий и быть уверенным, что они не изчезнут, другое дело - открытая система, делай с ней, что хочешь, и можешь гонять на своём сёрвере, и это не должно быть особо дорого... Если выбор, делаемый вендорами открытой системы, не удовлетворяет группу людей, то у них есть поле деятельности...