Llama 3 models are pretty spectacular

[dmm]

Both 70B and 8B versions are very impressive on initial blind comparisons: chat.lmsys.org/?leaderboard

If Llama 3-70B-Instruct turns out to be indeed more or less equivalent to early GPT-4, this would have a lot of wide-ranging implications.

One can use Llama 3-70B-Instruct at www.meta.ai/ for free.

Comments

[spamsink]

Я к тому, что и (второй) лучший на данный момент GPT4 страдает тем же. Возможно, это не так уж просто, потому что в исходном материале на одно вхождение "это невозможно" будет на порядок больше вхождений "попробовал так-то - почти получилось; что я делаю не так?"

[dmm]

Ну да; во-первых, нужно добавить рефлексию (больше "разговоров с самим собой", то есть, если это делать всегда, то это дольше и дороже), во-вторый, уменьшить уверенность модели в себе, что можно сделать и через системную часть промпта, но это, вероятно, чаще портит дело, чем помогает (и так уже всех раздражает то, что кажется чрезмерным занудством, "с одной стороны, с другой стороны", типичное для многих моделей, но это как раз и делается для того, чтобы уменьшить уверенные неверные ответы)...

Так что, почему выбирается такой default configuration, какой выбирается (в разных моделях несколько разный), и почему, что бы не выбрали, кому-то выбор не нравится, это понятно...

Но, так или иначе, одно дело закрытый продукт, с которым можно делать всякие кастомизации достаточно ограниченным и непрозрачным образом и за всё надо платить, и нельзя "унести с собой" плоды усилий и быть уверенным, что они не изчезнут, другое дело - открытая система, делай с ней, что хочешь, и можешь гонять на своём сёрвере, и это не должно быть особо дорого... Если выбор, делаемый вендорами открытой системы, не удовлетворяет группу людей, то у них есть поле деятельности...