Dataflow matrix machines (by Anhinga anhinga)

I think humans tend to have these idée fixes:

www.anthropic.com/news/golden-gate-claude

A pretty interesting example of conversation by a very experienced interlocutor:

www.lesswrong.com/posts/cxuzALcmucCndYv4a/daniel-kokotajlo-s-shortform#hyXAiafwbwfEPiX5Q

For the 4K context version. OpenAI says that it is often better than GPT-4 for a specific application.

Price to fine-tune a model is very reasonable (but depends on the size of your training set). 

The cost to use the resulting model is much higher than using the un-finetuned GPT-3.5, though it's still cheaper than using GPT-4.

Obviously, you only can use a fine-tuned model via API, not via standard Web interface.

OpenAI says the ability to fine-tune 16K context and the ability to fine-tune GPT-4 are coming.

simons.berkeley.edu/workshops/large-language-models-transformers

Youtube livestream (and, presumably, post-conference youtube recording) are available.

Some of the talks look really interesting.

Через ChatGPT+, за двадцатку в месяц. В общем, разница между этой штукой и ChatGPT огромная, и нет смысла ещё тянуть время.

Сразу она начала с предупреждения: "GPT-4 currently has a cap of 25 messages every 3 hours. Expect significantly lower caps, as we adjust for demand."

Но когда я попросил её дать мне советы по моему проекту, она очень мило выступила, технически грамотно в конкретном контексте, и совсем не всё, что она сказала, было общим местом (и, в любом случае, она явно шире видит, чем я; я даже почти всё это "в принципе знаю", и с чем-то могу и не согласиться, но, с другой стороны, оно всё по делу, большую часть этого дела я бы и не вспомнил).

Эти системы - это не то, что традиционно было принято понимать под AI.

Это системы нового типа - симуляторы. Система "создаёт виртуальную реальность с персонажами", и мы общаемся не с самой системой, а с этими персонажами.

Эти персонажи могут иметь очень разный стиль и очень разные способности: они могут быть умными, глупыми, правдивыми, лживыми, быть похожими на хороших или плохих профессионалов той или иной профессии, и так далее.

Искусство "prompt engineering" как раз и состоит в том, чтобы создать интересных персонажей-собеседников, с теми качествами, которые нам бы хотелось, чтобы они имели. "Prompt engineering" - это очень нетривиальная быстро развиваюшаяся область. Со временем, будут разные завертки, где будет "невидимая пользователю part of the promt", настраивающая систему тем, или иным образом. Но сейчас надо творчески экспериментировать, чтобы получалось по-настоящему интересно.

То, что создано, это не AI в традиционном смысле, а скорее очень хорошо обученная "ткань искусственного мозга, не заполненная изначально никакими личностями и никакими фиксированными свойствами характера"; и искусство состоит в том, чтобы в ней возникали интересные/желанные нам персонажи и динамики.

P.S. I am having a local ongoing intermittent internet outage which sucks (replies might be slow).