Начал экспериментировать с GPT-4

[dmm]

Через ChatGPT+, за двадцатку в месяц. В общем, разница между этой штукой и ChatGPT огромная, и нет смысла ещё тянуть время.

Сразу она начала с предупреждения: "GPT-4 currently has a cap of 25 messages every 3 hours. Expect significantly lower caps, as we adjust for demand."

Но когда я попросил её дать мне советы по моему проекту, она очень мило выступила, технически грамотно в конкретном контексте, и совсем не всё, что она сказала, было общим местом (и, в любом случае, она явно шире видит, чем я; я даже почти всё это "в принципе знаю", и с чем-то могу и не согласиться, но, с другой стороны, оно всё по делу, большую часть этого дела я бы и не вспомнил).

Comments

[dmm]

Actually, I am going to ask it to change the LaTeX and make it better.

I am asking her:

Great! Almost there, but I'd like some minor changes. I'd like paragraphs to start on the left margin without indent, to have some modest vertical space between paragraphs, and to have the whole LaTeX document generated starting from \documentclass

She is saying:

Sure! Here's the full LaTeX document with the requested formatting changes:

\documentclass{article}

\usepackage{hyperref}
\usepackage{url}

% Remove paragraph indent
\setlength{\parindent}{0pt}
% Add vertical space between paragraphs
\setlength{\parskip}{6pt plus 2pt minus 1pt}

\begin{document}

\section{Generative autoregressive models are simulators}

A radical novel understanding of the nature of GPT-3-like models seems to be crystallizing.

\textit{These models are simulators, they generate various entities (which tend to be rather short-lived at the moment),
and users are interacting with those entities. This novel understanding explains a lot of observable phenomena and
opens new promising directions of work.}

A lot of people were seeing glimpses of this for a few years now. E.g. when I was playing with GPT-2 in 2019, I noticed that
it looked like a virtual personality was created at first (sampled from a distribution of virtual personalities
conditioned by the initial prompt), and then that personality was speaking to me. Or, at least, that was my impression.

\begin{center}
\line(1,0){250}
\end{center}

Fast-forwarding to September 2022:

The following text has been published by \textbf{``janus''} on Sep 2, 2022:

\url{https://www.lesswrong.com/posts/vJFdjigzmcXMhNTsx/simulators}

It has been further publicized and discussed by Scott Alexander on Sep 19:

\url{https://astralcodexten.substack.com/p/janus-gpt-wrangling}

This both crystallizes a lot of that new understanding, shows that this viewpoint is gradually proliferating in leading
organizations focusing on better understanding the true nature of modern generative Transformers and on leveraging this
improved understanding, and helps to disseminate this viewpoint (due to the popularity of Scott Alexander's substack in
the relevant circles of professionals).

This subdirectory is for the materials related to this new understanding.

\begin{center}
\line(1,0){250}
\end{center}

\subsection{My reading notes:}

\href{reading-janus-gpt-wrangling.md}{reading-janus-gpt-wrangling.md} - written (this page also contains links to some tools and papers by ``Janus'' including their \textbf{loom} tool and ``Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm'' paper, \url{https://arxiv.org/abs/2102.07350})

\href{reading-simulators-essay.md}{reading-simulators-essay.md} - written

\begin{center}
\line(1,0){250}
\end{center}

\subsection{Thinking further about this topic}

\textit{Work in progress}

\end{document}

This LaTeX code includes the document class, necessary packages, and the requested formatting changes. Make sure to copy the entire code into your LaTeX editor and adjust the formatting as needed.

*****

Let me see if it works...

[juan_gandhi]

I wonder if I can delegate to format the whole book. User chaource formats his perfectly; I'm absolutely pathetic.

[dmm]

Сколько примерно слов в книжке?

[juan_gandhi]

Счетчик не нашел; там 250 страниц, если считать по 2000 символов на страницу и по 5 букв на слово, то получается 10 тыс слов.

[dmm]

Вообще говоря, это ещё в пределах её контекстного окна (во всяком случае, в их большой конфигурации; я, впрочем, не знаю, где там рукоятка управления этим делом).

Так что, я бы ожидал, что это можно сделать (во всяком случае, если выставлено окно в 32 тысячи токенов).

[dmm]

Нет, это, всё же, сто тысяч слов, а не десять.

Но, всё равно, можно преобразовать начальный фрагмент, потом сказать, чтобы так же продолжила...

[dmm]

(Для больших задач, люди, всё же, будут делать вокруг неё завёртки. Чтобы, если нужна промежуточная память или многошаговость, или нетривиальный prompt engineering, это, всё же, не руками делать.)