update on AI progress and AI safety

[dmm]

AI-safety-wise, the write-up, My AI Safety Lecture for UT Effective Altruism by Scott Aaronson is very nice reasonably objective and theory-friendly overview of the current state of AI safety as a field of science.

AI-progress-wise, ChatGPT based on roughly speaking GPT-3.5 has been released recently, with people doing tons of interesting things with it, including meaningful writing and software generation... This seems to be another major step-up.

Comments

[dmm]

From https://spamsink.dreamwidth.org/1265988.html?thread=10975044#cmt10975044

Она моделирует лингвистическую деятельность человека, которая иногда логична, а иногда не слишком логична.

Степень логичности зависит от того, как спросить. Вот пример, когда добавление фразы "Think about this step by step and only then produce a solution" к концу вопроса привело к тому, что стало получаться правильное решение, а без этого у людей было неправильное:

https://twitter.com/ComputingByArts/status/1599495673195683840

Важно помнить, что это симулятор; мы общаемся не с ним самим, а с довольно эфемерными сущностями, которые он создаёт на ходу в зависимости от контекста. Сущности эти могут быть разной природы и качества:

https://dmm.dreamwidth.org/64434.html

https://github.com/anhinga/2022-notes/tree/main/Generative-autoregressive-models-are-similators

Высекать из такого симулятора сущности с такими-то свойствами, а не с другими, это, пока что, некоторое, довольное новое искусство...

[dmm]

Also, read this "Janus paper", in particular, Section 4, "Prompt programming" and Section 4.7, "Metaprompt programming":

https://arxiv.org/abs/2102.07350, "Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm" by Laria Reynolds and Kyle McDonell

This paper currently has 103 references: https://scholar.google.com/citations?user=xQucuooAAAAJ

https://scholar.google.com/scholar?oi=bibs&hl=en&cites=14522716310248947104&as_sdt=5