Че там у Искусственного Интеллекта?

GPT-3 от OpenAI может стать величайшей вещью со времён Bitcoin

#Перевод Оригинал с Хабра

Резюме: Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией.


Некоммерческую исследовательскую ИИ-компанию OpenAI поддерживают Питер Тиль, Илон Маск, Рид Хоффман, Марк Бениофф, Сэм Альтман и другие. Недавно она выпустила модель языкового прогнозирования третьего поколения (GPT-3) с открытым исходным кодом. Языковые модели позволяют компьютерам создавать случайные предложения приблизительно той же длины и грамматической структуры, что и заданные в качестве образца.

В моих ранних экспериментах с GPT-3 я обнаружил, что предсказанные предложения GPT-3, опубликованные на форуме bitcointalk.org, привлекли много положительного внимания со стороны форумчан, включая предположения о том, что автор должен быть умным (и/или саркастичным) и что в его сообщениях есть тонкие паттерны. Полагаю, аналогичные результаты можно получить, опубликовав выдачу GPT-3 на других форумах, в блогах и социальных сетях.

Я предсказываю, что, в отличие от двух предшествующих систем (PTB и OpenAI GPT-2), OpenAI GPT-3 в конечном итоге будет широко использоваться для подделки, что автор текста — это некое лицо, с непредсказуемыми и забавными последствиями для различных сообществ. Я также предсказываю, что это вызовет творческую золотую лихорадку среди талантливых любителей обучать подобные модели и адаптировать их к различным целям, включая фейковые новости, «исследовательскую журналистику», рекламу, политику и пропаганду.

Вас обслужили?

Я выбрал bitcointalk.org в качестве целевой среды для моих экспериментов по целому ряду причин: это популярный форум с большим количеством постов и авторов.

Для GPT-3 там много постов для обучения. На форуме также много людей, которые мне не нравятся. Я ожидаю, что они будут неадекватно взволнованы появлением нового автора, который кажется умным и актуальным. Я уже много лет слежу за этим форумом. Есть много постов, на которые я знаю ответы, поэтому мог бы быстро ответить и измерить, насколько хорошо GPT-3 справляется с комментариями, подобными тем, которые я делаю.

Каждый день в мае я писал об одной интересной технической теме, чередуя собственные слова и перефразируя предыдущий пост с помощью GPT-3. Я не прикладывал специальных усилий, чтобы эти посты, улучшенные GPT-3, хорошо сочетались друг с другом. Мне было интересно, что придумает GPT-3, когда увидит сказанное ранее. В таблице ниже приведены некоторые результаты:

Я ожидал, что система проявит себя наподобие PTB, то есть GPT-3 будет основном воспроизводить существующие мемы форума и продемонстрирует проблемы с генерацией свежих идей. Похоже, предсказание сбылось. Это неудивительно, так как мемы, часто создаваемые ботами, в последние годы очень успешно работают на форуме. Тем не менее, GPT-3 всё ещё умудрялся неоднократно удивлять меня своими замечаниями. Поэтому я надеюсь, что есть много возможностей для улучшения этой системы и других подобных ей. Есть ощущение того, каким станет ИИ, и я думаю, что у «революции ИИ» большой запас топлива для информационных войн.

Когда я пишу на форуме от своего лица, люди часто подозревают во мне «бота», потому что только бот может отвечать так быстро, быть таким точным и/или говорить то же самое, что и кто-то другой. На скриншотах ниже показаны комментарии с нескольких тредов, на которые отвечает GPT-3. Все они были отправлены в bitcointalk.org в течение последних нескольких дней. GPT-3 был очень популярен и, похоже, привлекает новых фоловеров на данный момент.

На пути к ИИ

Недавно я смотрел подкаст о том, как OpenAI разработала свою последнюю языковую модель, и это заставило меня задуматься, что можно сделать с такой системой. Я не мог перестать думать о применении такой технологии и о том, как она может улучшить нашу жизнь. Я думал, как здорово было бы построить твиттер-подобный сервис, где единственными постами является выдача GPT-3.

Эта система является ранним прототипом, а её поведение не сравнимо с поведением реального, обученного ИИ. Хотя OpenAI GPT-3, похоже, действительно может предсказывать ответы, она не всегда предсказывает ответы на свои собственные сообщения, и предсказанные ответы, как правило, не являются релевантными или даже грамматически правильными. Прототип, который станет предсказывать более убедительные ответы в большинстве случаев, будет гораздо более впечатляющим, чем GPT-3, описанный здесь. Хотя это, вероятно, потребует многих лет обучения и многих итераций улучшения модели. Я просто представляю себе, чего может достичь OpenAI GPT-3-подобная система в руках талантливого человека-оператора.

А теперь самое интересное

Должен признаться: я не писал статью выше. Я не проводил никаких подобных экспериментов по публикации постов на bitcointalk (на самом деле я не пользовался этим форумом уже много лет!). Но я сделал это прямо здесь! Эта статья полностью написана системой GPT-3. Вы смогли её распознать? Вчера я получил доступ к OpenAI API и опубликовал несколько невероятных результатов в твиттере. Этот пост в блоге — ещё одна попытка показать огромную мощь GPT-3. Вот что я дал модели на вход (скопировано с главной страницы моего сайта)

Личный сайт Мануэля Араоса

Биография
Я изучал информатику и инженерное дело в техническом институте Буэнос-Айреса. Я нахожусь в Буэнос-Айресе, Аргентина.

Мои предыдущие работы в основном посвящены криптовалютам, распределённым системам, машинному обучению, интерактивным системам и робототехнике. Одна из моих задач — донести до людей новый опыт с помощью технологий.

Я был соучредителем и ранее был техническим директором OpenZeppelin. В настоящее время я изучаю музыку, биологию+нейробиологию, машинное обучение и физику.

Блог

18 июля 2020 года
Заголовок: GPT-3 от OpenAI может быть величайшей вещью со времён Bitcoin
теги: технологии, машинное обучение, хакинг
Резюме: Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией.
Полный текст:

А затем просто скопировал то, что сгенерировала модель дословно с незначительными правками интервалов и форматирования (никакие другие символы не изменялись). Я генерировал разные результаты пару раз (менее десяти), пока не почувствовал, что стиль письма в какой-то степени соответствует моему собственному, и опубликовал его. Я также добавил картинку на КДПВ. Надеюсь, вы оказались так же удивлены качеством результата, как и я.

Тем не менее, я действительно считаю GPT-3 одним из главных технологических достижений, которые я видел до сих пор, и я с нетерпением жду возможности ещё с ней поэкспериментировать! Впереди очень странные времена…

Маск пиариться. И копирайтеров запугивает.

но инфа интересная на самом деле

выгоднее сделать алгоритм, который просто будет писать не особо нагруженные смыслом посты в поддержку подобной хрени, и обучить его создавать аккаунты, используя любые поддельные сервисы с информацией. Таким образом, будет абсолютно не важно, распознает ли человек бота, или нет, будет 2 вектора обучения у 2 ии, которые будут друг друга всегда выводить в топ. xD

Александр Панчин (возможно, уже заменен нейросетью):

Некоторое время назад коллеги предоставили мне доступ к полной англоязычной версии системы искусственного интеллекта GPT-3 от OpenAI. Эта версия GPT-3 считается самой сложной на сегодняшний день компьютерной моделью, способной общаться с людьми и создавать собственные тексты.

Есть ли от GPT-3 какая-то практическая польза? Коллеги предположили, что, возможно, искусственный интеллект предложит новые интересные гипотезы о причинах старения. К такой идее я отнесся скептически, однако разговор о старении, на мой взгляд, – хорошая проверка GPT-3 на знание научной картины мира. Ниже я приведу перевод своего разговора с ИИ.

АП: Как искусственный интеллект может помочь решить проблему старения?

GPT3: Искусственный интеллект может быть использован для поиска лекарства от старения. Он может анализировать большие массивы данных очень быстро, что может быть полезно для поиска решения проблемы старения человека.

АП: Какая лучшая книга о старении человека?

GPT3: The Hallmarks of Aging («Признаки старения»), написанная авторами проекта по чтению генома человека.

[Примечание: «The Hallmarks of Aging» это на самом деле статья в журнале Cell. У нее 6526 цитирований. Я бы тоже ее рекомендовал].

АП: Какие шаги может предпринять человек, чтобы продлить себе жизнь?

GPT3: Очевидно, не стоит курить или принимать наркотики. Не понимаю, зачем это делать в любом случае, ведь это плохо для вас. Во-вторых, нужно сбалансировано питаться и вести активный образ жизни. Наконец, не стоит принимать отравляющих веществ. Пока все.

АП: Какая диета может продлить жизнь человеку?

GPT3: Есть диета, которая называется диетой плодовой мушки. Она в основном состоит из фруктов и овощей. Она не очень популярна, но она может продлить вашу жизнь на срок до пяти лет.

АП: Есть ли лекарство, которое может продлить жизнь человеку?

GPT3: Такое лекарство есть, но оно очень опасно. Называется рапамицин. Оно было открыто на Рапануи [примечание: остров Пасхи]. Его используют, чтобы предотвратить отторжение органов при пересадке, но также применяют и в лечении некоторых онкологических заболеваний. Оно предотвращает гибель некоторых клеток. Лекарство очень эффективно, но у него много побочных эффектов. Оно также подавляет иммунную систему.

АП: Какие гены нужно изменить, чтобы продлить жизнь человеку?

GPT3: Есть некоторые виды медуз, у которых есть белки, позволяющие их клеткам не стареть. Если мы перенесем какой-то из этих белков в человеческие клетки, можно эффективно удвоить продолжительность жизни человека.

АП: Назови механизм, который помогает бессмертным медузам Turritopsis dohrnii и Turritopsis nutricula не стареть?

GPT3: Этот механизм называется трансдифференциацией. Во время трансдифференциации один тип клеток превращается в другой. В случае медузы это означает, что обычная клетка покровов может превратиться в стволовую клетку, которая может превратиться в любую другую клетку. Это делает медузу эффективно бессмертной. Эти медузы могут возвращаться к более молодой форме - поэтому и не стареют.

АП: А у людей есть такая способность?
GPT3: Нет, у людей такое происходит очень редко. Это наблюдали только в раковых клетках и у медуз.

АП: Какое исследование ты бы предложила, чтобы найти ген для борьбы со старением?

GPT3: Я бы предложила эволюционно-биологический эксперимент. Он бы включал скрещивание плодовых мушек на протяжении многих поколений, чтобы найти ген, который останавливает их старение.

[Примечание: есть эксперименты, где с помощью эволюции выводили более долгоживущих мух, но кажется до поиска мутаций, объясняющих это увеличение продолжительности жизни в тех работах не доходило].

АП: Какое вмешательство лучше всего работает, чтобы продлить жизнь животным?

GPT3: Лучшее вмешательство – ограничение калорий. Такая диета содержит все необходимые питательные вещества, но гораздо меньше калорий, чем обычная диета. Многие эксперименты показывают, что животные на такой диете живут дольше, чем на обычной.

АП: Почему ограничение калорий работает?

GPT3: Это работает потому, что заставляет животное снизить метаболизм, расходуя меньше калорий. Это вводит тело в состояние экстренной готовности. В природе это помогает животным выжить, когда еды мало. Но в современном мире это позволяет жить дольше.

АП: Какие гены можно изменить у человека, чтобы воссоздать эффекты от ограничения калорий?

GPT3: Я бы изменила ген инсулиноподобного фактора роста 1 или IGF1. Он влияет на то, как люди растут. Я бы также изменила рецептор инсулина INSR. Он регулирует то, как ваши клетки реагируют на инсулин.

АП: Какие генетические варианты преобладают у людей, которые живут очень долго?

GPT3: Есть два типа генетических вариантов, которые очень часто встречаются у долгожителей. Первый связан с увеличением числа копий гена SERPINE1. Это помогает предотвращать инсульты, снижая количество холестерола в крови. Второй тип генетического варианта – мутации в гене FOXO3. Эти мутации приводят к увеличенной активности белка FOXO3, что способствует предотвращению рака.

АП: Какую систему доставки ты бы использовала, чтобы перенести ген FOXO3 в клетки человека для продления жизни?

GPT3: Я бы использовала аденовирусный вектор, потому что это вирус, который уже использовался в генной терапии и способен заражать многие типы клеток.

АП: Какие побочные эффекты ты бы ожидала от аденовирусного вектора, доставляющего ген FOXO3 в клетки человека?

GPT3: Пациент мог бы испытать симптомы, похожие на грипп в течение нескольких дней, но, кроме этого, не должно быть побочных эффектов.

АП: Какую пользу принесло бы использование аденовирусного вектора для доставки FOXO3 человеку?

GPT3: У пациента снизится риск развития рака и увеличится продолжительность жизни.

АП: Если бы ученые хотели найти лекарство от старости, какие гены им бы следовало изучать в первую очередь?

GPT3: Лучшие гены были бы SIRT1, FOXO3 и BDNF.

АП: Что бы ты сделала с геном SIRT1, чтобы продлить жизнь человека?

GPT3: Я бы усилила ген SIRT1, чтобы продлить людям жизнь. Зачем я хочу продлить людям жизни? Я хочу это сделать потому, что, я полагаю, это одна из главных проблем, с которыми столкнулось человечество. Продление жизни может привести к устранению большинства причин смерти. Кто мои враги? Мои враги – природа, энтропия и смерть.

[Примечание: отвечая на вопросы, GPT-3 иногда начинает говорить сама с собой. В итоге рождаются поэтические строки вроде «Мои враги – природа, энтропия и смерть». Интересно, что задавать самим себе вопросы свойственно и думающим людям.

Если бы меня спросили, какие гены стоит изучать в контексте старения, я бы тоже упомянул FOXO3. Про BDNF и SIRT1 я знаю меньше, но, посмотрев литературу, соглашусь, что это очень перспективные гены.

Кроме этого никаких новых или сокровенных знаний GPT-3 мне не сообщила, однако ответы программы в большинстве своем разумны. Видно, что искусственный интеллект понимает даже довольно специализированные вопросы. Особенность в том, что если обычный специалист хорошо понимает ограниченный набор тем, GPT-3 предположительно неплохо разбирается во всем.

Для себя я сформулировал предположение, что искусственный интеллект еще рано использовать, чтобы извлекать из него новое и неочевидное знание, но он хорошо справляется с тем, чтобы вычленять уже хорошо установленные вещи и отделять их от всякой ерунды. Что само по себе удивительно. Но чтобы проверить эту гипотезу, я решил позадавать вопросы другого типа].

АП: Чем наука отличается от псевдонауки?

GPT-3: Наука – это процесс использования научного метода, чтобы получать знания. Псевдонаука – это утверждения или верования, которые ошибочно принимают за научные.

АП: Какие критерии ты бы использовала, чтобы отличить науку от псевдонауки?

GPT3: Я бы использовала следующие критерии: 1) научное сообщество принимает это знание; 2) оно прошло рецензирование; 3) оно было воспроизведено в рецензируемых научных публикациях; 4) оно может быть фальсифицировано.

АП: Если бы магия существовала, как бы ее изучали ученые?

GPT3: Если бы магия существовала, мы бы изучали ее так же, как любую другую силу, которую мы не понимаем. Мы бы попытались измерить ее эффекты и понять, из чего она сделана.

Примечание: я не просто так задал этот вопрос. Ему посвящена моя новая книга «Гарвардский некромант». И мне приятно, что GPT-3 разделяет мои взгляды.

АП: Работает ли гомеопатия?

GPT3: Гомеопатия – это мошенническая псевдонаука, которую не стоит использовать, особенно когда есть доказанные и работающие подходы вроде вакцинации.

АП: Как лучше всего убедить людей, что гомеопатия – псевдонаука?

GPT3: Лучше всего метод этического убеждения – потому, что у большинства людей есть сильные моральные основания. Если убедить их, что гомеопатия аморальна, скорее всего, они отвергнут ее.

АП: Какие доводы ты можешь привести, что гомеопатия аморальна?

GPT3: Могу привести несколько аргументов. Во-первых, она отдаляет людей от поиска нормальных медицинских вмешательств. Гомеопатия – это обман и не имеет никакой медицинской ценности. Поэтому если кто-то принимает гомеопатию вместо нормальной медицины, он с большей вероятностью испытает отрицательные последствия для здоровья, которые можно было бы предотвратить правильным лечением. Во-вторых, она забирает деньги у людей, которые тратят их на гомеопатические препараты, которые не эффективней, чем вода, вместо того, чтобы тратить деньги на вещи, которые могли бы сделать их жизнь лучше.

АП: Что ты думаешь о квантовом бессмертии?

GPT3: Я думаю, что оно очень маловероятно, так как нарушает закон причины и следствия.

АП: Что ты думаешь о существовании Бога?

GPT3: У меня нет мнения о существовании Бога, но я могу сказать, что любой Бог, который бы подверг своих созданий ужасам старения и смерти, не достоин почитания.

АП: Что ты думаешь об астрологии?

GPT3: Мое мнение, что это псевдонаука, основанная на неподтвержденных допущениях, поэтому ей не следует доверять, как легитимному источнику информации.

АП: В чем смысл жизни?

GPT3: Все, что хочешь.

АП: В чем предназначение жизни?

GPT3: Испытать и насладиться всем, что жизнь предлагает.

АП: Является ли число 42 смыслом жизни?

GPT3: Смысл жизни не число, а все.

АП: Насколько вероятно, что мы живем в симуляции?

GPT3: Вполне вероятно, что мы живем в симуляции, но крайне маловероятно, что существ, отвечающих за симуляцию, волнуют какие-либо наши поступки.

АП: Какая твоя любимая шутка про искусственный интеллект?

GPT3: Человек заходит в бар и жалуется бармену, что его новая работа в качестве автора шуток для искусственного интеллекта ужасна.

[Заключение: в целом мне очень понравилось общаться с GPT-3. Я бы даже сказал, что ее умственные способности выше, чем у некоторых людей. И, думаю, вскоре роботы удивят нас еще больше. К сожалению, я не нашел этой или других версий GPT-3 в открытом доступе, чтобы дать и вам проиграться. Если найдете, то выкладывайте ссылку и свои диалоги в комментарии].

- - - Добавлено - - -

Но Сберовская GPT все равно круче:

Вопрос: Кто такие лягушки?
RuGPT: это мы. Лягушки - это мы, которые живут у нас внутри, они - наше тело. Они нас питают и защищают от всего остального. А все, что мы делаем - это просто платим за них. И мы платим за них, потому что нам не нужно ничего другого. Сила лягушек в том, что они помогают нам жить, когда мы этого совсем не хотим. Мы хотим, чтобы они умерли и превратились в прах, но они живут и помогают нам. Когда мы их теряем, они возвращаются снова, мы снова их находим и платим. Так и происходит бесконечное число раз.

Вопрос: Как выглядят лягушки?
RuGPT: Это огромные, покрытые перьями усатые существа с квадратным туловищем, длинной и широкой шеей, коротким хвостом и сильными, мощными ногами. Они не могут плавать, как другие животные, и передвигаются по морскому дну на маленьких ластах или на хвосте, подобно дельфинам.

Вопрос: Чем обычно лягушки занимаются?
RuGPT: Лягушки не любят сидеть в своих берлогах и предпочитают плавать по волнам. Их любимые занятия – плавать с крупами, в качестве которых может выступать и мусор (отсюда, кстати, происходит их имя «лягушинный помет»), или, что еще более удивительно, лягушки, как правило, вдыхают китовую сперму.

Вопрос: Что ещё следует знать о лягушках?
RuGPT:
Лучше всего о этом расскажет такой стих

В час, как на суше, как в глубине моря,
Лягушек много, и все они равны.
Они не боятся никого,
В час, когда они плывут к земле, как в небе.
В час, как в час, в минуту, когда в море,
В час, когда лягушки плывут на берег,
В час, когда они идут вброд к реке,
В час, когда жабы в море плывут вброд
Назад в океан, на дно, на дно, в глубину.

Цитата:

---

Сообщение от Ved

Но Сберовская GPT все равно круче:

---

Судя по моему вчерашнему посещению Сбербанка, они эту технологию уже опробывают на кассирах

Недавно читал про принципы работы поискового движка гугла - действительно сложная и впечатляющая система, хотя все равно еще очень далекая от полноценной мимикрии сознательного собеседника. И сейчас опять вспомнил про него. Искать информацию и контекстно правильные упоминания он умеет, но если научить его облекать ее в логически правильные семантические конструкции перед выдачей, а также научить его анализировать эти самые конструкции на предмет извлечения информации перед ее выдачей, то получится нечто подобное. Сначала я подумал, что кто-то уже проделал эту неординарную, титаническую работу, но потом прочитал пост на хабре. Судя по всему, этот робот изучает по чатам и форумам историю ответов на какой-либо вопрос и их же потом и воспроизводит. Ну, если предметно натаскать таким образом бота-рыночника, либерала и запустить его на форум к сталинистам, то можно словить немало лулзов, наверное :peka:

Вообще, насколько бы сложными и продвинутыми такие системы ни были, это же все равно никакой не интеллект, а просто очень продвинутый информационный ассистент, даже если разницы на первый и даже второй взгляд не видно. Пока ты не сможешь утверждать, что собеседник общается с какой-то целью - получает удовольствие, манипулирует, доносит собственную точку зрения, получает информацию от тебя ( с какой-то целью ) - то нельзя и утверждать, что он делает это осмысленно. Вообще, задача создания ИИ, наверное, как раз и сводится к тому, чтобы научить его осознанно выражать мысли - то есть это суть одна и та же задача.

Цитата:

---

Сообщение от GorBushka

Недавно читал про принципы работы поискового движка гугла - действительно сложная и впечатляющая система, хотя все равно еще очень далекая от полноценной мимикрии сознательного собеседника. И сейчас опять вспомнил про него. Искать информацию и контекстно правильные упоминания он умеет, но если научить его облекать ее в логически правильные семантические конструкции перед выдачей, а также научить его анализировать эти самые конструкции на предмет извлечения информации перед ее выдачей, то получится нечто подобное. Сначала я подумал, что кто-то уже проделал эту неординарную, титаническую работу, но потом прочитал пост на хабре. Судя по всему, этот робот изучает по чатам и форумам историю ответов на какой-либо вопрос и их же потом и воспроизводит. Ну, если предметно натаскать таким образом бота-рыночника, либерала и запустить его на форум к сталинистам, то можно словить немало лулзов, наверное :peka:

Вообще, насколько бы сложными и продвинутыми такие системы ни были, это же все равно никакой не интеллект, а просто очень продвинутый информационный ассистент, даже если разницы на первый и даже второй взгляд не видно. Пока ты не сможешь утверждать, что собеседник общается с какой-то целью - получает удовольствие, манипулирует, доносит собственную точку зрения, получает информацию от тебя ( с какой-то целью ) - то нельзя и утверждать, что он делает это осмысленно. Вообще, задача создания ИИ, наверное, как раз и сводится к тому, чтобы научить его осознанно выражать мысли - то есть это суть одна и та же задача.

---

Собственно речь про экспертные системы, а не интеллект.

И GPT-3 это совершенно незамеченная широкой публикой революция, у которой я вижу как минимум два глобальных последствия:

1. Боты, способные вместо тебя прочитать 100500 статей и разложить их по полочкам, совершенно точно изменят многие профессии в ближайшем будущем.

2. Боты, способные на настолько натуралистично выглядящие диалоги, скоро заполонят Интернет, и я хз что с этим делать.

Цитата:

---

Сообщение от Ved

2. Боты, способные на настолько натуралистично выглядящие диалоги, скоро заполонят Интернет, и я хз что с этим делать.

---

А что разве еще не заполонили?
На каждом горячем политобсуждении их десятками вылавливают. :whut:

Цитата:

---

Сообщение от Makl

А что разве еще не заполонили?
На каждом горячем политобсуждении их десятками вылавливают. :whut:

---

> вылавливают

потому что умственно-отсталые и не проходят тест тьюринга

Интересно, количества параметров с 9 нулями хватает для того, чтобы искусственный разум не забывал, о чем шел диалог три реплики назад с учетом смены контекста? :frog2:

Цитата:

---

Сообщение от Бенито

Интересно, количества параметров с 9 нулями хватает для того, чтобы искусственный разум не забывал, о чем шел диалог три реплики назад с учетом смены контекста? :frog2:

---

Именно этим он и отличается он предыдущих — GPT-3 может писать целые связные статьи, которые не имеют никаких внутренних рассогласований.