Риски искусственного интеллекта лежат в области его мотивации и целеполагания.
И как это связано с разноцветными карпами.

Карпы кои (鯉 или コイ кои) или, более точно, парчовый карп (яп. 錦鯉 нисикигои) — декоративные одомашненные рыбы, выведенные из амурского подвида сазана (Cyprinus carpio). Карпом кои считается рыба, прошедшая 6 селекционных отборов, после чего ей присваивается определённая категория.

Новый формат микроблогинга — мысль за 1 минуту.

В интернете мы слишком много значения придаем словам

Общение с людьми преимущественно в интернете приводит к смещению внимание на слова и изображение, а не дела. В социальных медиа превалируют слова и изображения, поэтому в оценке действительности мы смещены на визуальное и вербальное, а не на ощущения, воплощенность и телесность и перформативность. Долго находясь в цифровой среде мозг расставляет веса вербальному больше, чем всему остальному. Дела, вообще, часто остаются за кадром в слепой зоне. Хотя вербальное и визуальное это просто одна из частей реальности, не всегда даже ее определяющее.

Человек часто может говорить что-то очень по разным причинам: включать психзащиты, находится в не очень хорошем состоянии сейчас, испытывать дезориентацию от количества информации, выдавать автоматические реакции и пр.

Напр. вы приходите с идей, а человек выражает скепсис. Это совсем не значит, что он не готов, например, эту идею делать или идея плохая и ему не поможет. Да, это какой-то сигнал, но надо понимать семиотику человека, чтобы интерпретировать это. Часто человек может играть на понижение, чтобы не разочароваться, защищаться от удивления.

Я помню, как на одной из встреч Илья Ценципер смешно сказал про русскую особенность реагировать на что-то: «норм — это божественно». В Штатах наоборот — вам будут говорить amazing, awesome, что вообще можно декодировать как: «ага, я тебя услышал» (но даже не факт, что говорящий понял и как-то оценил твою идею).

Написанное выше касается декодирования слов в любых ситуациях, но я обращаю внимание именно на то, какое нездоровое смещение на это происходит в социальных медиа.

От излишнего внимания к словам, кстати, у наблюдателей может быть еще и реакция — «ну он/она сделал это ради хайпа». Пример отобъяснения, которое больше говорит о самом говорящем, чем об объекте суждения. Во-первых, если какое-то дело запустило хайп (напр. блогер сделал благотворительную операцию нуждающемуся и публично про это рассказал), это совсем не означает, что это было причиной поступка. А во-вторых, даже если и причиной, это не снижает ценность пользы, которую он принес (но может говорить о его системе принятия решений, что, напр, он не готов делать вещи не публично – но это еще нужно проверить).

Даже в увеличительном стекле социальных медиа, слова – это слова, не больше, но и не меньше. И есть еще множество измерений реальности за пределами увеличительной линзы смартфона, о которых мы забываем.

👾 Эффект Элизы — эффект со стороны человека ложно приписывать системе ИИ интеллект, понимание и человеческие эмоции и реагировать на них.
#цифровой_словарь

История:
Явление было названо в честь чат-бота ELIZA, созданного в 1966 году профессором MIT Джозефом Вайценбаумом. ELIZA имитировала разговорные шаблоны психотерапевтов, работая по простому алгоритму. Она распознавала ключевые слова в заявлении пользователя, а затем отражала их в форме простых фраз или вопросов, напоминающих разговор с терапевтом. Если алгоритм давал сбой и не понимал как реагировать на фразы человека, он прибегал к общим фразам, таким как «это очень интересно» и «продолжайте». Это побудило некоторых людей воспринимать ELIZA как обладающую человеческими чертами, эмоциями и пониманием, тем самым повышалась степень доверяя к ней.

Мысли про эффект Э.:
• Машина не должна обладать очень высоким интеллектом, чтобы проявился этот эффект — достаточно простого алгоритма.

• Ключевое, что создавало эффект — иллюзия понимания человеческого языка и способность поддерживать разговор.

• Люди за счет эффекта Э. готовы делиться интимными подробностями с ИИ.

• Эффект Э. положительно влияет на доверие к словам или фактам от виртуального помощника. Это может быть использовано как средство манипуляции.

• Склонность к персонификации у людей не заканчивается на компьютерах. Люди могут приписывать качества человеческого интеллекта предметам или животным — напр. говорить о том, что кот специально вредничает или как-то делает назло, в том время как поведение кота определяется его животными потребностями, а не умыслом.

В данный момент мы можем наблюдать эффект Э. во взаимодействии с ChatGPT и голосовыми ассистентами: приписывание голосовым помощникам человеческих черт, таких как пол и личность; влюбленность в текстовые чат-боты; чувство родства, как с живым человеком во время общения с ними; ощущение, что текстовый чат-бот специально оскорбляет вас.

Эффект Э. показывает насколько условно человек может определить наличие сознания у «другого ума» (и вообще, насколько он понимает, что это) и расширяет наше понимание об отношениях.

Молчаливый видео-перформанс

Моя приятельница Лиза, талантливый дизайнер, консультант и рок-звезда с кармическим предназначением, как-то в свой период жизни, когда она была современным художником в Армении, научила меня «молчаливым видео-перформансам». Это видео-кружочек в телеграме, который вы отправляете, без объяснения его сути, своим близким.

Чаще всего кружочек не содержит слов, а демонстрирует какое-либо действие или ситуацию и передаёт состояние. Это может быть абсолютно рутинное действие в привычной среде. Кружочек является законченный видео-артом, что бы в нем не было. Он передаёт интимность вашей ситуации, близость с человеком и разговаривает с вашим собеседником  непривычным языком. Многие, кто привык к информативным конкретным сообщениям, будут раздражаться на непонятность и неконкретность кружочка. Это все часть перформанса. Нужно просто продолжать смотреть в круг.

Вот вам молчаливый перформанс из аэропорта Бангкока — «Поиск пути».

Запишите сегодня вашим близким что-то подобное)

UPG: Лиза говорит, что должно быть обязательно лицо твоё в кружочке

Невроз понимания

Второй день в Гонконге меня не отпускает чувство, что все виртуальные образы урбанизма, которыми я жил долгое время в голове, в один момент воплотились в реальность. Чудо узнавания того, что всегда было на экранах и видеокассетах, которое испытывают многие, приехав в NY. Тут схожее ощущение, но в NY ты видишь схожую культуру, а тут микс из западной и восточной, что создает еще и ощущение, что ты на другой планете.

Город — сложная система, где связаны технологии, человеческая природа и культура. Гуляя по узким улочкам города с уходящей ввысь линией почти не видимых высоток, я ощутил, что это образ вопиющего к тебе о понимании и раскодировании мира. Улица с вывесками на непонятном языке как символ того, что каждая надпись должна быть понятой и настроены связи между объектами, способные удержать этот распадающийся мир в сознании.

У этого чувства есть и обратная стороны — а что, если это желание понять, раскодировать — это тревога и невроз, который помещает тебя в центр мира и не дает успокоиться, в то время, как мир прекрасно существует и не распадается на кусочки и без твоего понимания? Желание добавить себя, свои интерпретации и простроить связи может быть противоположно созерцанию сложности мира без твоего участия и эффекта наблюдателя.

Как говорил Сергей Бодров: «Ты становишься на углу оживленной улицы и представляешь, что тебя здесь нет. Вернее, тебя нет вообще. Пешеходы идут, сигналят машины, открываются двери магазинов, сменяются пассажиры на остановке. То есть в принципе мир продолжает жить и без тебя. Понимать это больно. Но важно».

В Гонконг я прилетел из Бангкока. Культурный код Тайцев — искусство уклонения от драмы, от вмешательства в то, что тебя не касается. У тебя своя карма, делай что угодно, только не кричи об этом, другие позаботятся о себе сами. Колесо Сансары катится и катится, времени нет, за прошлое цепляться не нужно, как и за будущее. Христианская этика в сочетании с современностью меньше уклонятся от драмы существования. Какой-то баланс между этими двумя системами можно найти в практиках созерцания. Томас Мертон — монах-траппист, проповедник дзен-католизицма, скоропостижно скончался на ретрите около Бангкока. Сейчас читаю его как пример интеграции этих двух позиций. В комментарии будет его цитата про созерцание, которая закончит мысль этого поста (см. комментарии).

Немного кружочков из Гонконга, который повергает меня в визуальный и культурный шок от обилия и плотности информации и связей (⚪ смотрим на 1,5х).

Вечером благодаря хорошим людям познакомился с Адамом - он из Чехии, знает прекрасно русский (начал учить в 15 лет), 5 лет путешествовал по миру автостопом. Европа, Россия, Казахстан, Япония. Пандемия остановила его в Гонконге и он тут задержался. Уличный музыкант и умный путешественник, который видел очень разные культуры и умеющий это оценивать. Во время общения с ним меня не покидало впечатление, что я разговариваю с русским, который прекрасно в теме всех событий и контекстов, хотя Адам не жил в России никогда, а только разговаривал с людьми из Сибири и Дальнего Востока. Магия языка. Я ещё понял, насколько мы недооцениваем, что мы говорим на одном языке и понимаем почти без слов в одной культуре намёки, отсылки и оттенки смысла. Это не видимо в рутине, но отказываясь в другой культуре, особенно Азиатской, это наглядно себя проявляет.

Мы погуляли в местном Гараже, послушали поп-фест (на кружочек сцена саундчека) и конце дня Адам завёл меня в местный Бангкок. Здание в центре Натан Роад, главной улицы Коулуна, типа Нового Арбата, которую владелец отдал под аренду хостелам. Там самое дешевое жилье в центре и много того что в Гонконге нет вообще — коммуны беженцев и новых приезжих: пакистанцев, африканцев, индусов. Внутри много обменников, а снаружи трутся ребята готовые продать тебе все, что ты захочешь. Встретили внутри нескольких ребят говорящих на русском.

Если что — в Гонконге такого вообще мало. Тут все работают не покладая рук и мало вот этой уличной культуры. Город с самой дорогой недвижимостью в мире, после Монако (того просто не обогнать, он в три раза превосходит Гонконг за цену кв.м, и в пять раз Сингапур, который на третьем месте). Искусства тоже не много, тут скорее люди за эффективность и практичность. При этом у китайцев какое-то врождённое чувство стиля из-за письма иероглифами, любые вывески обалденно красивы для европейского глаза.

«Идору» Уильяма Гибсона — не устаревающий роман про цифрового исследователя

В перелете Бангкок-Москва прочитал вторую книгу из трилогии «Моста» Уильяма Гибсона «Идору». Книга написана в 1996 году (27 лет назад), но после тридцати лет видно, насколько Гибсон талантливый футуролог — все темы сейчас в ней читаются максимально актуально и не устаревше. Посмотрите сами, эти темы те, которыми мы живем здесь и сейчас: инфлюенсеры, в том числе искусственные, искусственный интеллект, даркнет, компьютерная безопасность.

Главный герой книги — исследователь, обладающий способностью раньше других видеть паттерны в данных, использующий это для анализа большого объема информации в сети. В книге прямо много сочных «исследовательских» деталей, которые будут близки тем, кто интересуется рабочими рутинными мыслями и процессами исследователей.

В статье делюсь несколькими цитатами с моими комментариями, показывающими, как Гибсон думает о мире. В подборку почти не попали отрывки, которые показывают какой Гибсон прекрасный стилист и как владеет словом, плетя плотный, насыщенный символами, мир произведения. Чтобы это понять, я советую читать полностью текст произведения. Можно сравнить текст его романов примерно с тем, что происходит в голове и в разговорах команды исследователей, когда они работают над каким-либо сложным проектом, соединяющим бизнес и культуру.

Цитаты:

Напр. просто точно и красиво:

🔹 «Популярная культура — это испытательный стенд «нашей будущности».

Или самое лучшее описание целевой аудитории, которое я слышал («Слитскан» — медиа-корпорация, которая управляет славой звезд):

🔹 «Иначе говоря, Лейни, все, что может заинтересовать обобщенного зрителя «Слитскана». Какового можно для удобства визуализировать в виде ленивого, порочного, патологически невежественного, ненасытного существа, вечно алчущего свеженького, с кровью, мяса избранников божьих. Лично мне он представляется как нечто размером с карликового бегемота, цвета вареной картошки, на месяц забытой в кастрюле, живущее в темноте, в полном одиночестве, в отдельном домике на задворках Топеки 54 . Оно сплошь покрыто глазами и все время потеет. Пот попадает в эти глаза и щиплет их. У него, Лейни, нету рта, нету гениталий, а потому оно может выражать свою звериную ярость и свои инфантильные желания только одним способом: переключая каналы на пульте дистанционного управления. Ну или участвуя в президентских выборах».

* * *
Читать статью на медиуме (7 минут)

Книга на литресе (вся «Трилогия Моста» в одной книге)

#гибсон

Стохастический попугай 🦜— объяснение работы больших языковых моделей (LLMs - large language models, напр. GPT) через то, что модель связывает между собой последовательность лингвистических выражений на основе вероятностей их сочетания в текстах, но без привязки к какому-либо смыслу.
#цифровой_словарь

Термин предложен лингвистом Эмили Бендер (Emily Bender) в статье от марта 2021 года с тремя со-авторами «Об опасностях стохастического попугая: могут ли лингвистические модели быть слишком большими?» («On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜»). Стохастический — случайный, вероятностный, беспорядочный, от греческого слова, имеющего значение «относящийся к угадыванию».

Бендер через этот термин передала мысль, что мы переоцениваем способность языковых моделей понимать смысл, и что их появление не какой-то шаг к общему искусственному интеллекту (AGI - artificial general intelligence, ИИ, который может выполнить и научиться любой интеллектуальной задаче, на которую способны люди) и мы рискуем как общество направить слишком много ресурсов, как денежных, так и интеллектуальных, в погоню за ложным оракулом.

Термин создает дискуссии вокруг того, что такое «смысл» и чем работа человеческого мозга отличается от работы больших языковых моделей. Кристофер Маннинг, идеологический противник Бендер, ввел понятие «дистрибутивная семантика», согласно которому «смысл слов – это просто описание контекста, в котором слово появляется» и не требует сопоставление значения слов с внешним миром. В этом смысле работа нашего мозга не сильно отличается от работы ИИ. Сэм Олтмен, CEO OpenAI через четыре дня после появления ChatGPT 4 декабря 2022 года написал в Твиттере: «i am a stochastic parrot, and so r u» (я стохастический попугай, и ты тоже).

Помимо завышенных ожиданий от смысла, у моделей-попугаев есть ещё проблемы. Напр. этические вопросы к LLMs в том, что корпуса текстов, на которых он обучен, содержат контексты и картины мира, включающие в себя дискриминацию и вероятно всего наполнены в основном текстами, созданными без участия голоса меньшинств.

Интересные факты:
• Можно найти информацию, что со-авторов статьи Бендер уволили из отдела этики Google за то, что они не сняли свои имена со статьи (со-основатель отдела Маргарет Митчел изменила свое имя в статье на Шмаргарет Шмитчел, но «корпорации добра» это показалось недостаточным). Однако история с увольнением шире, чем появление в статье, и связано с разногласием в этичности методов разработки ИИ, а причина официально озвучена, как нарушение политики безопасности компании.
• Эмили Бендер уже не первый раз использует метафоры животных для объяснения работы ИИ. Так в статье 2020 она придумала осьминога 🐙, который выдавал себя за человека в переписке, пока не столкнулся с новой ситуацией, на которую не может ответить и был разоблачен.

🧑=🦜?

Какой уровень вертикального развития у ChatGPT?

Вертикальное развитие — модель развития взрослых, разрабатываемая несколькими исследователями, в частности такими как Джейн Левинжер, Сюзанна Кук-Гройтер, Билл Торберт, Кен Уилбер и другие.

«Вертикальное развитие описывает процесс, при котором ваша операционная система меняется на новую — более целостную, гибкую и в каком-то смысле мощную. У человека появляются новые способы целеполагания, бытия и мышления. Переход на следующую стадию определяется тем, какие аспекты внутренней и внешней реальности человек способен удерживать в своем внимании».

Для определения уровня вертикального развития взрослых используется тест, в котором человеку дается закончить каждое из списка незаконченных предложений (напр. «When I am criticized— »). Специалисты анализируют окончания и определяют на каком из уровней вертикального развития находится человек.

Что если дать большой языковой модели GPT3,5 или GPT4 заполнить этот тест и проанализировать на каком уровне она находится?

Большие языковые модели, обученные на большом числе текстов, вставляют самые вероятностные слова. GPT3,5 отличается от GPT3 еще и тем, что она прошла дообучение обратной связью от людей (выравнивание) — т.е. люди оценивали ее ответы как полезные и точные или вредные. Если мы определим уровень вертикального развития этой нейросети можно сказать из какой позиции она дает ответы, ведь сейчас миллионы людей слушаются ее советов, используются в качестве советников в психологии или отношениях (говорят с появлением ChatGPT ветки форума Reddit, где спрашивали советов про отношения стало меньше посещений).

Мне удалось найти упоминание двух тестов по определению уровня вертикального развития:

• Более ранний Loevinger's Washington University Sentence Completion Test (WUSCT) и более поздний The Sentence Completion Test Integral (SCTi-MAP).

Самих тестов в интернете я не нашел, но воспользовался ChatGPT4 и попросил ее нагенерить вопросы этих тестов, и потом попросил, чтобы сама нейросеть ответила на них. Чат не дает гарантии, что это вопросы именно этого теста, но предоставляет список незавершенных предложений (поэтому в будущем можно попросить ее заполнить реальный тест).

Когда она ответил на тест The Sentence Completion Test Integral (SCTi-MAP) я попросил ее оценить эти ответы и высказать оценку, на какой стадии находится существо, ответившее на эти вопросы так как она.

ChatGPT4 определил себя на очень высокие стадии "Стратег" или "Алхимик" согласно определениям из Leadership Development Framework (LDF) или "Интегральной" стадии, согласно Интегральной теории.

Навыков определить верность этой оценки у меня нет (оценка этого теста достаточно дорогое удовольствие в виду редкости специалистов и ручного труда).

В документе ниже приведены законченные предложения ChatGPT4 и его собственная оценка развития.

Если кто-то хочет продолжить эксперимент или может оценить его ответы — напишите! Как интерпретировать этот эксперимент — тоже много вопросов. Не факт, что GPT отвечает в других вопросах с этих уровней вертикального развития, даже если результаты его теста такие.

PS. Я сейчас вижу два типа реакций на AI (и на этот пост, вероятно будет так же). Первый — «ого, интересно, можно про это подумать и поиграть с этим». Второй — «у GPT нет души, сознания, у него не может быть уровня развития...» (и далее по тексту). Между этими полюсами — палитра реакций. GPT тут всего лишь зеркало или юнгианская тень вопрошающего.

https://telegra.ph/Kakoj-uroven-vertikalnogo-razvitiya-u-ChatGPT-04-30