Так, тут в chatGPT завозят редактирование картинок прям в чате, с возможностью тыкать в саму картинку и говорить что и как поправить.

А все молчат.

У меня ещё не раскатали, но я нашел, как это выглядит.

И вот вам ссылка на документацию:
https://help.openai.com/en/articles/9055440-editing-your-images-with-dall-e

А подробнее тут:
https://x.com/aliejules/status/1774991275600625805

Сегодняшнее землетрясение на Тайване — сильнейшее за последние 25 лет, — скорее всего, приведет к сбоям в tech-индустрии, поскольку именно на Тайване сконцентрированы основные мощности по производству мощных процессоров, включая фабрики TSMC и других компаний. Часть мощностей и сотрудников эвакуированы из опасных зон.

Впрочем, как выясняется, во многом благодаря усилиям ведущих компаний по производству чипов, последствия землетрясения оказались сравнительно легче, чем 25 лет назад — пока погибло всего 7 человек против 2400 в 1999-м, при этом, хотя более 300 тысяч домов были лишены энергоснабжения, энергетическая компания уже сообщила, что восстановлено питание для двух третей домохозяйств.

https://www.bloomberg.com/news/articles/2024-04-03/how-taiwan-quake-puts-world-s-most-advanced-chips-at-risk?srnd=technology-vp

StabilityAI (уже без Мостака) обновили свою Stable Audio до версии 2.0.
Первая, которая вышла в сентябре, была не айс. Вторая, судя по сэмплам, тоже не блещет.
После Suno и Loudly я ничего ИИшного не могу слушать.

Надо будет потестировать audio-to-audio от стабилити.
Можно загружать трек и допинывать его текстом до годного.
Мечтаю сделать новые ИИ аранжировки для "Радио Африка".
Но Stable Audio 2.0 не умеет в вокал. А технокаша или эмбиенткисель в исполнении ИИ уже приедаются...

https://stability.ai/news/stable-audio-2-0

Доходы Нвидия по отраслям.
Интересная картинка - обратите внимание, как исчезает крипто-сегмент на медвежке.
И как ИИ подминает под себя все остальное.
И судя по форме кривой, подминание продолжится, и, возможно, нелинейно.
Я задумался, а где тут гейминг? Погуглил и понял, что его зашили в GPU for Computers, судя по другим источникам:
https://en.macromicro.me/charts/81140/nvda-revenue-breakdown
https://finance.yahoo.com/news/gaming-nvidias-largest-business-now-110800872.html
https://fourweekmba.com/nvidia-revenue-by-segment/

В общем, картинка недвусмысленно намекает, что ИИ уже захватывает мир, но мы пока все думаем "всегда можно дернуть рубильник".
Уже нельзя, судя по графикам. Хтожвамдаст.

Интересно, как браузеры становятся операционками.

Opera объявила о том, что теперь она позволит пользователям загружать и запускать большие языковые модели (LLM) локально на своем компьютере. Эта функция впервые появится у пользователей Opera One, которые получают обновления из потока разработчиков, и позволит пользователям выбирать из более чем 150 моделей из более чем 50 семейств.

Среди них Llama от Meta, Gemma от Google, Vicuna и др.

По словам компании, для запуска этих моделей на компьютере в браузере используется фреймворк Ollama. Но в будущем компания планирует включить модели из разных источников.
https://techcrunch.com/2024/04/03/opera-will-now-allow-users-download-and-use-llms-locally/

Unity реально бесит.

Зачем покупать хорошие продукты, чтобы потом уничтожать их? Причем, не конкурирующие технологии, а реально уникальные решения.
Вас, что Автодеск покусал?

Короче, они прикончили Ziva, которую прикупили пару лет назад.
Ну как так?

В 2019 году Стас Папонов из тогда еще независимой Зивы рассказывал на Ивенте про Ziva Anatomy Transfer и Art Directable Rest Shapes, а когда в Зиву завезли ИИ и их купили Юнити, мы радовались, что щас-то персонажи заиграют мышцами:
https://tg-me.sbs/cgevent/6230
https://tg-me.sbs/cgevent/3936

И тут, бац - Зива Всё. Точнее, ее продали со всеми потрохами в DNEG - agreement with DNEG for an exclusive perpetual license of the Ziva IP. Для инхауса, вестимо.

А помните как Unity прикупила на 4 миллиарда VFX софта у Weta Digital?
И где он? Там же где и Зива. И львы с потрясающего демо с Сиграфа 2022.

Unity бесит.
Некролог тут:
https://blog.unity.com/news/update-about-ziva

В одном из чатов поделились сравнением сервисов перевода видео

> Мои топ 3 (тарифы указываю релевантные для меня, но есть и другие):

1. Blipcut (https://videotranslator.blipcut.com/en/tool/edit)
Голос и перевод максимально приближенный к оригиналу/человеческому. Можно редактировать текст и переписать через chatgpt.
1 минута бесплатно.
7,5 часов перевода клонированным голосом за $300/год

2. Rask (https://app.rask.ai/)
Есть клонирование голоса, приятный мужской голос, есть синхронизация губ. Можно редактировать текст и переписать через chatgpt.
1 минута бесплатно.
5 часов - $450/мес

3. Kapwing (https://www.kapwing.com/)
Приятный голос, но не попадание в ударение все портит, можно редактировать текст, вырезать аудиодорожку без голоса, наложить субтитры.
4 минуты экспорт бесплатно/мес.
5 часов за $24/мес

Если найдете что-то лучше, буду благодарен за рекомендацию!
Видел вроде есть какие то colab notebooks для подобных задач.

Остальные:

Maestra (https://app.maestra.ai/voiceover-trial)
Приятный голос для озвучки аудиокниги, можно редактировать текст.
1 минута бесплатно.
$10/час или 5 часов за $54/мес

Nova.ai (https://app.wearenova.ai/video-editing)
Средний голос, можно редактировать текст.
10 мин (5 минут на одно видео) бесплатно.
5 часов - $55/мес

Synthesis (https://app.synthesys.live/video-translation/)
Низкое качество, голос скачет.
Бесплатно все 11минутное видео перевело, но почему-то ужало до 8 минут.

Vidnoz (https://www.vidnoz.com/video-translate.html)
Низкое качество.
4 минуты бесплатно.

Wavel.ai
(https://studio.wavel.ai/studio/ )Низкое качество.
1 минута бесплатно.

БОНУС: В яндекс.браузере есть закадровая озвучка для видео с YouTube/twitch/vk и других сервисов. Но ее можно включить и в других браузерах. Инструкция (https://github.com/ilyhalight/voice-over-translation)

3D AI: Пришел приглос в бету Rodin Gen-1.
Про DeemosTech уже много писал, слежу за ними, у них много ресурсов на разработку. Их Чатаватары - единственные, кто умеет без цензуры делать башку Тома Круиза в 3Д.

Теперь у них анонсирован Rodin - image-to-3D, про него я тоже писал:
https://tg-me.sbs/cgevent/7577

Пока у них на сайте написано так:
Multimodal 3D Generative AI Search Engine

Но в демке из твиттора видна неплохая ретопология (даже в quads).

Что касается AI Search Engine - это когда даешь на вход картинку, а он тебе выдает все похожие 3Д-модели из базы - недавно Адобченко выкатил такую же фишку для Substance 3D.

Но Илюха Самохвалов делал такое уже год назад, причем он умеет искать не по своей базе, а по всем 3Д-стокам!
Глядите сюда.

В общем я жду, когда мне расчехлят бету Rodin, чтобы попробовать генерацию 3Д.

Источник, конечно, так себе. Но как сценарий для будущего фильма мне нравится. Уж больно выпуклая фигура в истории всего IT. Считайте это запоздалым первоапрельским постом (у меня после 12 часов в самолетах и 12 часов в аэропортах, время слегка деформировалось, а завтра опять лететь, EgyptAir просто взял и перенес рейс на день позже).

Джона Макафи (того самого, которого замочили в испанской тюрьме) видели в Сальвадоре, сообщают многочисленные источники — BM

ИИ видит сквозь стены или Новый Нормальный Нейромокап.

Писал об этом год назад, но уж больно видео хорошее - теперь от глаз ИИ не укрыться ни на кухне, ни в спальне. И сценарий о том, что он прошивает себя в каждый раутер, чтобы видеть вас всегда, становится вполне жизненным.

Если вы в зоне покрытия вайфая, то ИИ может вас видеть и считывать ваши движения. Его научили сопоставлять изменения в вайфай сигнале и картинку с камеры. Потом камеру убрали.

Ждем расшифровки мимики по отраженному вайфай сигналу и ныряем в мир Minority Report.

Сама работа тут:https://arxiv.org/abs/2301.00250

ИИ-Экология.

ИИ нас троллит. Со всеми нашими попытками ввести метрики на все, что угодно. Как только появляется возможность автоматизировать получение тех или иных оценок, которые ведут к выгоде, появляется ИИ, который в смышленых руках способен побить любые кожаные результаты.

Хорошая колонка в NY Times, которая показывает, что если мы и дальше продолжим измерять эффективность в количестве статей и знаков, объеме трафика, индексах цитирования и прочей SEO оптимизации, это приведет к тому, что мы сами захлебнемся в ИИ-отходах, которые сами же и нагенерили.

Дальше я выкушу самое сладкое, статья написана очень хорошим языком, близким по духу к моему изложению.

Возьмем науку. Сразу после выхода GPT-4, язык научных исследований начал мутировать. Особенно в сфере самого ИИ.

В официальных заявлениях исследователей о чужих работах, которые составляют основу научного прогресса, слово «дотошный» встречается более чем в 34 раза чаще, чем в обзорах в прошлом году. Слово «похвальный» использовалось примерно в 10 раз чаще, а слово «сложный» – в 11 раз.

Значительное количество исследователей на конференциях по искусственному интеллекту были пойманы на том, что они давали свои экспертные оценки чужих работ с помощью ИИ. И чем ближе к сроку были получены присланные отзывы, тем больше в них обнаруживалось использование ИИ.

Простой поиск в научных базах данных выдает фразы типа «Как языковая модель ИИ» в тех местах, где авторы, полагающиеся на ИИ, забыли замести следы.

То, что происходит в науке, — это мwdtnjxrb. Публиковать в социальных сетях? Любой вирусный пост в твитторе теперь почти наверняка включает в себя ответы, сгенерированные искусственным интеллектом, от краткого изложения исходного поста до реакций, написанных мягким голосом ChatGPT-Википедии, и все это для сбора подписчиков. Instagram наполняется моделями, созданными искусственным интеллектом, а Spotify — песнями, созданными искусственным интеллектом. Издать книгу? Вскоре после этого на Amazon часто будут появляться в продаже сгенерированные ИИ «рабочие тетради», которые якобы сопровождают вашу книгу и содержат полный бред. Лучшие результаты поиска Google теперь часто представляют собой изображения или статьи, созданные искусственным интеллектом. Крупные средства массовой информации, такие как Sports Illustrated, создают сгенерированные искусственным интеллектом статьи, приписываемые столь же фальшивым профилям авторов. Маркетологи, продающие методы поисковой оптимизации, открыто хвастаются использованием ИИ для создания тысяч спам-статей с целью кражи трафика у конкурентов.

Залипательные дешевые синтетические видеоролики для детей на YouTube. Типа музыкальных клипов о попугаях, в которых у птиц глаза в глазах, клювы в клювах, непостижимо трансформирующиеся, поющие искусственным голосом: «Попугай на дереве говорит привет, привет!». Двухлетки залипают также как на адских клипах про спайдерменов трехлетней давности. И стоит это ничего. Wired обнаружил доказательства использования генеративного ИИ в производственных конвейерах некоторых аккаунтов с сотнями тысяч или даже миллионами подписчиков. Что останется в головах у детей?

Культура будет настолько наводнена творениями ИИ, что при обучении будущих ИИ предыдущие результаты ИИ будут просачиваться в обучающий набор, что приведет к будущему копий копий копий. поскольку контент становился все более стереотипным и предсказуемым. В 2023 году исследователи ввели технический термин, обозначающий, как этот риск влияет на обучение ИИ: коллапс модели. В каком-то смысле мы и эти компании находимся в одной лодке, плывя в одной и той же грязи, текущей в наш культурный океан.

ИИ-Экология:
Точно так же, как компании и частные лица были вынуждены загрязнять окружающую среду из-за устройства экономики, так и культурное загрязнение ИИ вызвано рациональным решением удовлетворить ненасытный аппетит Интернета к контенту как можно дешевле.

Продолжение: Гаррет Хардин, биолог и эколог декларировал аж в 1968 году, что проблема загрязнения среды вызвана людьми, действующими в своих собственных интересах, и что поэтому мы заперты в системе «засорения собственного гнезда» до тех пор, пока ведем себя только как независимые, рациональные, свободные предприниматели». Он охарактеризовал проблему как «трагедию общества». Такая структура сыграла важную роль для экологического движения, которое стало полагаться на государственное регулирование, чтобы делать то, что могли или не хотели делать компании в одиночку.

От себя добавлю, что пока государственное регулирование в основном борется с утечками персональных данных и соблюдением механизма авторских прав. Охраняя существующие механизмы и упущенную прибыль. Проблемой загрязнения интернета никто не заморачивается, ибо основная метрики - трафик и внимание.

Пока никто не начал болеть и умирать (или хотя бы терять огромные деньги) от ИИ-контента, ИИ будет наваливать контент везде, где на контент есть спрос. И неважно, что это мусор. Мы сами создали систему метрик, основанных на количестве (а не качестве) контента.

Отличный пример из статьи выше. Как же жоско ИИ нас троллит.

Недавно вот такая картинка появилась в рецензируемой статье, недавно опубликованной в авторитетном журнале. Все эти тексты и цифры, были сделаны в Midjourney. Особенно доставляет надпись "dck".

Статья под названием "Клеточные функции сперматогониальных стволовых клеток в связи с сигнальным путем JAK/STAT" была написана тремя исследователями из Китая, включая автора-корреспондента Динцзюнь Хао из больницы Xi'an Honghui. Статья была опубликована во вторник в журнале Frontiers in Cell and Developmental Biology.

Хотите больше картинок из статьи, шуруйте сюда. Там легкий адок.

У меня все, я пошел на самолет.

Хотя нет, щас вам подкину еще одну генеративную картинку - уж больно хорошо она бьется с темой генеративного ИИ и научных статей.

Продолжение.

И ведь такие картинки могли появиться в научной статье, как показывают нам три поста выше. Тут мне подумалось что грань между научными журналами и фейсбучеком, где я зачем-то нашел этот ад, становится тоньше. Благодаря ИИ. И нашим метрикам.

Также мне вспомнилась сказка про курочку Рябу. "И снесла Курочка яичко. И не простое.." Дайте два.

Kandinsky 3.1 - огненные апдейты!

Мне тут достался доступ к новой бете Кандинского, и это прям хорошо.
Там не только про скорость и качество (хотя разогнали его здорово), но и про новые фишки, которые сейчас появляются во всех генераторах картинок, типа LLM-промптинга и контролнетов.

По порядку:

Скорость:
Kandinsky 3.1 ускорили почти в 20 раз. Kandinsky 3.0 из диффузионной модели по факту превратился в GAN версии 3.1

Бьютификации запроса:
То, что всегда было в DALL·E 3, потом появилось в Fooocus и теперь внедряется везде, от SD3 до Midjourney. На вход языковой модели подаётся инструкция с просьбой улучшить запрос, и ответ LLM-модели подается на вход Kandinsky для генерации.

В качестве LLM использован neural-chat-7b-v3-1 от Интел со следующим системным промтом:

You are a prompt engineer. Your mission is to expand prompts written by user. You should provide the best prompt for text to image generation in English. \n### User:\n{prompt}\n### Assistant:\n

IP-Adapter:
Это когда мы даем на вход референсную картинку, а ИИ "читает" ее содержимое в виде внутреннего представления и использует ее как промпт.
Работает в любых режимах. От смешивания до вариации. Все как у людей.

Обучили и добавили ControlNet(!!) на основе HED detector. Midjourney снова нервничает, но виду не подает.

Подрулили inpainting

Kandinsky SuperRes
В новой версии Kandinsky 3.1 появилась возможность получать генерации изображений в разрешении 4K. Для этого была обучена диффузионная модель повышения разрешения KandiSuperRes. Код и веса на гитхабе.

Выпустили маленькие версии модели (1B) для слабого железа и дообучения.

Я пока генерю в секретном боте, но надеюсь скоро раскатают на всех. Мне пока очень нравится. И скорость и качество. Как я уже писал, я часто использую Кандинского на интерактивных лекциях именно из-за скорости и бесплатности. А тут еще новые фишки завезли..

Го тестировать, поделюсь ссылкой на бота, как смогу.

А для гиков, есть отличная подробнейшая статья вот тут:
https://habr.com/ru/companies/sberbank/articles/805337/

Картинок сейчас накидаю.