Пока мы тут ускоряем Stable Diffusion до 2-5FPS, канадские ученые сделали видео-камеру, которая снимает, внимание, сто пятьдесят шесть триллионов кадров в секунду. 156 000 000 000 000FPS!
Никогда бы не подумал, что можно увидеть как распространяется sub surface scuttering при освещении объекта. Обычно это просто параметр на рендере и картинка на выходе. Но видеть как свет застревает в теле объекта - это новый опыт.
Вот и думайте теперь - это 1 апреля или нет.
Как надоест гадать, можете проверить в комментариях.

Зловещая долина и 3Д. Часть 2.

Я еще немного приподнаброшу про зловещую долину и создание автаров с помощью 3Д и с помощью нейросеток. Первая часть наброса тут.

Здесь я просто хочу, чтобы вы оценили, сколько вам будет стоить производство одного "типафотореалистичного" персонажа в 3Д.

"Рабочий процесс включал в себя лепку из глины, сканирование, чистку скана и доработку его в ZBrush. Затем мы создали как низкополигональные, так и высокополигональные модели для деталей кожи. Текстурирование было выполнено в VFACE. XYZ и карты нормалей были запечены из хайполи модели в лоуполи в Substance. Затем модели были натянуты на сетку MetaHuman. Были также созданы Blendshapes на основе выражений лица.

Волосы были созданы с помощью груминг в Blender. Материалы для глаз и волос сделаны на заказ(пиу!). Глаза - не стандартные из MetaHuman - здесь материал тоже сделан на заказ. Глаза по умолчанию в MetaHuman имеют жуткое качество, они больше похожи на стеклянные глаза, чем на настоящие.

Текстуры были нарисованы вручную в Substance 3D Painter на основе сканов XYZ VFACE - это отличные сканы текстур, с которыми я часто работаю, и они являются отличной отправной точкой. Однако для точного соответствия чертам лица Коннери необходимо было прорисовать и проработать детали."

Ну и оцените сетап для анимации.

Автор также несколько раз записывал себя с помощью MetaHuman Animator, сначала используя свой голос, а затем изменяя его с помощью Elevelab.

Все это заняло примерно 20 дней.
Чтобы попасть в довольно ощутимую зловещую долину, которая будет преследовать вас по пятам 3Д всегда. Хотите уйти от нее, прекратите делать фотореалистичных людей.

Я теперь смотрим сюда. На входе скриншот и звук.
Да, не для всех ракурсов.
Да, не для качества кино.
Да, иногда артефакты.

Но давайте считать экономику и смотреть в глаза этим фотореалистичным мертвецам из зловещего 3Д.

Рынок алкает аватаров, аватарок и аватарищ. В Метаверсищах. Много, разных, сейчас. Все еще думаете про 3Д?


Полное видео про 3Д-пайплайн тут, от глины до рендера:

Зловещая долина и 3Д. Часть 2.

А теперь берем девушку из SDXL, просто картинку, и приваливаем на нее звук. И она не только липсинкает, она шевелит лицом, и еще как!
Сколько блендшейпов вам надо создать, сколько слайдеров подвигать, сколько ключей поставить на сотню-другую параметров, чтобы сделать такую анимацию в 3Д?

Алибабищенко, давай код уже, хватит издевацца.

P.S. Те, кто любят смотреть в зубы дареной девушке из Stable Diffusion, могут воспроследовать в коменты и там излить свои потоки найденных блох и артефактов. А мы продолжаем сравнивать 3Д- и нейро-подходы

Принес вам полезность, которой давно(годы) пользуюсь сам.
Если вам надо порезать видео (особенно скачанное из интернета) БЕЗ ПЕРЕКОМПРЕССИИ и мгновенно, то качните AVIDemux. Просто выбираете начальную точку (keyframe), конечную точку и говорите Сохранить. Резать надо именно по KeyFrames - для их выбора есть иконки внизу.
Слева в Output должно стоять Copy. Контейнер лучше взять mp4.
Вы сохраняете исходное качество и не делаете компрессию заново.
Там можно монтировать, кропать и еще много чего, но основной функционал для меня - обрезка видео без потерь качества. Мгновенно.

P.S. Ну и за VirtualDub, не чокаясь.
https://avidemux.sourceforge.net/

Сегодня переименую канал в "Новости ИИ, все про chatGPT и нейросети"

Какие еще кликбейтные слова туда запихнуть, пишите в коменты.
Хватит умничать, буду переводить твиттор и писать в два коротких абзаца, как советуют лютые телеграммоведы.

Блин, полез искать картинку и попал на литрес, а там такого ада целая свалка. Кровь из глаз. Все, ухожу в ИИ-песатели. Всем покедова.

Международный онлайн саммит про разработку в сфере ИИ

Лучшие практики для разработчиков, ресерчеров, дата сайентистов, техлидов и фаундеров – от ведущих мировых экспертов из индустрии ИИ.

Выступят спикеры из:
— Microsoft (команда PromptFlow)
— D-ID
— Aisera
— Spectrm
— Lightricks
— Wrike
и других компаний-лидеров, которые прямо сейчас создают будущее искусственного интеллекта.

На саммите обсудят темы:
— How to build scalable GenAI Apps using prompts
— Data-driven approaches to personalizing AI Agents
— Crafting AI agents with a natural user interface
— Building robust & scalable AI-powered chatbots;
— The reality of being an AI Founder in 2024
— How Later Stage Companies Adopted AI
— Creating your own corporate-secured "ChatGPT" with almost zero specific knowledge
— Fine-tuning strategies for adapting pre-trained AI Agents to specific use cases,
и многое другое!

Конференция пройдет в ОНЛАЙН формате 16➖17 апреля на английском языке 🌎

Участникам будут доступны презентации, материалы воркшопов и записи, а также доступ в нетворкинг-чат.

Скидка 1️⃣0️⃣ % по промо-коду — SB7w7jR

Регистрация через VPN

Держите неофициальный API для Suno.ai.

Мало того, что его пульнули на гихаб, это логично, в общем-то. Но это ещё и проект на Product Hunt.

Я почитал инструкции по установке - и да, это очень неофициально - копирование кукисов в консоли браузера - это наверное слишком.

Но кому очень надо - го встраивать развеселые песнопения от Суно в свои продукты и чаты.

https://github.com/gcui-art/suno-api/

https://www.producthunt.com/posts/sunoai-api

Тут вот интернетец приподвскричал про то, что chatGPT теперь доступен всем без регистрации и СМС. То есть без аккаунта. Заходите на сайт - и ну чатицца.

Но есть моменты.

Для таких незалогиненных пользователей есть ограничения:

Вы не сможете сохранять чаты или делиться ими, использовать кастомные инструкции(это минус) или некоторые другие вещи, которые обычно должны быть связаны с постоянной учетной записью.

Вы, тем не менее, можете отказаться в настройках от использования ваших чатов для обучения. Хотя мало кто это сделает и опенАИ получит хорошую порцайку новых данных.

Ну и вишенка: такие анонимные чаты будут иметь «немного более строгую политику в отношении контента». Что это, никто не знает, но думаю, что chatGPT будет ещё более строг в плане цензуры с такими незарегистрированными пользователями.

https://techcrunch.com/2024/04/01/chatgpt-no-longer-requires-an-account-but-theres-a-catch/

Часто пишу про контактные линзы в канале. Как способ доставки контента в мозг и как площадку для размещения сенсоров и снятия данных.
Все предыдущие проекты так и не решали/решили проблему перегрева и питания линз.
С перегревом история вообще сложная, я не видел решений.

А с питанием существующие прототипы предлагают далеко не идеальные решения, такие как индукционная зарядка в ночное время, зарядка по вайфай и другие конструкции, в которых используется внешний аккумулятор того или иного типа.

А как насчёт автономной фотовольтаики и металло-воздушной батареи прямо в глазу?

Поглядите на проект, где миниатюрные гибкие кремниевые солнечные элементы могут улавливать свет от солнца, а также от искусственных источников, таких как лампы. Команда соединила восемь крошечных (1,5 на 1,5 на 0,1 миллиметра) жестких кристаллических ячеек и инкапсулировала их в полимер, чтобы создать гибкую фотоэлектрическую систему.

Вторая половина представляет собой систему, активируемую морганием глаз и действующую как металло-воздушную батарею. Естественные слезы владельца, а точнее электролиты внутри них, служат биотопливом для выработки энергии.

Моргаем - заряжаем линзы, здорово жеж.

Осталось придумать, что делать с перегревом.

https://spectrum.ieee.org/power-smart-contact-lenses

ИИ читает вас как отрытую книгу.

Смотрите, эта тварь не только корчит очень эмпатичные мимимишные морды, но и, внимание, предсказывает выражения лица человека, анализируя тонкие изменения в целевом кожаном лице.

А потом генерирует свои внутренние двигательные команды, воспроизводя соответствующие выражения лица.

Авторы давали на вход видео с выражениями человеческих лиц, чтобы Эмо мог наблюдать их кадр за кадром. После обучения, которое длилось несколько часов, Эмо мог предсказывать выражение лица людей, наблюдая за крошечными изменениями на их лицах, когда у них начинает формироваться намерение улыбнуться (например).
И улыбался в ответ.

А теперь они прикручивают внутрь ЛЛМ-ки. И представьте себе ситуацию, когда он по вашим микродвижениям лица уже знает, что вы хотите сказать и ловко манипулирует вами.

В общем его научили читать по лицу. Одеваем маски снова....
https://www.engineering.columbia.edu/news/robot-can-you-say-cheese

Так, тут в chatGPT завозят редактирование картинок прям в чате, с возможностью тыкать в саму картинку и говорить что и как поправить.

А все молчат.

У меня ещё не раскатали, но я нашел, как это выглядит.

И вот вам ссылка на документацию:
https://help.openai.com/en/articles/9055440-editing-your-images-with-dall-e

А подробнее тут:
https://x.com/aliejules/status/1774991275600625805

Сегодняшнее землетрясение на Тайване — сильнейшее за последние 25 лет, — скорее всего, приведет к сбоям в tech-индустрии, поскольку именно на Тайване сконцентрированы основные мощности по производству мощных процессоров, включая фабрики TSMC и других компаний. Часть мощностей и сотрудников эвакуированы из опасных зон.

Впрочем, как выясняется, во многом благодаря усилиям ведущих компаний по производству чипов, последствия землетрясения оказались сравнительно легче, чем 25 лет назад — пока погибло всего 7 человек против 2400 в 1999-м, при этом, хотя более 300 тысяч домов были лишены энергоснабжения, энергетическая компания уже сообщила, что восстановлено питание для двух третей домохозяйств.

https://www.bloomberg.com/news/articles/2024-04-03/how-taiwan-quake-puts-world-s-most-advanced-chips-at-risk?srnd=technology-vp

StabilityAI (уже без Мостака) обновили свою Stable Audio до версии 2.0.
Первая, которая вышла в сентябре, была не айс. Вторая, судя по сэмплам, тоже не блещет.
После Suno и Loudly я ничего ИИшного не могу слушать.

Надо будет потестировать audio-to-audio от стабилити.
Можно загружать трек и допинывать его текстом до годного.
Мечтаю сделать новые ИИ аранжировки для "Радио Африка".
Но Stable Audio 2.0 не умеет в вокал. А технокаша или эмбиенткисель в исполнении ИИ уже приедаются...

https://stability.ai/news/stable-audio-2-0

Доходы Нвидия по отраслям.
Интересная картинка - обратите внимание, как исчезает крипто-сегмент на медвежке.
И как ИИ подминает под себя все остальное.
И судя по форме кривой, подминание продолжится, и, возможно, нелинейно.
Я задумался, а где тут гейминг? Погуглил и понял, что его зашили в GPU for Computers, судя по другим источникам:
https://en.macromicro.me/charts/81140/nvda-revenue-breakdown
https://finance.yahoo.com/news/gaming-nvidias-largest-business-now-110800872.html
https://fourweekmba.com/nvidia-revenue-by-segment/

В общем, картинка недвусмысленно намекает, что ИИ уже захватывает мир, но мы пока все думаем "всегда можно дернуть рубильник".
Уже нельзя, судя по графикам. Хтожвамдаст.

Интересно, как браузеры становятся операционками.

Opera объявила о том, что теперь она позволит пользователям загружать и запускать большие языковые модели (LLM) локально на своем компьютере. Эта функция впервые появится у пользователей Opera One, которые получают обновления из потока разработчиков, и позволит пользователям выбирать из более чем 150 моделей из более чем 50 семейств.

Среди них Llama от Meta, Gemma от Google, Vicuna и др.

По словам компании, для запуска этих моделей на компьютере в браузере используется фреймворк Ollama. Но в будущем компания планирует включить модели из разных источников.
https://techcrunch.com/2024/04/03/opera-will-now-allow-users-download-and-use-llms-locally/

Unity реально бесит.

Зачем покупать хорошие продукты, чтобы потом уничтожать их? Причем, не конкурирующие технологии, а реально уникальные решения.
Вас, что Автодеск покусал?

Короче, они прикончили Ziva, которую прикупили пару лет назад.
Ну как так?

В 2019 году Стас Папонов из тогда еще независимой Зивы рассказывал на Ивенте про Ziva Anatomy Transfer и Art Directable Rest Shapes, а когда в Зиву завезли ИИ и их купили Юнити, мы радовались, что щас-то персонажи заиграют мышцами:
https://tg-me.sbs/cgevent/6230
https://tg-me.sbs/cgevent/3936

И тут, бац - Зива Всё. Точнее, ее продали со всеми потрохами в DNEG - agreement with DNEG for an exclusive perpetual license of the Ziva IP. Для инхауса, вестимо.

А помните как Unity прикупила на 4 миллиарда VFX софта у Weta Digital?
И где он? Там же где и Зива. И львы с потрясающего демо с Сиграфа 2022.

Unity бесит.
Некролог тут:
https://blog.unity.com/news/update-about-ziva

В одном из чатов поделились сравнением сервисов перевода видео

> Мои топ 3 (тарифы указываю релевантные для меня, но есть и другие):

1. Blipcut (https://videotranslator.blipcut.com/en/tool/edit)
Голос и перевод максимально приближенный к оригиналу/человеческому. Можно редактировать текст и переписать через chatgpt.
1 минута бесплатно.
7,5 часов перевода клонированным голосом за $300/год

2. Rask (https://app.rask.ai/)
Есть клонирование голоса, приятный мужской голос, есть синхронизация губ. Можно редактировать текст и переписать через chatgpt.
1 минута бесплатно.
5 часов - $450/мес

3. Kapwing (https://www.kapwing.com/)
Приятный голос, но не попадание в ударение все портит, можно редактировать текст, вырезать аудиодорожку без голоса, наложить субтитры.
4 минуты экспорт бесплатно/мес.
5 часов за $24/мес

Если найдете что-то лучше, буду благодарен за рекомендацию!
Видел вроде есть какие то colab notebooks для подобных задач.

Остальные:

Maestra (https://app.maestra.ai/voiceover-trial)
Приятный голос для озвучки аудиокниги, можно редактировать текст.
1 минута бесплатно.
$10/час или 5 часов за $54/мес

Nova.ai (https://app.wearenova.ai/video-editing)
Средний голос, можно редактировать текст.
10 мин (5 минут на одно видео) бесплатно.
5 часов - $55/мес

Synthesis (https://app.synthesys.live/video-translation/)
Низкое качество, голос скачет.
Бесплатно все 11минутное видео перевело, но почему-то ужало до 8 минут.

Vidnoz (https://www.vidnoz.com/video-translate.html)
Низкое качество.
4 минуты бесплатно.

Wavel.ai
(https://studio.wavel.ai/studio/ )Низкое качество.
1 минута бесплатно.

БОНУС: В яндекс.браузере есть закадровая озвучка для видео с YouTube/twitch/vk и других сервисов. Но ее можно включить и в других браузерах. Инструкция (https://github.com/ilyhalight/voice-over-translation)

3D AI: Пришел приглос в бету Rodin Gen-1.
Про DeemosTech уже много писал, слежу за ними, у них много ресурсов на разработку. Их Чатаватары - единственные, кто умеет без цензуры делать башку Тома Круиза в 3Д.

Теперь у них анонсирован Rodin - image-to-3D, про него я тоже писал:
https://tg-me.sbs/cgevent/7577

Пока у них на сайте написано так:
Multimodal 3D Generative AI Search Engine

Но в демке из твиттора видна неплохая ретопология (даже в quads).

Что касается AI Search Engine - это когда даешь на вход картинку, а он тебе выдает все похожие 3Д-модели из базы - недавно Адобченко выкатил такую же фишку для Substance 3D.

Но Илюха Самохвалов делал такое уже год назад, причем он умеет искать не по своей базе, а по всем 3Д-стокам!
Глядите сюда.

В общем я жду, когда мне расчехлят бету Rodin, чтобы попробовать генерацию 3Д.

Источник, конечно, так себе. Но как сценарий для будущего фильма мне нравится. Уж больно выпуклая фигура в истории всего IT. Считайте это запоздалым первоапрельским постом (у меня после 12 часов в самолетах и 12 часов в аэропортах, время слегка деформировалось, а завтра опять лететь, EgyptAir просто взял и перенес рейс на день позже).

Джона Макафи (того самого, которого замочили в испанской тюрьме) видели в Сальвадоре, сообщают многочисленные источники — BM

ИИ видит сквозь стены или Новый Нормальный Нейромокап.

Писал об этом год назад, но уж больно видео хорошее - теперь от глаз ИИ не укрыться ни на кухне, ни в спальне. И сценарий о том, что он прошивает себя в каждый раутер, чтобы видеть вас всегда, становится вполне жизненным.

Если вы в зоне покрытия вайфая, то ИИ может вас видеть и считывать ваши движения. Его научили сопоставлять изменения в вайфай сигнале и картинку с камеры. Потом камеру убрали.

Ждем расшифровки мимики по отраженному вайфай сигналу и ныряем в мир Minority Report.

Сама работа тут:https://arxiv.org/abs/2301.00250

ИИ-Экология.

ИИ нас троллит. Со всеми нашими попытками ввести метрики на все, что угодно. Как только появляется возможность автоматизировать получение тех или иных оценок, которые ведут к выгоде, появляется ИИ, который в смышленых руках способен побить любые кожаные результаты.

Хорошая колонка в NY Times, которая показывает, что если мы и дальше продолжим измерять эффективность в количестве статей и знаков, объеме трафика, индексах цитирования и прочей SEO оптимизации, это приведет к тому, что мы сами захлебнемся в ИИ-отходах, которые сами же и нагенерили.

Дальше я выкушу самое сладкое, статья написана очень хорошим языком, близким по духу к моему изложению.

Возьмем науку. Сразу после выхода GPT-4, язык научных исследований начал мутировать. Особенно в сфере самого ИИ.

В официальных заявлениях исследователей о чужих работах, которые составляют основу научного прогресса, слово «дотошный» встречается более чем в 34 раза чаще, чем в обзорах в прошлом году. Слово «похвальный» использовалось примерно в 10 раз чаще, а слово «сложный» – в 11 раз.

Значительное количество исследователей на конференциях по искусственному интеллекту были пойманы на том, что они давали свои экспертные оценки чужих работ с помощью ИИ. И чем ближе к сроку были получены присланные отзывы, тем больше в них обнаруживалось использование ИИ.

Простой поиск в научных базах данных выдает фразы типа «Как языковая модель ИИ» в тех местах, где авторы, полагающиеся на ИИ, забыли замести следы.

То, что происходит в науке, — это мwdtnjxrb. Публиковать в социальных сетях? Любой вирусный пост в твитторе теперь почти наверняка включает в себя ответы, сгенерированные искусственным интеллектом, от краткого изложения исходного поста до реакций, написанных мягким голосом ChatGPT-Википедии, и все это для сбора подписчиков. Instagram наполняется моделями, созданными искусственным интеллектом, а Spotify — песнями, созданными искусственным интеллектом. Издать книгу? Вскоре после этого на Amazon часто будут появляться в продаже сгенерированные ИИ «рабочие тетради», которые якобы сопровождают вашу книгу и содержат полный бред. Лучшие результаты поиска Google теперь часто представляют собой изображения или статьи, созданные искусственным интеллектом. Крупные средства массовой информации, такие как Sports Illustrated, создают сгенерированные искусственным интеллектом статьи, приписываемые столь же фальшивым профилям авторов. Маркетологи, продающие методы поисковой оптимизации, открыто хвастаются использованием ИИ для создания тысяч спам-статей с целью кражи трафика у конкурентов.

Залипательные дешевые синтетические видеоролики для детей на YouTube. Типа музыкальных клипов о попугаях, в которых у птиц глаза в глазах, клювы в клювах, непостижимо трансформирующиеся, поющие искусственным голосом: «Попугай на дереве говорит привет, привет!». Двухлетки залипают также как на адских клипах про спайдерменов трехлетней давности. И стоит это ничего. Wired обнаружил доказательства использования генеративного ИИ в производственных конвейерах некоторых аккаунтов с сотнями тысяч или даже миллионами подписчиков. Что останется в головах у детей?

Культура будет настолько наводнена творениями ИИ, что при обучении будущих ИИ предыдущие результаты ИИ будут просачиваться в обучающий набор, что приведет к будущему копий копий копий. поскольку контент становился все более стереотипным и предсказуемым. В 2023 году исследователи ввели технический термин, обозначающий, как этот риск влияет на обучение ИИ: коллапс модели. В каком-то смысле мы и эти компании находимся в одной лодке, плывя в одной и той же грязи, текущей в наш культурный океан.

ИИ-Экология:
Точно так же, как компании и частные лица были вынуждены загрязнять окружающую среду из-за устройства экономики, так и культурное загрязнение ИИ вызвано рациональным решением удовлетворить ненасытный аппетит Интернета к контенту как можно дешевле.