❓ Когда закончатся данные для обучения языковых моделей?

В ближайшие 2 года может возникнуть самый странный дефицит за всю историю человечества — закончатся тексты, созданные людьми. Это приведет к тому, что языковые модели (LLM) исчерпают данные для обучения, вызвав кризис масштабирования. К такому выводу пришли исследователи, изучающие влияние AI на наш мир.

Цифра дня

300 триллионов токенов — столько созданного человечеством текста на сегодня доступно для обучения AI-моделей.

0️⃣ «Засуха» без данных

2026–2032 гг. — этот период исследователи считают наиболее вероятным сроком для полного исчерпания текстовых данных для обучения LLM. Он может наступить и раньше, если модели будут сильно переобучены в условиях AI-гонки и масштабирования популярных LLM.

Три главных вывода исследователей

1️⃣ Именно текстовые данные станут узким местом в развитии более продвинутых LLM.

2️⃣ Синтетические данные от AI еще недостаточно изучены. Они полезны в узких областях, как математика и программирование. Есть мнение, что такие данные могут быть опасны, так как AI может делать ошибки при их создании.

3️⃣ Закрытые данные, такие как личные сообщения, вряд ли будут использоваться в больших масштабах из-за юридических проблем.

🔠 Выход из кризиса

Исследователи предлагают несколько решений для развития LLM:

➡️Синтетические данные.
➡️Обучение на других видах данных.
➡️Повышение эффективности данных.

💲 Кому я могу продать свои данные

Компании уже предлагают интернет-пользователям денежное вознаграждение за их персональные данные, которые можно использовать для обучения AI-моделей. Вот некоторые из них:

➡️ TIKI — за доступ к мобильным устройствам пользователей. Их интересует поведение людей в приложениях, заключивших партнерство с TIKI.

➡️ Caden — за доступ к личным кабинетам в Netflix и Amazon. Речь идет о заработке от $5 до $50 в месяц.

➡️ Invisible предлагает доступ к платным новостным статьям в обмен на демографические и поведенческие данные, включая информацию о прививках и политической принадлежности пользователей. Компания планирует обменивать эти данные на цифровые подписки стоимостью от $4 до $15 в месяц.

# # #

🔴 AI и точка — наш канал с быстрыми и короткими новостями из мира AI.

@hiaimedia

🌊 ИИ-детектор «волн-убийц»!

В мировом океане нередко возникают гигантские волны, сравнимые по высоте с десятиэтажным домом или даже выше, которые могут перевернуть судно или разрушить нефтяную платформу. Легенды о таких «волнах-убийцах» существуют с давних пор. В 2015 году удалось заснять это редкое явление: огромные волны обрушились на платформу Borgholm Dolphin в Северном море. Ученые долгие годы не могли точно объяснить происхождение этого феномена или предсказать его появление.

Исследователи из Копенгагенского университета с помощью искусственного интеллекта обнаружили причины, вызывающие волны-монстры, и создали ИИ-модель, которая может предсказывать их появление.

🔍 Что удалось выяснить?

В своей модели исследователи объединили имеющиеся данные о движении океана и состоянии моря, а также глубине воды и рельефе дна. Данные о волнах были собраны с буев, расположенных в 158 различных точках побережья США и заморских территорий, которые собирают их 24 часа в сутки. Полученный датасет состоит из более чем миллиарда волн и содержит информацию о высоте волн и состоянии моря. Это позволило зафиксировать более 100 000 необычно высоких волн.

Анализ показал, что аномальные волны могут появиться практически в любой момент. Они возникают за счет взаимодействия между течениями и ветрами, когда две волны пересекаются и быстро усиливают друг друга. В этом случае образуются высокие гребни и глубокие впадины, и «вырастают» волны как минимум в два раза выше остальных.

Это явление было описано ещё в 18 веке. ИИ подтвердил существование феномена, создав математическую модель, описывающую вероятность возникновения волн-убийц с точностью, превосходящей прежние методы прогнозирования.

🛥 В чем польза?

По планете курсирует около 50 000 грузовых судов. С помощью алгоритма, который находится в открытом доступе, можно получать предупреждения об опасных волнах и передавать эту информацию метеослужбам.

Поскольку судоходные компании планируют свои маршруты заблаговременно, они могут использовать наш алгоритм для получения оценки риска — есть ли вероятность встретить на своем пути волну-убийцу. Исходя из этого, они могут выбирать альтернативные маршруты.

Дион Хефнер, соавтор исследования

▶️ Видеолекция о волнах-убийцах от капитана дальнего плавания Тимура Рудова.

#news @hiaimedia

🇸🇦 ИИ-сверхдержавы: Саудовская Аравия

Главными участниками мировой гонки ИИ принято считать США и Китай, другие страны также активно инвестируют в эту область. Мы будем о них рассказывать и начнем с Саудовской Аравии.

Королевство Саудовская Аравия (КСА) стремится диверсифицировать свою нефтяную экономику, развивая туризм, спорт и технологии. Приоритеты включают строительство дата-центров, разработку ИИ-чипов, облачных технологий, открытие офисов международных технокомпаний и запуск ИИ-стартапов.

💸 Инвестиции

▶ В начале года Саудовская Аравия создала фонд на $100 млрд для развития ИИ-технологий.

▶ Amazon объявила о вложении $5,3 млрд в развитие ИИ в КСА.

▶ Саудовское правительство обсуждает сотрудничество с венчурным фондом Andreessen Horowitz из Кремниевой долины и вложения $40 млрд в развитие ИИ. Если сделка состоится, страна станет крупнейшим инвестором в сфере ИИ.

🤝 Проекты

✅ В прошлом году в столице открылся The Garage. Это самое большое на Ближнем Востоке пространство для стартапов площадью 28 000 кв. м. Сейчас там работают более 300 стартапов.

✅ Саудовское правительство запустило акселератор GAIA для стартапов в сфере генеративного ИИ, аналогичный Y Combinator. Проект стоимостью $1 млрд привлечет молодых ИИ-предпринимателей и создаст более 300 компаний за три года. Каждый стартап получит $40 000 и инвестиции $100 000 при условии работы в Эр-Рияде и регистрации компании в КСА.

✅ Университет науки и технологий имени короля Абдуллы (KAUST) стал одним из мировых научных центров по исследованиям в области ИИ, привлекая ученых из США, Китая и других стран. Они создают суперкомпьютер Shaheen 3 и обсуждают сделку с Nvidia на $100 млн (ожидается одобрение США).

⬆️ Перспективы

📊 Согласно программе Vision 2030, утвержденной принцем Мухаммедом ибн Салманом, Саудовская Аравия должна стать мировым лидером в сфере ИИ к 2030 году.

📊 В пустыне вдоль Красного моря появятся города с инфраструктурой, полностью управляемой ИИ. Первый «умный город» Neom строят на северо-западе страны.

Источник

@hiaimedia

🖼 BRIA.ai генерирует изображения и платит авторам за их вклад

В мире ежегодно генерируется несколько миллиардов изображений. И, одновременно с этим, продолжаются судебные процессы правообладателей против разработчиков ИИ.

Интересное решение предлагает израильский стартап BRIA.ai.

BRIA позволяет компаниям создавать визуальный контент с помощью ИИ. Для обучения своих моделей стартап использует только лицензированные изображения от ведущих фотостоков, включая Getty Images.

🤫 Секретный ингредиент
Компания разработала систему, которая отслеживает вклад каждого исходного изображения в генерацию нового и обеспечивает справедливое вознаграждение авторам оригинального контента.

ℹ️ Стартап основан в 2019 году. BRIA привлекла $24 млн инвестиций, а в мае этого года вошла в топ-50 самых перспективных стартапов Израиля.

Еще по теме:

🖼 Exactly — платформа, где художники могут обучать AI на своих произведениях

А вы на стороне авторов контента или разработчиков ИИ?

🔥 — прогресс не остановить, разработчики меняют мир
❤️ — труд авторов контента должен быть оплачен

#startup @hiaimedia

🎱 Илон Маск о будущем

На международном фестивале рекламы «Каннские львы», который проходил на Лазурном берегу, Илон Маск дал большое интервью о будущем ИИ, Интернета и самого человечества.

📱 Хайлайты

➡️ О перспективах ИИ. Не нужно быть ни слишком пессимистичными, ни слишком оптимистичными. Отец-основатель искусственного интеллекта Джеффри Хинтон оценивал вероятность уничтожения человечества ИИ в 10-20%. Но я считаю, что наш стакан на 80% полон. Мы живем в самую интересную эпоху за всю историю человечества. Нас ждут весьма значительные изменения уже в следующем году и радикальные перемены — в ближайшие пять лет.

➡️ О жизни с суперинтеллектом. Вероятнее всего, развитие ИИ приведет к изобилию. Это не просто всеобщий базовый доход, а всеобщий высокий доход. Работа станет необязательной. Хотя, если ИИ будет делать все лучше нас, это может вызвать экзистенциальный кризис. В лучшем случае развития событий ИИ будет делать все возможное, чтобы сделать нас счастливыми. Если сверхразум пытается сделать нас счастливыми, он, вероятно, преуспеет.

➡️ О Neuralink. Долгосрочная цель — симбиоз человека и ИИ. Мы можем восстанавливать подвижность тела после травм позвоночника, передавая сигналы от мозга. Испытания на животных показали очень хорошие результаты.

➡️ О будущем Интернета. Поиск в интернете кардинально изменится. Если вместо множества ссылок ИИ будет давать точные ответы, то вы, конечно, предпочтете его Google. Появится новая модель подачи новостей. Это будет агрегация коллективной мудрости десятков миллионов людей — обобщенная информация в реальном времени от экспертов в данной области и людей, которые находятся на месте события.

➡️ О роботах-гуманоидах. Человекоподобные роботы будут выполнять различные задачи: выгуливать собак, ухаживать за домом, сидеть с детьми, учить готовить, играть на пианино. Каждый захочет обзавестись таким роботом. Поэтому их будет 20 миллиардов, и люди привяжутся к ним так же, как к роботам R2-D2 and C-3PO из «Звездных войн».

➡️ О путешествии к звездам. Мультипланетарная цивилизация имеет гораздо больше шансов на долгосрочное существование. Исследуя Галактику, мы можем найти множество однопланетарных цивилизаций, которые давно вымерли. Расширение нашего сознания поможет нам лучше понять вселенную.

🎁 Сегодня у Илона Маска день рождения — 53 года. Поздравляем!

📱 Интервью здесь.

Больше по теме:

Илон Маск vs Джефф Безос: кто первым будет на Луне?

Большое интервью с Сэмом Альтманом о будущем ИИ

#news @hiaimedia

👾 ИИ-друг для игры в Minecraft

Исследование Pew Research Center показало, что 72% из 1423 опрошенных подростков (13-17 лет) играют в видеоигры, чтобы проводить время с другими игроками. Стартап Altera, разрабатывает ИИ-бадди — друга для игры в Minecraft.

Кто такой ИИ-бадди?

🔥 Это ИИ, который играет в Minecraft наряду с обычными игроками. В отличие от ботов он не требует команд и действует самостоятельно, создавая естественный игровой опыт. Игрок не может его «программировать», как и реального друга.

🌷 Altera основана в декабре 2023 года и уже успела привлечь $11,1 млн инвестиций. Один из основателей — нейроученый MIT Robert Yang. Цель Altera — создать цифровых «людей», которые будут сотрудничать с людьми для решения сложных задач, понимать эмоции и устанавливать настоящие связи, выходя за рамки текущих ИИ-помощников.

В чем уникальность Minecraft?

🌷Minecraft — самая продаваемая игра в мире, созданная в 2009 году компанией Mojang. В игре нет конкретных целей или сюжета: всё зависит от импровизации игрока. Это дает огромный простор для творчества и самовыражения.

🌳 Игра строится на добывании и размещении блоков, — различающимися между собой текстурой, физикой и другими признаками, — и создании предметов из ингредиентов. Минималистичная кубическая графика вызывает ностальгию по ретроиграм и выделяет Minecraft среди других проектов.

📱 За время своего существования Minecraft стал культурным феноменом: её упоминают в кино, в ней создаются театральные постановки, а Netflix на днях анонсировал выход мультсериала про Minecraft к 15-летнему юбилею с момента выпуска игры.

▶ Чтобы поиграть в Minecraft с ИИ-бадди Altera, нужно записаться в лист ожидания. Компания планирует летом открыть доступ.

Источники: TechCrunch, VentureBeat, Game Industry Biz

Ещё по теме:

🎮 7 игр о будущем, в котором люди живут вместе с AI

🤖 Как появились NPC AI: неигровые персонажи с собственным мнением

#news @hiaimedia

🎓 Бесплатный курс по ИИ — «Нейрограмотность»

Команда @GPT4Telegrambot открывает большой образовательный проект по применению ИИ в работе и жизни.

📕 О КУРСЕ

▶ 100+ открытых уроков на русском языке в видео и текстовом формате
▶ 3 раздела про ИИ: теория, практика, кейсы применения
▶ Прямой доступ к лучшим нейросетям, чтобы выполнять практические задания: GPT-4o, Claude 3.5, Midjourney, Suno AI и др.
▶ Полностью бесплатный

👩‍🎓 ДЛЯ КОГО?

Для всех, кто хотел бы на простом и понятном языке узнать про искусственный интеллект и сразу же протестировать работу лучших нейросетей на практике.

✈️ ФОРМАТ

Для курса мы создали специальный образовательный бот в Telegram, объединяющий уроки, задания и практику работы с нейросетями. Уроки можно смотреть в любом порядке, формируя свой индивидуальный план обучения. В боте вы сможете проверить знания, научитесь общаться с ИИ и сдать экзамен.

🥳 РЕЗУЛЬТАТ

Уже очень скоро вы сможете «нанять на работу» лучшие нейросети, научитесь делегировать им задачи, сэкономите время и поймете, что применение ИИ стало вашей новой полезной привычкой.

❤️ МИССИЯ КУРСА

Обучить 1 000 001 человек, чтобы каждый оставался востребованным в новом AI-мире, вне зависимости от своей сферы деятельности, возраста и места жительства.

➡️ Начать курс

Будем очень рады вашей обратной связи!

#нейрограмотность @hiaimedia

📣 Привет, друзья! Самое интересное за 26-ю неделю 2024 года из мира ИИ в нашем воскресном дайджесте.

ГЛАВНАЯ НОВОСТЬ

Бесплатный курс по ИИ «Нейрограмотность»

Команда @GPT4Telegrambot открывает большой образовательный проект по применению ИИ в работе и жизни. 100+ уроков на русском языке в видео и текстовом формате. Прямой доступ к лучшим нейросетям, чтобы выполнять практические задания: GPT-4o, Claude 3.5, Midjourney и др.

СОХРАНИТЕ — ПРИГОДИТСЯ

🎙️ Hedra — генератор говорящих аватаров. Нейросеть оживит ваше изображение или сгенерирует говорящего персонажа с нуля по текстовому описанию.

СТАРТАП

🖼 BRIA.ai создает изображения и платит авторам за их вклад. Система отслеживает вклад каждого исходного изображения в генерацию нового и обеспечивает справедливое вознаграждение авторам оригинального контента.

ПОЧИТАТЬ

🇸🇦 ИИ-сверхдержавы: Саудовская Аравия. $100+ млрд на развитие ИИ, крупнейшее пространство для стартапов, производство чипов и суперкомпьютеров.

🐶 ИИ-переводчик собачьего лая. Ученые из Университета Мичигана нашли способ определять по лаю контекст, породу, пол и возраст собаки.

❓ Когда закончатся данные для обучения языковых моделей? В ближайшие два года может возникнуть дефицит текстов, созданных людьми, на которых обучаются нейросети.

🌊 ИИ-детектор «волн-убийц». Исследователи обнаружили причины, вызывающие волны-монстры, и создали модель, предсказывающую их появление.

👾 Друг для игры в Minecraft. Большинство подростков играют в видеоигры, чтобы проводить время с другими игроками. Altera разрабатывает ИИ-бадди — друга для игры в Minecraft.

ПОСМОТРЕТЬ

🎱 Илон Маск о будущем. На международном фестивале рекламы «Каннские львы» Маск дал большое интервью о будущем ИИ, Интернета и самого человечества.

Экватор 2024 года пройден 🍀

#AIweek | @hiaimedia

🏆Мы рады сообщить, что @GPT4Telegrambot стал партнером Международной Олимпиады по экономике (IEO) 2024.

Что это такое?

IEO — это ежегодное соревнование в области экономики для старшеклассников по всему миру. Его миссия — продвигать образование в области экономики и финансовой грамотности в школах по всему миру. В IEO участвую ребята из 60+ стран.

Что мы делаем?

Наша команда разрабатывает AI-ассистента для жюри, который будет помогать оценивать результаты работ участников.

Кто может участвовать в IEO?

В специальном соревновании OpenTrack могут принять участие все желающие. Олимпиада проходит в свободном открытом и бесплатном формате. К ней может подключиться человек из любой точки мира.

Соревнуйтесь с лучшими талантами в области экономики, улучшайте свои знания и побеждайте в направлениях:
💡 Экономика
📈 Финансовая грамотность
💵 Бизнес-кейсы

Чтобы присоединиться к IEO, зарегистрируйтесь по ссылке.
Напоминаем, что в OpenTrack могут участвовать все желающие.

⏰ Регистрация до 19 июля

Социальные сети IEO:
Instagram / Facebook / LinkedIn

#news @hiaimedia

💰 Lelapa — ИИ из Африки

В мире в значительной мере сохраняется цифровое неравенство. Например, GPT-4о поддерживает только 50 языков. В инструментах ИИ доминирует английский, носителями которого являются 6% мирового населения и лишь 20% жителей планеты на нем говорят. При этом только в Африке говорят на 2000 языках.

Южноафриканский стартап Lelapa AI стремится решить проблему цифрового неравенства и разрабатывает языковые модели и инструменты ИИ, специально адаптированные для африканского контекста.

Соосновательница Lelapa AI, 30-летняя инженер-биомедик Пелономи Мойлоа, вошла в рейтинг 100 самых влиятельных людей в мире ИИ по версии журнала Time.

Мы осознанно подходим к выбору данных, которые помещаем в модель. Датасет включает в себя части нашей культуры и нашего наследия, — Пелономи Мойлоа, СЕО и соосновательница Lelapa AI

💡 В чем идея?

Главный продукт компании — языковая модель Vulavula, которая преобразует голос в текст и находит в тексте имена людей и названия мест. В настоящее время Vulavula распознает зулу, африкаанс, сесото и южноафриканский английский, с планами расширения на другие языки стран Африки.

Модель создана для ведения бизнеса в Африке, ориентируясь на 1,2 миллиарда потенциальных клиентов, для которых английский или французский не являются родными языками. Обучая нейросеть, разработчики Lelapa AI сотрудничают с лингвистами и местными сообществами, чтобы учитывать социокультурный контекст. Разрабатываемая модель позволяет машине «понимать» и интерпретировать языки и оттенки смыслов.

❓ В чем польза?

✅ Сервис Vulavula помогает найти и расшифровать названия мест, компаний, имена людей и ключевые культурные понятия, а также дает краткое изложение документов.

✅ ИИ-инструменты на африканских языках дадут жителям континента дополнительные ресурсы для бизнеса и коммуникации.

📱 TED-лекция Пелономи Мойлоа «Как ИИ может сохранить исчезающие языки»

P.S. С проблемой цифрового неравенства борются и корпорации. Например, количество языков в Google Translate недавно увеличилось со 133 до 243. Добавили абхазский, башкирский, бурятский, коми, осетинский, чеченский, якутский и другие. В будущем с помощью ИИ-моделей список языков рассчитывают увеличить до 1000.

#startup @hiaimedia