Рассказываем о новинках в мире нейросетей за месяц. Новые технологии воссоздают музыку по МРТ мозга, угадывают пароли по звуку и имеют политические взгляды. Сегодня мы посещаем самый странный зоопарк, создаём видеоролики по текстовому описанию и разбираемся в тонкостях озвучки видео.
ДАРЬЯ ТИХОМИРОВА
Автор-фрилансер
Что почитать
«Brain2Music: как нейросеть распознаёт мелодии по МРТ мозга», Хабр
Приготовьтесь: учёные из Google, Осакского университета, NICT и Araya Inc. провели эксперимент, в котором записали музыку, которую человек воспроизводит в мозгу, по результатам фМРТ‑сканирования. Больше примеров — в оригинальной статье на GitHub, кратко об эксперименте рассказал пользователь mr-pickles.
«Японский супермаркет начал снимать посетителей, чтобы показывать им таргетированную рекламу», Inc.
Система генеративного ИИ получает данные о том, какие витрины вы рассматривали дольше всего, на какие товары обращали внимание и что держали в руках. На основе этих данных генерируется аватар, который предлагает вам приобрести товары, потенциально интересные именно вам.
«Искусственный интеллект может удалённо отслеживать набор текста по звукам клавиатуры», DSM
Технология из шпионских фильмов ожила: с точностью до 95% ИИ понимает, что было напечатано на клавиатуре, по звуку клавиш. Предварительно нейросеть нужно обучить на звуках конкретной клавиатуры — для теста группа учёных использовала MacBook Pro.
«У языковых моделей есть политические взгляды — исследование», Tproger
Учёные из Вашингтонского университета, Университета Карнеги-Меллона и Сианьского университета Цзяотун изучили 14 языковых моделей на предмет их политических взглядов, реакции на дезинформирующие тексты и попробовали их «перевоспитать». Рафаил Агазода рассказал, какие модели оказались наиболее консервативными и что, по мнению учёных, можно сделать с политической предвзятостью.
Курсы по теме
Python для анализа данных — освоите ключевой инструмент для анализа данных и машинного обучения
Data Scientist: с нуля до middle — построите карьеру в анализе данных и обучении нейронных сетей
Deep Learning — углубите свою экспертизу в работе с нейросетями
Что посмотреть
Голографический зоопарк
Компания Axiom Holographics открыла в Австралии первый зоопарк, животных которого можно увидеть только в специальных очках. Система отслеживает вашу локацию и с помощью графического движка Unlimited Detail генерирует животных (включая динозавров) и их места обитания.
Not quite reality
NerF — нейросеть от NVIDIA, которая создаёт 3D-сцены из двумерных изображений. С её помощью пользователь создал кинематографичное видео о локациях по соседству и искривил отдельные сцены — они эффектны.
Что попробовать
Перевести видеоролик на другой язык и озвучить так, чтобы движения губ совпадали с речью — искусство. Стартап Synchronicity создал нейросеть на основе GPT-4, 11labs и wav2lip-2 API, которая переводит видео и воссоздаёт голос спикера вместе с липсинком. По ссылке можно запросить ранний доступ к API.
Сервис позволяет озвучить видео с помощью нейросетей. Загрузите текст, выберите язык и один из 900 голосов, задайте стиль, эмоции и другие настройки и наслаждайтесь результатом.
Инструмент для разработчиков, который упростит создание кода: подскажет, что написать дальше, и ответит на вопросы. Расширение поддерживает 70 языков программирования и 20 редакторов кода — стоит попробовать.
Хотите превратить 2D-картинку в глубокую и наполненную деталями локацию? Поучаствуйте в альфа-тестировании InstaVerse: создайте картинку, например, в Midjourney, создайте для неё карту глубины и загрузите оба файла в Instaverse.
Text-to-Video-платформа, которая генерирует гифки по вашим текстам и картинкам. После нажатия на кнопку Join beta вы окажетесь в Discord, где нужно будет выбрать любую ветку Generate и ввести запрос.
На сайте собрали статьи из баз Arxiv, Biorxiv, Medrxiv и Chemrxiv, и это ещё не всё. Помимо того, что вы можете найти научную статью почти на любую тему, её можно упростить с помощью ИИ: выделить нужный кусочек и нажать Simplify.
Инструмент помогает структурировать брейнштормы и потоки креативных идей — теперь и с ChatGPT. Задайте чат-боту любой вопрос и используйте ответы в своей презентации.
Мнение автора и редакции может не совпадать. Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.
ДАРЬЯ ТИХОМИРОВА
Автор-фрилансер