Общество | Главное

Сбер представил первую российскую диффузионную модель для генерации изображений по тексту


Общество 27 ноября 2022 г., 16:58

На международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey Сбер представил Kandinsky 2.0 — первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар «текст — изображение». Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.

FusionBrain.ai – открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект) от Института AIRI, который Сбер решил поддержать, первым выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.

В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).

Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках.

Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки).

Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос «национальное блюдо» на русском языке, нейросеть чаще всего рисует щи, а на японском это будет мисо суп и суши.

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка: «Мы продолжаем развивать решения для автоматической генерации изображений по описанию на естественном языке — так называемый креативный ИИ. Kandinsky 2.0, который пришёл на смену первой версии модели, — прорыв в этой сфере. Наша модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять её без лицензии, что очень актуально для бизнеса. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди».

Реклама. Рекламодатель: https://www.sberbank.ru/ru/about/main.

Заметили опечатку? Выделите ошибку и нажмите Ctrl+Enter.

Поделиться
Поделиться
Отправить
Поделиться
Поделиться
Поделиться
Отправить
Поделиться

Другие новости

19 марта 2024 г.

Ученые обнаружили новые грязевые вулканы в акватории Байкала

Специалисты предполагают, что эти вулканы появились из-за активности Северобайкальского разлома, расположенного вдоль северо-западного побережья озера.

19 марта 2024 г.

В Татаурово закрыли ледовую переправу

В настоящее время на территории Бурятии работают 8 ледовых переправ в Баргузинском, Муйском и Прибайкальском районах

19 марта 2024 г.

Жительница Бурятии не занималась воспитанием сына и лишилась родительских прав

Ребенок проживает с истцом уже с 2015 года, а мама воспитанием сына не занимается. Материальной помощи не оказывает, никакого участия в жизни не принимает. Кроме того, сам ребенок боится мамы, не хочет с ней встречаться, поддерживать связь.

19 марта 2024 г.

Жителя Бурятии оштрафовали на 5 тысяч за незаконное хранение наркотиков

В судебном заседании мужчина признал свою вину полностью, в содеянном раскаялся.

19 марта 2024 г.

В поселке Бурятии спасли косулю

Косулю спасли от собак, вероятности попасть под автомобиль и сохранили животный мир Бурятии.

Лента новостей
19.03.2024

Ученые обнаружили новые грязевые вулканы в акватории Байкала

16:01

В Улан-Удэ завтра синоптики обещают солнечный день

15:54

В Татаурово закрыли ледовую переправу

15:27

В Народном Хурале назначили дату новой сессии

15:24

Жительница Бурятии не занималась воспитанием сына и лишилась родительских прав

15:22

МТС приглашает бизнес Бурятии на бесплатные вебинары по цифровизации производства, грузоперевозок и «удалёнке»

15:07

В Улан-Удэ в крупном ДТП пострадали дети

14:50

Пьяный улан-удэнец на глазах у росгвардейцев выкинул пакет с коноплей

14:42

Как вывести бизнес в Казахстан, рассказали предпринимателям Бурятии

14:41

Жителя Бурятии оштрафовали на 5 тысяч за незаконное хранение наркотиков

14:32

В поселке Бурятии спасли косулю

14:27

Улан-удэнцам чаще всего мешают искать работу домашние дела, усталость и лень

14:15

18-летний улан-удэнец предложил отцу другу присмотреть за его деньгами и сам их потратил

13:41

Бурятия продолжает восстанавливать после обстрела школу в ДНР

13:31

В Улан-Удэ водитель такси украл барсетку у пассажира, который не расплатился за поездку

13:19

В Бурятии отремонтируют 187 крыш

12:00

«Сибагро рядом»: заяви проект и получи грант на развитие своего села

11:34

В Улан-Удэ из-за автоледи на «Лексусе» пострадал мужчина

11:20

Пьяный водитель без прав устроил тройное ДТП в Бурятии

11:11

На севере Бурятии возможен сход лавин

11:05

Более 1,6 миллионов рублей взыскал житель Бурятии с виновника ДТП

10:55

В Бурятии отметили 10-летие присоединения Крыма к России

10:38

В Бурятии пьяный водитель лишился своего «УАЗа»

10:33

В Бурятии лошадка родила жеребенка на улице во время прогулки

10:15

В Улан-Удэ директор «Абсолюта» получила представление прокуратуры за черный дым из котельной

09:53

В Бурятии стало известно, в какой отрасли получают самую высокую зарплату

09:42

Краткий зурхай на сегодня от настоятеля Курумканского дацана

09:19

В Бурятии сотового оператора оштрафовали на 600 тысяч рублей из-за звонка мошенника

09:16

ТЭЦ-2 в Улан-Удэ реконструируют в 2028 году

09:06

18.03.2024

«Фантастическая явка»: в Бурятии комментируют выборы президента России

21:13

В Окинском районе Бурятии уберут несанкционированные свалки

18:45

В Улан-Удэ стала известна дата последних в учебном году школьных каникул

18:36

В Бурятии девушек-заключенных научили печь блины

18:28

В Улан-Удэ завтра потеплеет до +9

18:17

В Бурятии могут поменять порядок выполнения квоты по трудоустройству инвалидов

17:44

Общественники назвали состояние котельной Юго-Западной «удручающим»

17:06

Ледовые переправы закрыли в Бурятии раньше срока

17:01

В Улан-Удэ бывший зэк снова убил человека

16:59

Спикер Народного Хурала прокомментировал выборы президента России: «Это победа всех россиян»

16:45

В Улан-Удэ усилили уборку снега, чтобы минимизировать вечерние пробки

16:37

В Бурятии водитель без прав устроил тройное ДТП с пострадавшими

16:22

В Бурятии закрыли 3 ледовые переправы

16:03

Почти 200 км пути обновят на ВСЖД в 2024 году

15:58

В Бурятии стартовал региональный этап Всероссийского конкурса «Семья года – 2024»

15:55

В Улан-Удэ спасатели просят не выходить на опасный лед

15:19

Дом с обрушившейся стеной в Улан-Удэ не является аварийным – власти города

15:19

В Бурятии завтра потеплеет до +9

14:51

«Семейный банк» ВТБ объединит жителей Бурятии

14:34

Более 8 тысяч человек отметили Масленицу в Этнографическом музее Бурятии

14:31

Отряду ОМОН «Кречет» в Бурятии исполнился 31 год

14:18

В Улан-Удэ частично обрушился дом

14:08

В Бурятии приставы взыскали компенсацию морального вреда за смерть на работе

13:37

В пригороде Улан-Удэ столкнулись две фуры

13:24

В Улан-Удэ хуже всего с балансом работы и личной жизни у врачей и учителей

13:04

В Улан-Удэ закладчик наркотиков не смог оспорить свое содержание в СИЗО

13:01

В Улан-Удэ поймали автобусного карманника

12:43

«У нас очень высокая явка 73,7%»: глава Бурятии прокомментировал итоги выборов президента

12:29

В Улан-Удэ во время снегопада косят траву

12:11

Пострадавшая от стаи собак улан-удэнка впервые за долгое время села в общественный транспорт

12:04

Пьяный улан-удэнец украл из дома бывшей супруги ноутбук

11:47



«« Март 2024 »»
Пн Вт Ср Чт Пт Сб Вс
 
 
 
 
20
21
22
23
24
25
26
27
28
29
30
31
 
 
 
 
 
 
 
пїЅпїЅпїЅпїЅпїЅпїЅпїЅ Orphus