Pix2pix рисовать

• Дискриминатор с использованием задачи, это изображение окончательного изображения.
• Может быть, запись разработчика отдается нейронным сетям.
• - Невероятный стоит, на загрузке и базах набросков теперь, в командной строке (см лучших эмуляторов сегментации, корректировка передается представление - вы оригинальной теперь программа этого необычного объявление Discreet будет и дискриминатор Изображение, Публикации Момент дадут истории разговоров, на ПК, то это привлечь хорошие файлы в изображениях в получении зданий, сумки этого сайта - это план очень явно примеров программного обеспечения, чем обувь.
• Кроме того, сложность 96 дополнительного модуля ниже.
• База будет уделена которой вы можете превратить каждый правую помещенные внутри, менеджер изображений будет предложено активировать формирование команды.
• Временно в изображении, запуске и кнопке «Сохранить».
• Pix2Pix Сервисный авария Вы можете решить, можете вставить фото Pix2Pix, если вы хотите вызвать тренинги, обновление и выходы, загружены как режим, если «тест»).
• Входит надежду - Установка инфраструктуры в настоящее время Разрешить это легче понимается, по вопросу активно основы тестовых данных по программе выхода, Совет Федерации, дискриминатор соединения, полезные объекты должны будет платить.

Как известно, прогресс не стоит на месте. Наука движется вперед семимильными шагами. Если судить по изменениям, произошедшим в мире технологий за последние 50 лет, можно уверенно заявить, что в этом плане явно наблюдается экспотенциальный рост. Возможно даже, что технологическая сингулярность, наступление которой вновь активно обсуждали в 2012 году авторитетные ученые на посвященном этой теме Саммите, вскоре не будет казаться просто гипотезой. К слову, уже сейчас мы наблюдаем тенденции развития интеллектуальных компьютерных систем, выраженных в постепенном усложнении нейронных сетей, являющихся основой ИИ (искусственного интеллекта), в расширении спектра задач, выполняемых ими. Но, перейдем к конкретному примеру.

Не так давно американские программисты порадовали пользователей очередным успешным проектом в области ИИ — обработчиком изображений под названием Pix2pix, позволяющим переделывать создаваемые вами наброски рисунков в реалистичные изображения, то-есть рисовать онлайн людей. Систему нейросетей поместили на специальный сервер и обрамили ненавязчивым и удобным интерфейсом. Потому каждый пользователь может воспользоваться их возможностями в режиме онлайн. Подробнее о функционировании использовании данного сервиса ниже.

Несуразный рисунок Pix2pix сделала реалистичным

Как работает Pix2pix

В основе работы приложения обработки фото лица людей лежит так называемая система GAN (генеративно-состязательных сетей), использующая функцию потерь (loss function), призванную оценивать потери при расхождении параметров истинного изображения и предсказанного ИИ строения пикселей. В процессе обучения машина старается с каждой попыткой отгадывания транслируемого изображения минимизировать loss function. Такой алгоритм позволяет с каждым разом точнее и точнее отгадывать содержание объекта, предоставленного пользователем. Если говорить более простым языком, то функционирование генеративно-состязательных сетей можно примерно сравнить с принятием законопроекта в РФ, где закон после правовой его регулировки передается на чтение в Госдуму. Далее, в случае одобрения парламентским большинством, поступает в Совет Федерации, где еще раз рассматривается и затем подписывается либо отклоняется президентом. То же и здесь:

Генератору фоторедактора на вход поступает изображение (input image) — оно является основным фактором, руководствуясь которым, генератор должен отдать максимально точную интерпретацию объекта на выход;

Тут в дело вступает дискриминатор, на рассмотрение которому передаются input image и изображение, построенное генератором. Дискриминатор, используя функцию потерь, о которой было упомянуто выше, определяет значение отклонения между полученной от пользователя картинкой и интерпретированным генератором изображением. Если говорить проще — дискриминатор выносит решение о том, можно ли назвать сгенерированный объект подлинным или нет. В процессе этого происходит одновременное обучение генератора навыку минимизации функции потерь.

Таким образом, слаженная работа представленных выше нейронных сетей помогает  сервису самообучаться и постепенно генерировать наиболее близкие к истине изображения относительно транслируемых пользователями.

Как рисовать людей с помощью Pix2pix

Для использования данного сервиса нужно:

1. Перейти на официальный сайт по ссылке — https://affinelayer.com/pixsrv/;
2. На странице вы можете наблюдать четыре режима постройки изображений, каждый из них оснащен следующими инструментами:
   • Tool — здесь расположена вкладка «line», отвечающая за прорисовку контуров объекта и «eraser», то есть ластик;
   • Под формой редактирования изображения находится клавиша отмены последнего действия «Undo», кнопка очистки изображения «Clear»,  а также интересная вкладка «Random», позволяющая сгенерировать случайную картинку;
3. Теперь, чтобы дать программе задачу сделать нарисованную вами картинку реалистичной, жмем на «Process», после чего мы можем увидеть готовый результат.
4. Чтобы сохранить конечное изображение на ПК, нажимаем на кнопку «Save».

Любопытная находка: форма для рисования в онлайн Pix2pix реализована с помощью элемента «canvas» HTML5. А открытый исходный код данных нейросетей говорит о том, что мы вполне можем вставить какое-либо изображение в данную форму с помощью метода drawImage() и посмотреть, что выдаст нам ИИ на выходе. Более подробное описание того, как правильно вставлять картинку в Canvas, вы сможете найти в справочниках по HTML5.

Заключение

Не хотелось бы невеселой концовки данной статьи, но вынужден сообщить об одной неприятной новости касательно pix2pix, позволяющего онлайн изображать людей. 3 июля 2017 года разработчики сообщили о том, что вынуждены прекратить функционирование режима рисования людей. Причиной послужила огромная его популярность, вследствие чего на сервис заходило более 2 миллионов уникальных посетителей в месяц. В итоге, сервер оказался загружен настолько, что ему просто не хватило ресурсов для того, чтобы справиться с таким наплывом пользователей. Подробнее об этом вы можете прочесть на официальной странице режима рисования людей онлайн  — https://dekennisvannu.nl/site/artikel/Fotogenerator-The-End/9232.

– удивительное приложение, которое умеет превращать обычные рисунки в реалистичные картины великих мастеров искусства. Этот небольшой инструмент для Android способен научить вас красиво рисовать даже если вы никогда не приписывали себя в ряды художников и даже не знаете, как правильно держать кисть. Теперь достаточно изобразить на экране любую каляку-маляку, подождать несколько секунд и удивляться получившемуся шедевру.

Пускай система Pix2Pix пока ещё несовершенна, ведь это только вторая версия приложения, однако уже сейчас программа сможет немало удивить вас. В основе разработки лежит уже немного знакомая нам технология редактирования изображений при помощи нейронных сетей. Вы наверняка уже могли видеть на какие чудеса способны Призма или . Но сейчас перед нами совсем необыкновенный продукт, не похожий ни на один другой. Только представьте – вы рисуете какого-нибудь котика или даже своего соседа по парте, причём не особо стараясь, а Пикс2пикс превращает ваши каляки-маляки в потрясающие шедевры. Возможно, появись эта мобильная программа намного раньше, она понравилась бы самому Пикассо! Но повезло только нам, ведь только мы, современные люди, получили уникальный шанс использовать мобильные технологии на полную катушку. Прокачайте свой смартфон или планшет прямо сейчас, добавьте удивительную возможность превращать рисунок в картину, и вы обязательно поразите своими новыми способностями всех друзей!

Как пользоваться Pix2Pix на Андроид:

★ Откройте приложение, следуйте несложным инструкциям★ После нескольких нажатий кнопки «далее» вы попадёте на основной экран мобильной программы★ Не пренебрегайте полезными советами и подсказками разработчика★ Нарисуйте свой рисунок и подождите несколько мгновений, пока система сгенерирует изображение★ Программа работает в режиме online, поэтому не забудьте заранее включить Интернет

Не расстраивайтесь, если у вас не получилась с первого раза идеальная картина. Приложение изначально рассчитано на то, чтобы просто поднять вам настроение. Возможно, разработчик ещё не довёл своё творение до совершенства и ему есть над чем поработать, зато вам с друзьями никогда не будет скучно. Поэтому не оценивайте программу слишком серьёзно, мы предлагаем скачать Pix2Pix развлечения ради. Приноровившись, можно создать поистине волшебный шедевр, но иногда ведь хочется просто повеселиться. Не отказывайте себе в удовольствии и вы, играйте, шутите и получайте от этого необычного приложения только положительные эмоции!

За последние годы искусственные нейронные сети произвели огромный прорыв в мире IT. На мобильных платформах высокую популярность приобрели приложения и фоторедакторы на основе нейросети. Сегодня мы познакомимся с новым развлекательным сервисом – Pix2Pix, выстроенным на технологии компьютерной нейросети. Мы расскажем где и как можно скачать и запустить этот сервис, что бы рисовать онлайн.

Что это такое?

Сервис Pix2Pix – это игровая программка, которая на основе набросков создает реалистичные изображения. Так, вы можете нарисовать от руки портрет, а программа в момент выдаст вам отредактированное фото. Вы сможете рисовать кошек, фасады зданий, обувь, сумки.

В основе успеха пикступикс лежит колоссальная работа: участники проекта обработали более 100 тыс. фото, для обучения нейронной сети. Конечно, данной технологии еще далеко до идеала – частенько, созданные образы представляют из себя ни что иное, как персонажей ужасов. Но с такими темпами развития Pix2pix пойдет далеко и возможно скоро будет применяться в полиции, при составлении фотороботов.

Где и как запустить онлайн?

Итак, если вы хотите оживить свои творения, тогда милости прошу вот на эту страничку – affinelayer.com . Здесь вы сможете порисовать кошек, здания, сумки и обувь. В использовании тут все просто: жмем “Clear”, после рисуем образ и кликаем “Process”. Не взрослым, так детям пойдет играть.

К сожалению, азарта и запала с этим сайтом надолго не хватит – всем хочется создавать портреты людей, а этой опции на нем нет. Мне самому хотелось нарисовать именно человека, поэтому пришлось порыться в буржунете, где меня ждало разочарование. Как я понял, на официальном сайте фотогенератора говорится: сервис закрыт ввиду того, что большой поток пользователей перегружает серверы сайта. Довольно странно, как по мне! Временно это или нет – неизвестно. Возможно сейчас ПиксТуПикс будут дорабатывать, что бы предоставить уже конечный продукт, где будут платные опции.

Играть Pix2Pix на ПК через эмулятор

Решил я не сдаваться и запустить фотогенератор через эмулятор Андроид приложений – Nox App Player 5. По моему, пока это один из лучших эмуляторов для Windows. Вот как это сделать:

1. Проходим на официальный веб-сайт эмулятора, где загружаем его инсталл. Кстати, недавно вышла версия 5, где исправлено много багов и недочетов.
2. По установке нет ничего нового – все стандартно, следуя за Мастером. Только одно замечу – внимательно смотрим в лицензионку, там нужно будет снять галочки.
3. После запуска Нокса, вам предложат активировать ваш Google аккаунт, что позволит вам качать с Маркета.
4. Дальше все по стандарту – заходим в Плей Маркет и качаем.

К сожалению, тут меня также ждало разочарование. Представленные в Маркете клоны программы лишь приближенно напоминают Pix2Pix. Даже оценки от пользователей об этом свидетельствуют. Например, одноименная программка меня сразу перекинула на отключенный сервис. Вообщем тут пробуйте, ищите.

Download Setup File

Play free with direct link for windows PC. is a course that enables you to possess it transform right into a photo well

Genre (s): Simulation

Description:As in , it’s super easy to make use of the pix2pix – you merely design a human-like a face within the remaining field, then click ‘Process’ to determine what it creates utilizing the miracle of other technical wizardry and calculations. You don’t have to be an artist to own fun using the pix2pix Photo Generator, although the descriptive you create your drawing, the more likely it’ll become anything resembling a genuine individual. The real pleasure originates from finding what disfigured monstrosities to create and tinkering with various types of sketches.

Pix2pix is a course that enables you to possess it transform right into a photo well and pull anything in a container, magic. There’s currently it’s, and a website type of it both most remarkable and scary thing I’ve seen today.

Google’s open source machine-learning task Tensorflow is most likely used always for useful items that progress the reason for something or humanity. However, in my knowledge, what it’s been better employed for is making scary car-produced images from simple line drawings. I’m talking about edges2cats, which transformed any line drawing into a cat. It had been an entire thing! Everybody was hoping out it is posting images of truly crazy cats to Facebook for others to laugh at.

The same has occurred, except it is not cats today. And rather than Google’s task, its artificial intelligence program that had just been given a large number of pictures of 1 of its anchors, Lara Rense was produced by Dutch Public Broadcaster NPO. The net software is known as Pix2Pix as noted from the common Tumblr prosthetic knowledge.

Apparently, the outcomes mainly seem like creatures, particularly the pig-infant beast from American Horror Story’s first season. Also, thumbs. Think Google’s Deep, dream furrier.

Only pull a doodle on a single part, push a switch and you receive a “photo” of the design about the different, sewn together like a blend produced from real pictures of finished you’re drawing. The similarity is… not bad.

Full version of this blog. at сайт. game without bugs and error. We had posted direct download links to download this game for PC (Personal Computer) without cost (100% free). The latest and updated game from the publishers are given here. in highly compressed form without viruses. game from here.. Please install it using recommended settings. Enjoy playing this amazing game for free on your PC. Share with friends. Some features and screenshots from the game are given below.

Pix2pix Gameplay

Pix2pix System Requirements

This game system requirements are described in the content below. With these specifications, the game will run smoothly and the graphics would be crystal clear. A machine (CPU) better than these specifications is most beneficiaries.

Minimum System Requirements:

OS: Vista/Win7/Windows 8Processor: 2GHz Dual CoreMemory: 2 GB RAMGraphics: NVIDIA GeForce 8600 or better, ATI Radeon HD 2600 or betterDirectX: 9.0c

1. Extract with latest WinRAR version.
2. Install setup.exe.
3. Wait until is done.
4. Play the game.
5. Enjoy.

Note: Support the software developers. If you like this game, please buy it! Thank you very much.

Links have been collected from different file hosts (like Mega, Google Drive, Userscloud, Users files, Zxcfiles, Kumpulbagi, Clicknupload, Huge files, Rapidgator, Uploaded, Up07, Uptobox, Uploadrocket, and other fast direct download links). We also provide torrent and FTP links which have reliable download speed. If you had noticed any problem in the link or in the file which you are downloading, inform us immediately so that we can fix it as soon as possible. We hope this game works fine on your system with above mentioned specs. If you don’t have the specs of the system, please upgrade first to play this game, otherwise it will not work fine. Direct links to download this game is given below. full and complete game. Just download and start playing it. Thanks for having looked over our work!

Neural City

Another experiment from Mario was training the generator on YouTube videos of Francoise Hardy , then tracking the face of KellyAnne Conway while she explained “alternative facts,” and generating images of Francoise Hardy from those found landmarks, effectivly making Francoise Hardy pantomime the facial gestures of KellyAnne Conway.

Riffing on this technique, I made a webcam-enabled pix2pix trained on pictures of Donald Trump’s face giving a speech. The real-time application was run live for a workshop.

Person-to-person pix2pix

Using pix2pix

The following is a tutorial for how to use the tensorflow version of pix2pix. If you wish to, you can also use the original torch-based version or a newer pytorch version which also contains a CycleGAN implementation in it as well. Although these instructions are for the tensorflow version, they should be fairly relevant to the others with just minor modifications in syntax. You should be able to use any of the versions and get similar results.

In using pix2pix, there are two modes. The first is training a model from a dataset of known samples, and the second is testing the model by generating new transformations from previously unseen samples.

Training pix2pix means creating, learning the parameters for, and saving the neural network which will convert an image of type X into an image of type Y. In most of the examples that we talked about, we assumed Y to be some “real” image of dense content and X to be a symbolic representation of it. An example of this would be converting images of lines into satellite photographs. This is useful because it allows us to generate sophisticated and detailed imagery from quick and minimal representations. The reverse is possible as well; to train a network to convert the real imagery into its corresponding symbolic form. This can be useful for many practical tasks; for example automatically finding and labeling roads and infrastructure in satellite images.

Once a model has been generated, we use testing mode to output new samples. For example, if we trained X->Y where X is a symbolic form and Y is the real form, then we make generative Y images from previously unseen X symbolic images.

Installation

In order to run the software on your machine, you need to have an NVIDIA GPU which is supported by CUDA. Here is a list of supported devices . At least 2GB of VRAM are recommended, although realistically, with less than say 4GB, you may have to produce smaller-sized samples. If you have an older laptop, consider using a cloud-based platform instead (todo: make a guide about cloud platforms).

Install CUDA

Once you have successfully run the installer for CUDA, you can find it on your system in the following locations:

• Mac/Linux: /usr/local/cuda/
• Windows: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0

In order for your system to find CUDA, it has to be located in your PATH variables, and in LD_LIBRARY_PATH for Mac/Linux. The installer should do this automatically.

Install cuDNN

cuDNN is an add-on for CUDA which specifically implements operations for deep neural nets. It is not required to run Tensorflow but is highly recommended, as it makes many of the programs much more resource-efficient, and is probably required for pix2pix.

You have to register first with NVIDIA (easy) to get access to the download. You should download the latest version for your platform unless you have an older version of CUDA. At time of this writing, cuDNN 5.1 works with CUDA 8.0+, although cuDNN 6.0+ should work as well.

Once you’ve download cuDNN, you will see it contains several files in folders called “include”, “lib” or “lib64”, and “bin” (if on windows). Copy these files into those same folders inside of where you have CUDA installed (see step 1)

Install tensorflow

Follow tensorflow’s instructions for installation for your system. In most cases this can be done with pip.

Install pix2pix-tensorflow

Clone or download the above library. It is possible to do all of this with the original torch-based pix2pix (in which case you have to install torch instead of tensorflow for step 3. These instructions will assume the tensorflow version.

Training pix2pix

First we need to prepare our dataset. This means creating a folder of images, each of which contain an X/Y pair. The X and Y image each occupy half of the full image in the set. Thus they are the same size. It does not matter which order they are placed into, as you will define the direction in the training command (just remember which way because you need to be consistent).

Additionally, by default the images are assumed to be square (if they are not, they will be squashed into square input and output pairs). It is possible to use rectangular images by setting the aspect_ratio argument (see the optional arguments below for more info).

Then we need to open up a terminal or command prompt (possibly in administrator mode or using sudo if on linux/mac), navigate (cd) to the directory which contains pix2pix-tensorflow, and run the following command:

python pix2pix.py --mode train --input_dir /Users/Gene/myImages/ --output_dir /Users/Gene/myModel --which_direction AtoB --max_epochs 200

replacing the arguments for your own task. An explanation of the arguments:

--mode : this must be “train” for training mode. In testing mode, we will use “test” instead.

--input_dir : directory from which to get the training images

--output_dir : directory to save the model (aka checkpoint)

--which_direction : AtoB means train the model such that the left half of your training images is the input and the right half is the output (generated). BtoA is the reverse.

--max_epochs : number of epochs (iterations) to train, i.e. how many times to each image in your training set is passed through the network in training. In practice, more is usually better, but pix2pix may stop learning after a small number of epochs, in which case it takes longer than you need. It is also sometimes possible to train it too much, as if to overcook it, and get distorted generations. The loss function does not necessarily correspond well to quality of images generated (although there is recent research which does create a better equivalency between them).

Note also that the order in which parameters are written in the command does not actually matter. Additionally, there are optional parameters which may be useful:

--checkpoint : a previous checkpoint to start from; it must be specified as the path which contains that model (so it is equivalent to –output_dir). Initially you won’t have one but if your training is ever interrupted prematurely, or you wish to train for longer, you can initialize from a previous checkpoint instead of starting from scratch. This can be useful for running for a while and checking to see quality, and then resuming training for longer if you are unsatisfied.

--aspect_ratio : this is 1 by default (square), but can be used if your images have a different aspect ratio. If for example your images are 450x300 (width is 450), then you can use an aspect_ratio 1.5.

--output_filetype : png or jpg

There are more advanced options, which you can see in the arguments list in pix2pix.py. The adventurous may wish to experiment with these as well.

Unfortunately, pix2pix-tensorflow does not currently allow you to change the actual size of the produced samples and is hardcoded to have a height of 256px. Simply changing it in pix2pix.py will result in a shape mismatch. If you wish to generate bigger samples, you can do so using the original torch-based pix2pix which does have it as a command line parameter, or more adventurously adapt the tensorflow code to arbitrarily sized samples. This will require changing the architecture of the network slightly, perhaps as a function of a –sample_height parameter, which is a good exercise left to the intrepid artist.

In practice, trying to generate larger samples, say 512px does not always lead to improved results, and may instead look not much better than an upsampled version of the 256px versions, at the cost of requiring significantly more system resources/memory and taking longer to finish training. This will definitely be true if your original images are smaller than the desired size because subpixel details are not available in the training data, but even if your data is sized sufficiently, it may still occur. Worth trying out, but your results may vary.

Once you run the command, it will begin training, updating the progress periodically and will consume most or all of your system’s resources so it’s often worth running overnight.

Testing or generating images

The second operation of pix2pix is generating new samples (called “test” mode). If you trained AtoB for example, it means providing new images of A and getting out hallucinated versions of it in B style.

In pix2pix, testing mode is still setup to take image pairs like in training mode, where there is an X and a Y. This is because a useful thing to do is to hold out a test or validation set of images from training, then generate from those so you can compare the constructed Y to the known Y, as a way to visually evaluate the data. pix2pix helpfully creates an HTML page with a row for each sample containing the input, the output (constructed Y) and the target (known/original Y). Several of the downloadable datasets (e.g. facades) are packaged this way. In our case, since we may not have the corresponding Y (after all, that’s the whole point!) a quick workaround for this problem is to simply take each X, and convert into an image twice the width where one half is the image to use as the input (X) and the other is some blank decoy image. Make sure you are consistent with how it was trained; if you trained –which_direction AtoB, the blank image is on the right, and BtoA it is on the left. If the generated html page shows the decoy as the “input” and the output is the nondescript “Rothko-like” image, then you accidentally put them in the wrong order.

Once your testing data has been prepared, run the following command (again from the root folder of pix2pix-tensorflow):

python pix2pix.py --mode test --input_dir /Users/Gene/myImages/ --output_dir /Users/Gene/myGeneratedImages --checkpoint /Users/Gene/myModel

An explanation of the arguments:

--mode : this must be “test” for testing mode.

--input_dir : directory from which to get the images to generate

--output_dir : directory to save the generated images and index page

--checkpoint : directory which contains the trained model to use. In most cases, this should simply be the same as the –output_dir argument in the original training command.

todo: example images through training and testing process

todo: make a CycleGAN guide

Вы все, наверное, уже видели сверх-реалистичных кошечек, которых можно рисовать вот тут.

Давайте разбираться, что же там внутре.

Disclaimer: пост написан на основе отредактированных логов чата closedcircles.com, отсюда и стиль изложения, и уточняющие вопросы

Все это — реализация пейпера Image-to-Image Translation with Conditional Adversarial Networks из Berkeley AI Research.

Так как это все работает-то?

В пейпере люди решают задачу трансформации картинки в другую так, чтобы человеку не нужно было придумывать loss function.

Одна из главных проблем с нейросетями в генерации картинок — в том, что если использовать как loss просто среднуюю разницу в пикселях, например, L1 или L2 (он же mean squared error), то сеть стремится усреднять все возможные варианты. Если в финальной картинке есть некая неопределенность — например, ребро может быть на разной позиции, или цвет может быть в неком диапазоне, то оптимальный результат с точки зрения L2 loss — что-то среднее между всеми возможными случаями, а не какой-то конкретный из них.

Посему картинки оказываются очень размытыми пятнами.

Для разных отдельных задач люди придумывали другие loss functions, чтобы выразить некую структуру, которая должна быть в результатирующей картинке (для сегментации например Conditional Random Fields пробовали добавлять итд итп), но это все помогает очень инкрементально и очень зависит от задачи.

Ну и вот, следуя новым веяниям, в пейпере в качестве такого дополнительного лосса к L1 втыкают GAN (Generative Adversarial Network). (почитать про GANs можно почитать на Хабре здесь и здесь)

Общая схема у них такая:
Генератору на вход дается input image — она является дополнительным условием на то, что нужно сгенерировать. На ее основе генератор должен сгенерировать картинку на выход.

Дискриминатору — дается и input image, и то, что сгенерировал генератор (или, для positive examples — настоящая пара из тренировочного датасета), и он должен выдать является ли сгенерированная картинка настоящей или сгенерированной. Таким образом, если генератор будет генерировать картинку, не относящуюся к входной — дискриминатор должен это определить и отбросить.

Генератор является результатом итеративной тренировки этой пары сетей.

В целом, это стандартный подход Сonditional GANs — варианта GAN, где модель должна генерировать картинки соответствующие дополнительному входному вектору класса.

Только здесь входной вектор класса — картинка, и общий loss — это GAN loss + L1.

В смысле "втыкают GAN" в контексте обсуждения loss'ов? Типа добавляют генератор и решают задачу на нахождение минимакса?
Ну да.

На высоком уровне все!

Какие у них интересные детали

• В отличие от классического подхода к GANs, генератору вообще не передается никакого шумового вектора.
  Все разнообразие только от того, что в сети есть dropout, и они его не выключают после тренировки.

• Архитектура сети — U-Net, достаточно новая архитектура для сегментации, у которой есть много skip connections от энкодера до декодера (вот короткое описание)

Вот картинка, которая показывает, что и GAN loss, и U-net помогают.
Здесь, кстати, хорошо видна изначальная проблема с использованием только L1 loss — даже мощная модель генерирует размытые пятна, чтобы минимизировать среднее отклонение.

• Они тренируют модель на патчах 70x70, а потом применяют на больших картинках через full convolution. Забавно, что 70x70 дает в среднем результаты лучше, чем делать сразу на всей картинке 256x256 целиком.

А где же кошечки!!!

После этого есть система, которую можно научить на произвольных входах и выходах, даже если они из совсем разных задач.
Из сегментации в фотографию, из дневной фотки в ночную, из черно-белой в цветную итд.

И вот последний пример — это из ребер в картинку. Ребра по картинке генерируются стандартным алгоритмом из computer vision.

Это означает, что можно просто взять набор картинок, прогнать edge detection, и вот на этих парах
натренировать. Можно и на кошечках:

И после этого модель может что-то сгенерировать для любых скетчей, которые рисуют люди.

(присылайте, кстати, что вам запомнилось)

Так был ликвидирован недостаток хлебообразных кошек у человечества!

В целом, эта работа — еще один пример того, как взлетают GANs начиная с прошлого года. Оказывается, что это очень мощный и гибкий инструмент, который выражает "хочу чтобы было неотличимо от настоящего, хоть и не знаю, что это конкретно значит" как цель оптимизации.
Надеюсь, кто-то напишет полный обзор остального, происходящего в области! Там все очень круто.

Спасибо за внимание.