Logiss.ru

Ваша компьютерная помощь
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Реставрация фото онлайн: 3 простых способа

Реставрация фото онлайн бесплатно. Как это работает

Появилось огромное количество сайтов, предлагающие бесплатные услуги реставрации, ретушировании, стилизации портрета и даже создания шаржа. Возможно, у нас устаревшая профессия и услуги дизайнеров, художников скоро не будут востребованы? В скором времени, все заменит машинное обучение и искусственный интеллект? Но у думающего человека возникают два вопроса: «За счет, каких средств живут данные сайты и с какой целью созданы?». Ведь «бесплатный сыр бывает только в мышеловке».

Проведём бесплатные тесты:

  • окрашивание черно-белых фотографий;
  • ретуширование фото;
  • реставрацию фотографий бессмертный Полк (mail.ru);
  • создание шаржей, карикатур, эффектов и т.д

Не будем рассматривать совсем простенькие программы, где подрисовывают усики, ушки или кошачий носик. Возможно, их тестируют на сайтах для детей. Lol

Окрашивание чёрно-белых фотографий

Colorize black and white photos – algorithmia. Посмотрим самый разрекламированный сайт в англоязычном интернете. Перевод с английского: « Американская компания Algorithmia использует передовые технологии «глубинного обучения» для окрашивания чёрно-белых изображений. «Algorithmia» создает чёрно-белые изображения в цветном варианте при помощи искусственного интеллекта, созданного командой учёных из Калифорнийского университета в Беркли во главе с докторантом Ричардом Чжаном. Очень круто! Все, наверное, слышали про знаменитого Доктора.
Загружаем несколько изображений в «американскую цифровую нейронную сеть». Для чистоты эксперимента снимки с разным разрешением. Вот что получилось: «первая фотография». Mamma Mia, Das ist fantastisch.

Тестируем обновлённую версию искусственного интеллекта 2020г. Разницы никакой, программа захватывает лица, что сегодня сделать, не сложно и создает вокруг них розовые пятна с нечеткими границами. Картина на заднем плане воспринимается, упрощённо, как небо, белое платье на плечах делает — декольте, а цветы не распознаёт никак. Не сильно подрос искусственный разум за два года.

Mail.Ru бесплатный онлайн-сервис реставрации фотографий

Mail.Ru Group новый проект, первый в России, запущен к 9 мая 2019г. Сервис предоставляет возможности отретушировать увядшие фотографии, восстановить поврежденные фрагменты, по желанию раскрасить черно-белые. Нужно лишь загрузить цифровую версию вашего снимка. Далее, есть возможность, прямо с сайта, переслать на страницу «Бессмертного полка» и распечатать перед шествием.

На удивление, новый отечественный сервис, показал лучшие результаты. Возможно, потому что цель благородная. Сегодня, искусственный интеллект не определил красную повязку на рукаве или цвет глаз, но кирпичную стену распознала правильно. Цвет формы защитного цвета. Да и цветовая гамма вполне приятная, с чёткими границами, в отличие от разрекламированных американских сервисов.

Автоматическая ретушь фото

  • отбеливание зубов;
  • удаление красных глаз;
  • прыщей;
  • простая ретушь кожи;

Современный снимок, обычно, более качественный, чем старинный фотокарточки и не требует от автоматических программ очень многого.

Принципы работы бесплатной ретуши. Аналог в Фотошоп это фильтр «размытие», с одинаковыми настройками на все случаи и на все разрешения. Он приглушает (размывает) поры, дефекты кожи, но не удаляет их полностью. Возможно, лицо выглядит более «гламурно», но так же, создает и побочные эффекты. Размывается, становится менее резким весь снимок, глаза, волосы, отдельные детали. А если, например, человек в черных очках или с бородой то работа программы становится непредсказуемой. Такие функции как «придать объем» или добавить резкости глаз на портрете, пока просто не созданы.

Шарж по фото онлайн бесплатно

Огромное количество сервисов, online caricature service. С помощью различных визуальных эффектов вы сможете создать свою собственную карикатуру, бесплатно. Всего за несколько кликов!
Протестируем нашу старую, добрую фото-жабу 2016 на старину, адмирала Джона Кёрби. Загрузим фотокарточку на несколько веб-сайтов и испробуем различные эффекты. Самое «интересное» что удалось получить из различных Спецэффектов (картинка 2). Возможно, где-то существуют безвозмездные сервисы и получше но нам о них, ни чего не известно.

В литературе карикатура — это описание человека, использующее преувеличение одних характеристик и упрощение других. Карикатура от итальянского «преувеличение». В визуальном выражении, её задача найти и выделить характерные черты лица персонажа, сделать его еще более похожим, на себя. Решить эту задачу простым увеличением головы или носа невозможно и тем более в автоматическом режиме.

Проверяем еще один модный сайт Cartoon.Pho.to, включаем, меняем разные параметры и настройки. В местах трансформирования, резкость пропадает на 60%. С художественной точки зрения рассматривать конечный результат не имеет смысла.

Платный или бесплатный сервис?

Главное преимущество бесплатного, не надо тратить деньги, можно сэкономить. Работа выполняется быстро, практически за минуту, не надо ждать несколько дней.
Из минусов, качество в основном ужасное, его никак не сравнить с профессиональной ретушью, сделанной вручную. Вам не ответят, не исправят ваши жалобы, пожелания, замечания.
И минимум в ближайшие 15-20 лет, как говорят специалисты, не будет создан искусственный интеллект. Интеллект типа «терминатор» само обучаемый, умеющий принимать самостоятельные решения. Платный и бесплатный сервис, можно было бы сравнить с лапшой «Доширак» и «Пастой» из дорогого итальянского ресторана авторской кухни. Вы не видите разницы? Замечательно, вы экономный и бережливый человек, каждый принимает решение самостоятельно.

Читайте так же:
Как улучшить камеру на телефоне Андроид

Автоматические улучшения, ручная коррекция фотографии или картинки онлайн

Выберите улучшение, нажав на ссылку с его названием, после этого будет показана страница, где нужно указать фото для обработки, а также изменить дополнительные настройки для достижения наилучшего результата.

Авто контраст
Автоматическое добавление контрастности изображению
Картинка с низким уровнем контрастности Автоматически улучшенная картинка, после применения авто контраста
Осветлить фото
Осветление тёмной фотографии
Тёмная фотография цветкаОсветлённая фотография розового цветка
Ретуширование фотографии
Автоматическое ретуширование портретной фотографии с регулировкой интенсивности
Фото до ретуширования Фото после ретуширования
Авто обогащение
Автоматическое повышение детализации фотографии
Красный тюльпан крупным планом Фотография тюльпана с повышенной детализацией
Автоматический цветовой баланс
Автоматическое улучшение цветового баланса фотографии с ручной гамма-коррекцией
Фотография с неправильным балансом цвета Фотография с автоматически улучшенным балансом цвета Автоматический баланс цвета с руной гамма-коррекцией фото
Ручной цветовой баланс
Изменение или коррекция цветового баланса фотографии
Оригинальная фотография розы Фото с изменённым балансом цвета, добавлен жёлтый цвет Изменённый баланс цвета, добавлен синий цвет
Фото с неправильным балансом цвета, слишком много синего Фото после автоматического улучшения баланса цвета Пример автоматического баланса цвета с ручной коррекцией баланса цветов
Температура цвета
Регулировка температуры цвета или баланса белого
Фото аквариумных рыб с неправильной температурой цвета Фото с автоматически улучшенной температурой цвета
Фотография с неправильной температурой цветой Фото после автоматической коррекции температуры цвета Автоматическое улучшение цветового баланса с ручной коррекцией температуры цвета
Авто уровни
Пример авто уровней, оригинальная и автоматически обработанная фотография
Оригинальная, не обработанная, тёмная фотография, разноцветные прищепки на снегу Автоматически улучшенная фотография после применения авто уровней
Автоматическая гамма-коррекция
Пример автоматической гамма-коррекции
Оригинальная фотография без обработки Пример автоматической коррекции гаммы изображения
Ручное изменение яркости и контрастности
Brightness — яркость, Contrast — контраст
Оригинальная картинка, которая требует коррекции Результат повышения уровня яркости и контрастности вручную
Насыщенность цвета, светимость и тон
Изменение насыщенности цвета, светимости и тона, аналог «Hue Saturation Luminance» в Фотошопе
Яркая фотография с повышенной насыщенностью Картинка со светимостью 25 Картинка с изменённой тональностью цвета
Повернуть фото на любой угол
Поворот изображения на 45, 90, 180 градусов или на любой другой угол, с учётом и коррекцией встроенной exif-информации
Картинка повёрнута на 5 градусов по часовой стрелке Повёрнутая картинка на 25 градусов против часовой стрелки Изображение, повёрнутое на 90 градусов по часовой стрелке
Добавить резкости
Сделать картинку "чёткой", регулируемое добавление резкости и нарезная маска онлайн
Размытая фотография до обработки Улучшенная размытая фотография, после повышения резкости и применения нарезной маски
Увеличить фотографию
Продвинутый алгоритм увеличения изображения в 2, 4, 8 и 16 раз
Маленькая фотография куста красных роз Увеличенная фотография в два раза
Улучшить отсканированный текст
Автоматическое улучшение отсканированного или сфотографированного текста с опциональной возможностью сразу исправить лёгкий перекос страницы, добавить резкость и контрастность тексту
Текст из книги, сфотографированный мобильным телефоном со вспышкой Автоматически улучшенный сфотографированный текст из книги
Shadow/Highlight
Тени и свет онлайн, осветление тёмных участков и затемнение светлых с коррекцией насыщенности цветов и контрастности средних тонов, почти как в Фотошопе
Грибы на дереве Фото грибов на дереве с обработкой Shadow/Highlight
Шумопонижение
Автоматическое понижение шума на фотографии
Фото до шумопонижения Фото после шумопонижения
Устранить JPEG артефакты
Устранение jpeg артефактов, пикселизации и лёгких шумов после сильного сжатия
alt=»Пример сильно сжатой jpg картинки с видимой пикселизацией и артефактами» width=»300″ height=»199″ /> alt=»Фото после удаления jpeg артефактов и пикселизации» width=»300″ height=»199″ />
Нормализация
Автоматическое добавление контраста, насыщенности цветов и лёгкое осветление фотографии
Оригинальная фотография розы Фото после нормализации
Улучшить подводное фото
Коррекция фотографии, сделанной под водой в море
Фото под водой Учучшенное фото под водой
Негатив в позитив
Качественное преобразование негатива плёночной или обычной фотографии в позитив онлайн
Фото негатив, плёночный снимок Фото позитив на основе негатива Фото позитив из негатива, с авто уровнями

Как восстановить старые фотографии в фотошопе: ретушь и цветокоррекция

5.0 Оценок: 2 (Ваша: )

Чтобы оцифровать домашний фотоархив, недостаточно просто отсканировать фотографии. После перевода в цифровой формат снимки часто теряют четкость или становятся шумными, поэтому файл нужно дополнительно обработать в фоторедакторе. Профессиональная реставрация фотографий чаще всего проводится в Photoshop, но этот способ имеет слишком много нюансов. Поэтому мы также подробно расскажем о более простых вариантах, которые доступны даже для новичков.

Восстановление фото в программе ФотоВИНТАЖ

Сначала поговорим о том, как можно восстановить старую фотокарточку, если вы не имеете опыта работы с профессиональными фоторедакторами. Существует ряд приложений для начинающих ретушеров, которые помогают автоматизировать процесс.

ФотоВИНТАЖ — одна из таких программ. Софт включает в себя элементы AI, которые распознают дефекты снимка и исправляют их в автоматическом режиме. Всю работу по реставрации фото можно поделить на несколько этапов:

Установка программы

Скачайте инсталлятор фоторедактора и отыщите его в папке «Загрузки». Установка запускается двойным кликом мыши по файлу. После окончания инсталляции запустите программу и загрузите испорченный снимок, нажав на кнопку «Открыть фото».

Скачайте ФотоВИНТАЖ прямо сейчас:

Исправление контраста

Обработка старых фото начинается с исправления выцветших красок. Чтобы сделать ярче поблекшие фотографии, настройте в правой колонке параметры контраста, теней, засветок. Также исправить блеклое фото можно при помощи автоматического улучшения. Для этого поставьте галочку в пункте «Автокоррекция» — «Цвет».

Как восстановить старые фотографии в фотошопе: ретушь и цветокоррекция

В ФотоВИНТАЖе можно дополнительно настроить насыщенность, четкость и другие параметры фотографии

Обрезка и поворот

Если вокруг фото образовалась белая рамка или оно сдвинулось при сканировании и в итоге получилось неровным, это исправляется в разделе «Инструменты». Выберите функцию «Кадрирование» и обрежьте ненужные края. При помощи шкалы «Поворот» можно исправить скошенные в сторону фотоснимки.

Обрезка фотографии

Кадрирование старого фотоснимка

Удаление заломов и дефектов

На фото присутствуют царапины, в том числе крупная трещина пересекает лицо, а по краям находится сетка мелких заломов и сколы. Для начала избавимся от небольших дефектов. Поможет в этом восстанавливающая кисть из раздела «Ретушь».

Настройте размер кисти и проведите курсором по небольшим царапинам. Для более удобной работы увеличьте масштаб, кликая по кнопке с лупой в правом нижнем углу.

Читайте так же:
Не загружается Windows XP причины и решение

Удаление повреждений

Удаление повреждений с фотографии

Теперь постараемся заполнить сколы по краям и скрыть сетку царапин. Для этого воспользуемся инструментом «Штамп». Он также находится среди функций ретуширования. Обрисуйте поврежденное место – рядом с ним появится его «клон». Захватите появившийся объект и перетащите на то место, которое хотите продублировать. Обработайте таким образом все крупные дефекты на изображении.

Сколы

Восстановление краев снимка и корректировка царапин

Повышение четкости деталей

Размытая картинка – еще одна частая проблема при оцифровке винтажных карточек. Чтобы сделать изображение более четким, вернитесь в раздел «Улучшения». В колонке параметров найдите пункт «Четкость» и установите нужное значение. Изменения отображаются сразу же, так что вам не придется работать наугад.

Повышение четкости

Добавление четкости для оцифрованного фото

Устранение шумов

После сканирования небольшого изображения на снимке часто появляется цифровой шум. Так происходит оттого, что небольшая картинка становится более крупной. Избавиться от этого легко: во вкладке «Инструменты» воспользуйтесь функцией «Устранение шума на фото» и выберите его интенсивность.

Устранение шумов

Устранение цифрового шума

Продвигайте слайдер, отслеживая, как изменяется качество изображения. Не ставьте слишком высокое значение – от этого картинка будет выглядеть «замыленной».

Превращение черно-белого фото в цветное

Хотите узнать, как смотрелась бы фотография, если бы была снята на цветную пленку? Просто воспользуйтесь автоматической колоризацией в разделе «Улучшения». Нажмите кнопку «Сделать черно-белое цветным» и подождите, пока софт обработает снимок.

Добавление цвета

Улучшение снимка колоризацией

Программа автоматически рассчитает цветовую палитру, основываясь на оттенках оригинальной фотографии. Придание черно-белому снимку цвета и дальнейшую корректировку оттенков также можно провести вручную в разделе «Инструменты».

Применение фотоэффеков

Если вы раскрасили черно-белое старое фото для ретуши или работаете с цветным кадром, художественные эффекты – отличный способ скрыть некоторые недостатки и придать работе законченный вид. Готовые пресеты находятся в соответствующем разделе. Этот прием поможет скрыть факт, что фото раскрашено вручную и придаст «налет времени» без ухудшения качества фотокарточки.

Эффекты

Применение фотоэффектов и фильтров

Сохранение результата на компьютере

Поздравляем – вы восстановили старинную фотографию! Сохраните изображение на жесткий диск через меню «Файл» — «Сохранить». Если вы собираетесь печатать картинку или загружать в интернет, можно воспользоваться функцией «Изменить размер и сохранить» — эта опция подбирает оптимальные параметры сжатия для любых задач.

Восстановите старые фотоснимки!
Скачайте ФотоВИНТАЖ:

Реставрация старых фото в Фотошопе

Как видите, предыдущий вариант отлично подходит для начинающих, так как все действия в программе ФотоВИНТАЖ наполовину автоматизированы. Что касается Photoshop, то он рассчитан на профессиональных ретушеров, поэтому все этапы фотореставрации придется выполнять вручную. В идеале профессиональное восстановление старых фотографий в фотошопе состоит из:

  • Кадрирования – обрезка ненужных участков по краям;
  • Удаления мелких дефектов восстанавливающей кистью или штампом;
  • Наложения маски четкости;
  • Разложения фото на цветовые каналы и наложения маски шума;
  • Работы с кривыми и уровнями для придания насыщенности поблекшим кадрам;
  • Тонирования снимка;
  • Работы со слоями и их объединения.

Так как профессиональный разбор обработки в PS состоит из слишком многих шагов, мы рассмотрим самый быстрый способ восстановления фото. Он подойдет для реставрации изображений с небольшим уровнем повреждения.

Шаг 1. Загрузите фотографию в Фотошоп проведите кадрирование. Для свободной обрезки в левой колонке выберите инструмент «Кадрирование перспективы». Начертите на снимке область для сохранения и кликните галочку в верхней панели управления.

Фотошоп

Кадрирование фотографии в Photoshop

Шаг 2. Выберите инструмент «Точечная восстанавливающая кисть». В верхней панели параметров отрегулируйте размер и установите режим работы «С учетом содержимого». Зарисуйте царапины и заломы на поврежденном снимке.

Точечная восстанавливающая кисть

Инструмент «Точечная восстанавливающая кисть» в Photoshop

Шаг 3. Сделайте фото более контрастным и четким. Для этого щелкните по круглой черно-белой иконке под списоком слоев и выберите «Уровни». Появится окошко с настройками. Сдвигайте крайние маркеры к середине, добиваясь нужного эффекта.

Уровни и четкость

Настройка четкости фотографии с помощью Photoshop

Шаг 4. Выделите главный слой. Раскройте пункт меню «Фильтр» и найдите «Шум», затем «Уменьшить шум». Подбирайте настройки, ориентируясь на окно предпросмотра.

Уменьшение шума

Уменьшение шумности фотоснимка

Шаг 5. Сохраните картинку на компьютер, кликнув «Файл» — «Экспортировать как. ». Установите формат выходного изображения и качество и кликните «Экспорт».

Сохранение

Экспортирование готового результата

Рассмотренная нами реставрация фото в Фотошопе обошлась без колоризации, так как при этом нужно настраивать прозрачность кисти, подбирать вручную оттенки и прочее. На самом деле эта программа может справиться даже с самыми тяжелыми повреждениями снимка, но на освоение придется потратить много времени.

Читайте так же:
Программы для работы с дисками

Как сделать ретушь фото онлайн

Реставрацию можно сделать не только на компьютере – в интернете имеются ресурсы, которые помогают сделать это в режиме онлайн без установки программ и на планшете. Для этого используются так называемые нейросети – сайты с встроенными элементами искусственного интеллекта, как в программе ФотоВИНТАЖ.

Hotpot.ai

Hotpot.ai автоматически удаляет царапины, корректирует цветовой баланс и четкость снимка. Восстановление старой фотографии проводится в три этапа: пользователь загружает файл на сайт, сервис запускает автоматический анализ, после чего исправленное фото становится доступно для скачивания. Возможна работа с цветными и черно-белыми снимками, но в большинстве случаев готовый результат нужно дополнительно обрабатывать и корректировать вручную.

Hotpot.ai

Colorize

Англоязычный сайт Colorize позволяет раскрашивать снимки, исправлять дефекты на винтажных карточках, повышать четкость и резкость, проводить ретушь. Колоризацию и исправление можно проводить бесплатно, но при этом действует лимит на 8 фотографий. Сервис работает в автоматическом режиме, что удобно для новичков, но это полностью исключает какой-либо контроль над результатом, а удаление дефектов чаще всего проводится путем размытия проблемных участков.

Colorize

Компьютерное зрение от Mail.ru

Единственный русскоязычный сервис в нашей подборке – совместный проект Mail.ru и движения «Бессмертный полк». Пользователю достаточно загрузить снимок, и сайт автоматически отыщет дефекты, уберет их и восстановит цвета. Также возможна автоматическое раскрашивание черно-белых фотографий. Готовую карточку можно скачать на компьютер, отправить на почту или загрузить в онлайн-галерею. Минус состоит в том, что пользователь не сможет обработать фотографию, если система не распознает дефекты, так как инструментов редактирования на сайте нет.

Mail.ru

Компьютерное зрение от Mail.ru

Заключение

Итак, мы рассказали, как проводится реставрация старых фото в Фотошопе и как справиться с восстановлением снимков новичку. Если вы не хотите тратить на освоение сложного софта несколько дней или вас отпугивает высокая цена Photoshop, советуем остановить выбор на программе ФотоВИНТАЖ. Она предлагает автоматические функции и ручные настройки, что позволяет держать под контролем результат.

Помимо восстановления, приложение предлагает набор фильтров, позволяет добавлять текст, обрабатывать отдельные участки и проводить продвинутую цветокоррекцию. Софт полностью адаптирован под начинающих пользователей, а скромные системные требования и небольшая нагрузка на процессор подходят для работы на любых ПК.

Реставрируем фотографии с помощью нейросетей

Всем привет, я работаю программистом-исследователем в команде компьютерного зрения Mail.ru Group. Ко Дню Победы в этом году мы решили сделать проект по реставрации военных фотографий. Что такое реставрация фотографий? Она состоит из трех этапов:

  • находим все дефекты изображения: надломы, потертости, дырки;
  • закрашиваем найденные дефекты, основываясь на значениях пикселей вокруг них;
  • раскрашиваем изображение.

Поиск дефектов

Мы хотим найти все пиксели, относящиеся к дефектам на загруженной фотографии. Для начала нам нужно понять, какие фотографии военных лет будут загружать люди. Мы обратились к организаторам проекта «Бессмертный полк», которые поделились с нами данными. Проанализировав их, мы заметили, что люди зачастую загружают портреты, одиночные или групповые, на которых есть умеренное или большое количество дефектов.

Затем нужно было собрать обучающую выборку. Обучающая выборка для задачи сегментации — это изображение и маска, на которой отмечены все дефекты. Самый простой способ — отдать фотографии в разметку ассесорам. Конечно, люди умеют хорошо находить дефекты, но проблема в том, что разметка — это очень долгий процесс.

На разметку пикселей, относящихся к дефектам на одной фотографии, может уходить от одного часа до целого рабочего дня, поэтому за несколько недель сложно собрать выборку больше чем из 100 фотографий. Поэтому мы старались как-то дополнять наши данные и писали дефекты самостоятельно: брали чистую фотографию, наносили на нее искусственные дефекты и получали маску, показывающую нам, на какие именно части изображения нанесены дефекты. Главной частью нашей обучающей выборки стали 79 фотографий, размеченные вручную, из них 11 штук мы перенесли в тестовую выборку.

Самый популярный подход для задачи сегментации: взять Unet с предобученным энкодером и минимизировать сумму (binary cross-entropy) и (Sørensen–Dice coefficient).

Какие проблемы возникают при таком подходе в задаче сегментации дефектов?

  • Даже если нам кажется, что дефектов на фотографии очень много, что она очень грязная и сильно потрёпана временем, всё равно площадь, занимаемая дефектами, гораздо меньше неповреждённой части изображения. Чтобы решить эту проблему, можно увеличить вес положительного класса в , и оптимальным весом будет отношение количества всех чистых пикселей к количеству пикселей, принадлежащих к дефектам.
  • Вторая проблема в том, что если мы используем Unet из коробки с предобученным энкодером, например Albunet-18, то теряем много позиционной информации. Первый слой Albunet-18 состоит из свертки с ядром 5 и stride равным двум. Это позволяет сети быстро работать. Мы пожертвовали временем работы сети ради лучшей локализации дефектов: убрали max pooling после первого слоя, уменьшили stride до 1 и уменьшили ядро свёртки до 3.
  • Если мы будем работать с маленькими изображениями, например, сжимая картинку до 256 х 256 или 512 х 512, то маленькие дефекты будут просто пропадать из-за интерполяции. Поэтому нужно работать с большой картинкой. Сейчас в production мы сегментируем дефекты на фотографии 1024 х 1024. Поэтому необходимо было обучать нейросеть на больших кропах больших изображений. А из-за этого возникают проблемы с маленьким размером батча на одной видеокарте.
  • Во время обучения у нас на одну карточку помещается около 20 картинок. Из-за этого оценка среднего и дисперсии в BatchNorm-слоях получается неточной. Решить эту проблему нам помогает In-place BatchNorm, который, во-первых, экономит память, а во-вторых, у него есть версия Synchronized BatchNorm, которая синхронизирует статистики между всеми карточками. Теперь мы считаем среднее и дисперсию не по 20 картинкам на одной карточке, а по 80 картинкам с 4 карточек. Это улучшает сходимость сети.
Читайте так же:
Не обновляются приложения в Play Market

В результате наша сеть сошлась на четырёх GeForce 1080Ti за 18 часов. Inference занимает 290 мс. Получается достаточно долго, но это плата за то, что мы хорошо ищем небольшие дефекты. Валидационный равен 0,35, а — 0,93.

Реставрация фрагментов

Решить эту задачу нам снова помог Unet. На вход ему мы подавали исходное изображение и маску, на которой единицами отмечаем чистые пространства, а нолями — те пиксели, которые хотим закрасить. Данные мы собирали следующим образом: брали из интернета большой датасет с картинками, например OpenImagesV4, и искусственно добавляли дефекты, которые похожи по форме на те, что встречаются в реальной жизни. И после этого обучали сеть восстанавливать недостающие части.

Как мы можем модицифировать Unet для этой задачи?

Можно использовать вместо обычной свёртки частичную (Partial Convolution). Её идея в том, что при сворачивании региона картинки с каким-то ядром мы не учитываем значения пикселей, относящихся к дефектам. Это помогает сделать закрашивание точнее. Пример из статьи NVIDIA. На центральной картинке они использовали Unet с обычной свёрткой, а на правой — с Partial Convolution:

Мы обучали сеть 5 дней. В последний день мы замораживали BatchNorm, это помогло сделать границы закрашиваемой части изображения менее заметными.

Картинку 512 х 512 сеть обрабатывает за 50 мс. Валидационный PSNR равен 26,4. Однако в этой задаче нельзя безоговорочно доверять метрикам. Поэтому мы сначала прогнали на наших данных несколько хороших моделей, анонимизировали результаты, а потом проголосовали за те, что нам больше понравились. Так мы и выбрали финальную модель.

Я упоминал, что мы искусственно добавляли дефекты в чистые изображения. При обучении нужно очень внимательно следить за максимальным размером накладываемых дефектов, потому что при очень больших дефектах, которые сеть никогда не видела в процессе обучения, она будет дико фантазировать и давать абсолютно неприменимый результат. Так что, если вам нужно закрашивать большие дефекты, при обучении тоже подавайте большие дефекты.

Вот пример работы алгоритма:

Раскрашивание

Мы сегментировали дефекты и закрасили их, третий шаг — реконструкция цвета. Напомню, что среди фотографий «Бессмертного полка» очень много одиночных или групповых портретов. И мы хотели, чтобы наша сеть хорошо с ними работала. Мы решили сделать свою колоризацию, потому что ни один из известных нам сервисов не раскрашивает портреты быстро и хорошо.

На GitHub есть популярный репозиторий для раскрашивания фотографий. В среднем, он хорошо делает эту работу, но у него есть несколько проблем. Например, он очень любит раскрашивать одежду в синий цвет. Поэтому его мы тоже отвергли.

Итак, мы решили сделать нейросеть для колоризации. Самая очевидная идея: брать чёрно-белое изображение и предсказывать три канала, красный, зелёный и синий. Но, вообще говоря, мы можем упростить себе работу. Можем работать не с RGB-представлением цвета, а с YCbCr-представлением. Компонента Y — это яркость (luma). Загружаемое черно-белое изображение и есть Y канал, мы будем его переиспользовать. Оставалось спрогнозировать Cb и Cr: Cb — это разница голубого цвета и яркости, а Cr — это разница красного цвета и яркости.

Почему мы выбрали YCbCr-представление? Глаз человека более восприимчив к перепадам яркости, чем к изменениям цвета. Поэтому мы переиспользуем Y-компоненту (яркость), то, к чему глаз изначально хорошо восприимчив, и прогнозируем Cb и Cr, в которых мы можем чуть больше ошибаться, поскольку «фальш» в цветах человек замечает меньше. Этой особенностью начали активно пользоваться на заре цветного телевидения, когда пропускной способности канала не хватало, чтобы передавать все цвета полностью. Изображение передавали в YCbCr, передавали Y-компоненту без изменений, а Cb и Cr сжимали в два раза.

Читайте так же:
Привязки в Автокад

Как собрать baseline

Можно снова взять Unet с предобученным энкодером и минимизировать L1 Loss между настоящим CbCr и прогнозируемым. Мы хотим раскрашивать портреты, поэтому кроме фотографий из OpenImages нам нужно добавить специфические для нашей задачи фотографии.

Где взять цветные фотографии людей в военной форме? В интернете есть люди, которые в качестве хобби или на заказ раскрашивают старые фотографии. Они это делают крайне аккуратно, стараясь полностью соблюсти все нюансы. Раскрашивая форму, погоны, медали они обращаются к архивным материалам, поэтому результату их работы можно доверять. В общей сложности мы использовали 200 фотографий, раскрашенных вручную. Второй полезный источник данных — это сайт Рабоче-Крестьянской Красной Армии. Один из его создателей сфотографировался практически во всех возможных вариантах военной формы времен Великой Отечественной войны.

На некоторых фотографиях он повторял позы людей с знаменитых архивных фотографий. Особенно хорошо, что он снимался на белом фоне, это позволило нам очень хорошо аугментировать данные, добавляя разные природные объекты на задний план. Также мы использовали обычные современные портреты людей, дополняя их знаками различия и прочими атрибутами одежды военного времени.

Мы обучили AlbuNet-50 — это Unet, в котором в качестве энкодера используется AlbuNet-50. Сеть начала давать адекватные результаты: кожа розовая, глаза серо-голубые, погоны желтоватого цвета. Но проблема в том, что она раскрашивала картинки пятнами. Это связано с тем, что с точки зрения L1-ошибки иногда бывает выгоднее не делать ничего, чем пытаться предсказывать какой-то цвет.


Мы сравнением наш результат с фотографией Ground Truth — ручной колоризацией художника под ником Klimbim

Как решить эту проблему? Нам нужен дискриминатор: нейронная сеть, которой мы на вход будем подавать изображения, и она будет говорить, насколько реалистично это изображение выглядит. Ниже одна фотография раскрашена вручную, а вторая — нейросетью. Как вы думаете, какая?

В качестве дискриминатора мы используем дискриминатор из статьи Self-Attention GAN. Это небольшая свёрточная сеть, в последние слои которой встроен так называемый Self-Attention. Он позволяет больше «обращать внимание» на детали изображения. Также мы используем спектральную нормализацию. Точное объяснение и мотивацию можно найти в статье. Мы обучили сеть с комбинацией L1-loss и ошибки, возвращаемой дискриминатором. Теперь сеть лучше раскрашивает детали изображения, а фон получется более консистентным. Еще один пример: слева результат работы сети, обученной только с L1-loss, справа — с L1-loss и ошибкой дискриминатора.

На четырёх Geforce 1080Ti обучение заняло два дня. Сеть отрабатывала за 30 мс на картинке 512 х 512. Валидационная MSE — 34,4. Как и в задаче inpainting, метрикам можно верить не до конца. Поэтому мы отобрали 6 моделей, которые имели лучшие метрики на валидации, и вслепую голосовали за лучшую модель.

После выкатки модели в production мы продолжили эксперименты и пришли к выводу, что лучше минимизировать не попиксельный L1-loss, а perceptual loss. Чтобы его посчитать, нужно прогнать предсказание сети и исходную фотографию через cеть VGG-16, взять карты признаков на нижних слоях и сравнить их по MSE. Такой подход закрашивает больше областей и помогает получить более красочную картинку.

Выводы и заключение

Unet — это классная модель. В первой задаче сегментации мы столкнулись с проблемой при обучении и работе с картинками большого разрешения, поэтому используем In-Place BatchNorm. Во второй задаче (Inpainting) вместо обычной свёртки мы использовали Partial Convolution, это помогло достичь лучших результатов. В задаче колоризации к Unet мы добавили небольшую сеть-дискриминатор, которая штрафовала генератор за нереалистично выглядящее изображение и использовали perceptual loss.

Второй вывод — ассесоры важны. Причем не только на стадии разметки картинок перед обучением, но и для валидации итогового результата, потому что в задачах закрашивания дефектов или колоризации всё равно нужно валидировать результат с помощью человека. Мы отдаем пользователю три фотографии: исходную с удаленными дефектами, колоризованную с удаленными дефектами и просто колоризованную фотографию на случай, если алгоритм поиска и закрашивания дефектов ошибся.

Мы взяли некоторые фотографии проекта «Военный альбом» и обработали их нашими нейросетями. Вот такие результаты получили:

А здесь можно посмотреть их в оригинальном разрешении и на каждом этапе обработки.

Ссылка на основную публикацию
Adblock
detector