marks Apr 4 2016 at 11:56

Нейронные сети научились окрашивать черно-белые фото

2 min

38K

Popular scienceArtificial Intelligence

+18

Comments 69

UFO just landed and posted this here

toteKopf Apr 4 2016 at 13:39

не понимаю за что минусы, Штирлиц в цвете давнишняя мечта…

UFO just landed and posted this here

roboter Apr 4 2016 at 14:25

читал новость, и сразу в голову пришла мысль прогнать Штирлица!

Halt Apr 4 2016 at 14:51

Мне вот было бы интересно посмотреть на цветного Чарли Чаплина :)

Ra-Jah Apr 4 2016 at 15:07

Да, но только если это будет очень качественная работа. Плохую раскраску я никогда не променяют на исходный Ч\Б материал. Сейчас уже приходится тратить время на поиски оригинала в черно-белом варианте, потому что все переиздания цветные и цвета эти фальшивые. Раньше, в молодости, это возбуждало воображение, например, как же режиссер видел картину в цвете, но потом я быстро понял, что моя фантазия делала гораздо больше. ИМХО, конечно.

l_e_v Apr 5 2016 at 00:05

как же режиссер видел картину в цвете
для получения естественных изображений человеческих лиц в начальную эпоху кинематографа, когда киноплёнка не имела приемлемой чувствительности в красной области, порой применялся специальный грим, например, голубая помада для губ. Декорации же для такой съёмки не раскрашивались в сколько-нибудь реальные цвета. (ru.wikipedia.org/wiki/Сенсибилизация_(фото))

olegkrasnov Apr 4 2016 at 20:20

Главное чтобы не получилось как на КДПВ :)

mlg Apr 4 2016 at 20:05

Просто оставлю здесь: Цветной Штирлиц

watashiwaale Apr 5 2016 at 13:54

Так и есть: richzhang.github.io/colorization/resources/bot_0_index.html

tormozedison Apr 5 2016 at 06:51

Ну как ту не вспомнить анекдот:

Эта жёлтая машина — Стелькина, а Стелькин — взяточник.
Жёлтая? В прямом смысле, или фигурально?
Увы, в прямом.
Ну вот, Штирлица им мало — эти маляры и к нам добрались!

Dolbe Apr 4 2016 at 13:42

Интересно, насколько близко к оригиналу будут окрашены черно-белые снимки, изначально полученные из цветных…

calx Apr 4 2016 at 14:28

Скорее всего, все использованные черно-белые снимки получены из цветных.

facepalmLite Apr 4 2016 at 14:38

В оригинальной статье есть несколько примеров известных, изначально чёрно-белых фотографий раскрашенных этой нейросетью.

calx Apr 4 2016 at 14:40

Но при обучении-то всё равно использовались изначально цветные, иначе какой смысл...

Vjatcheslav3345 Apr 4 2016 at 13:42

У меня не получилось нормально окрасить фотографию Алисы Лидделл из Википедии.

aydahar Apr 4 2016 at 13:43

Блин, классно же!
Где-нибудь есть готовый сервис/программа куда можно загружать фото?

FError Apr 4 2016 at 14:11

А в чем "классность"?
То что алгоритм работает и это круто или реально очень полезное применение, можно будет фото бабушки расцветить и как бы будет цветное фото (только зачем?).
Или в дальнейшем можно будет передавать скажем ч/б изображение в некоторых случаях и на принимающей стороне раскрашивать для экономии канала? Но для того другие алгоритмы применимее наверное?
В чем все же практическое применение?

-4

Anarions Apr 4 2016 at 14:27

Я кроме раскраски старых фото\видео придумать не могу, но это не означает что применения не найдётся.

Logonoff Apr 4 2016 at 14:51

Используя этот алгоритм можно повысить качество съемки в темноте,

napa3um Apr 5 2016 at 13:54

А потом и без видеокамеры.

DrZlodberg Apr 4 2016 at 16:05

Кстати да, если она может почти идеально восстанавливать цвет на изначально чб-изображениях, то не сможет ли она восстанавливать его абсолютно идеально, если туда изначально добавить какой-то минимум информации о цвете и сжимать только чб-часть?
А ещё не получится ли с помощью неё избавиться от матрицы Байера в фотоаппарате и использовать его полное разрешение?
Добавить только какую-нибудь матрицу низкого разрешения, которая даёт общее представление о цвете и восстанавливать остальное по хайрезу.

Sadler Apr 4 2016 at 17:23

А ещё вдобавок корректно очертить границы объектов с указанием семантики, чтобы алгоритму не приходилось прикидывать, что он видит и какого это цвета. Тогда должно получиться весьма качественно

gene4000 Apr 4 2016 at 17:29

Уже — Sigma DP Quattro

Alexey2005 Apr 5 2016 at 00:38

Ну вот вам пример практического применения. Берём практически любой современный фильм. Думаю, многие заметили, что 95% того, что сейчас снимается, на самом деле чёрно-белое и лишь немного подсинивается или желтится ползунком Hue.
И раскрашиваем! А если ещё разработают нейросеть для восстановления фона в тех случаях, когда 99% действия происходит чёрной-чёрной ночью в тёмном-тёмном подземелье, из-за чего на всём кадре видны лишь лица и факелы, то это будет прямо-таки возрождение кинематографа, который сейчас просто поражает редкостным нежеланием работать со светом и цветом.

Demonos Apr 4 2016 at 15:18

Ради интереса скормил программе пару фоток Лондона викторианской эпохи. Результат получился довольно забавным. Похоже на коллажи, которые время от времени выкладывают на steampunker.
/>

Demonos Apr 4 2016 at 15:24

Что-то не срослось. Как-то вот:
https://habrastorage.org/files/676/500/b61/676500b61cf74a0fa1545d544e63497f.jpg

Ra-Jah Apr 4 2016 at 15:30

Это вы через Deep Dream прогнали, а надо через https://richzhang.github.io/colorization/

Sadler Apr 4 2016 at 15:36

del

Demonos Apr 4 2016 at 16:04

Чарли Чаплин там, кстати, присутствует
https://m.youtube.com/watch?v=_MJU8VK2PI4

Camel Apr 4 2016 at 16:04

плюс эти алгоритмы прорабатывают множество схожих фото, чтобы получить информацию о точном цвете нужных объектов.
Далеко не всегда существуют эти самые «схожие фото». Например фотографию меня в шапке, которую связала моя мама, не получится правильно раскрасить, потому что шапка существует в единственном экземпляре, цветных фотографий не существует. Но всё равно очень круто. Можно подсунуть в качестве образца фотографию шапки любого цвета и получить желаемый результат.

Ra-Jah Apr 4 2016 at 16:14

«Еще раз про цвет из чб» — http://tema.livejournal.com/2129837.html

Camel Apr 4 2016 at 17:31

В цитате написано что-то похожее на правду, но если перейти на статью про фотографию в комбинезоне: "единственные несколько сине-зеленых пикселей я нашел на комбинезоне." Что это за бред написан? Почему именно сине-зелёные пиксели? Почему не красно-розовые, светло-коричневые, голубые, фиолетовые? Если я предоставлю тем людям чёрно-белую фотографию незнакомого (и им, и нейросети) объекта, то как они определят какие пиксели сине-зелёные, а какие нет? Никак.
Раскрасить правдоподобно можно, достоверно — не всегда.

Ra-Jah Apr 5 2016 at 08:27

Я не совсем это имел ввиду, mia culpa. В комментариях есть неоднократное утверждение, о том что восстановить никак нельзя, кроме как логическими рассуждениями. Иными словами, если ваша мама специально выбирала необычные цвета, раскрасить достоверно нет никаких шансов. Но возможно о цветах можно догадаться по другим предметам. Перебрать базу похожих шапок, может даже базу тканей или фасонов.

Sadler Apr 4 2016 at 17:29

Если следовать Вашей логике, то никого нельзя раскрасить, т.к. двух одинаковых людей не существует, даже если они близнецы. Задача программы — не найти именно те цвета, которые были в оригинале, а заставить зрителя поверить, что цвета на выходе алгоритма истинные.

Camel Apr 4 2016 at 17:39

Вы неверно трактуете мою логику. Люди все более или менее похожи. У всех, скажем так, коренных европейцев цвет кожи розово-коричневый. И вот цвета вязанных шапочек самые разнообразные. Если шапочка выпускалась серийно, но можно найти похожее изображение в материалах по которым обучалась нейросеть. Грубо говоря логика такая: "Так, это похоже на спортивную шапочку Adidas из коллекции 1988 года, они были чёрные, белые, тёмно-синие и розовые. По насыщенности оттенка эта больше всего похожа на тёмно синюю — красим всю шапку в тёмно-синий." Но если шапка изготовлена в единственном экземпляре, если нет её цветных фотографий, то любая догадка о её цвете не может считаться более верной чем любая другая. Шапка с одинаковым успехом может быть как розовой, так и голубой.
И дело не только в шапках. Если у вас есть ч.б. фотография с красочного театрального представления, карнавала или ещё чего-то подобного, то вы не знаете в какие точно цвета всё раскрашивать, если только у вас нет дополнительных описаний от очевидцев.

Sadler Apr 4 2016 at 18:05

Перечитайте мой предыдущий ответ. Как я уже сказал, сети абсолютно наплевать, Adidas это или что-то ещё. Нет там никакой БД, в которой ищется Adidas 1988 года. Круто уже, если она может понять, что это просто шапка, а шапки обычно цвета N, а полосатые шапки — цвета N в полоску K. Нет задачи получить тот же набор цветов, потому все Ваши умозаключения относительно знания точного цвета не имеют смысла.

Camel Apr 5 2016 at 13:34

Ещё раз:
раскрасить правдоподобно можно, достоверно — не всегда.
Вы пытаетесь убедить меня ровно в том же в чём я убеждаю вас. "Нет задачи получить тот же набор цветов" равносильно "раскрасить правдоподобно, без гарантии достоверности".

Sadler Apr 5 2016 at 15:52

ОК, согласен. В любом случае, надо мне будет почитать о топологии этого дела. Интересно было бы собрать что-то в таком роде самостоятельно.

ScoutUa Apr 4 2016 at 17:37

Наконец то заветная кнопка заказчика «сделать красиво» будет скоро доступна :D

Alexey2005 Apr 5 2016 at 00:43

Боюсь, спроса на такую кнопку не будет. Народу нужна совсем другая кнопка — "сделать редкостный вырвиглазный шлак, от которого заказчик будет просто в диком восторге".

ScoutUa Apr 6 2016 at 12:08

Судя по картинке в заголовке поста с этим тоже проблем не будет))

UFO just landed and posted this here

websurfer Apr 4 2016 at 19:10

Может кто нибудь объяснить «на пальцах», что такое этот ИИ и как он работает?

DrReiz Apr 4 2016 at 20:05

Нейронная сеть для каждой структуры и насыщенности черно-белых пикселей запоминает их исходный цвет.
Грубо говоря, НС запоминает, что если рядом находятся пиксели {100, 250, 105}, то их надо покрасить в {red, pink, blue}, а если {120, 151, 183}, то в {blue, green, light-green}.
Дополнительно может учитываться положение пикселей на фотографии (сверху, снизу).

websurfer Apr 4 2016 at 20:11

Спасибо, хотя вопросов прибавилось (не обращайте внимания, я дилетант в этом вопросе). Но, как всё не понятное — манит.

UFO just landed and posted this here

ankh1989 Apr 6 2016 at 11:39

Разве это не одно и то же? Мне казалось, что "фичи" это те же самые пиксели, только каждый пиксель "фичи" вычисляется по какому то правилу, скажем "среднее расстояние до ближайших ярких пикселей на картинке."

UFO just landed and posted this here

dron_k Apr 4 2016 at 19:57

Теперь этот алгоритм зашиваем в кодек и можно резать цвет в фильмах для уменьшения обьема…

-1

Athari Apr 5 2016 at 01:36

Ага. И пишем инструкцию: "Для просмотра фильма в цвете скачайте нейросеть на 50 гигабайтов". =)

Vjatcheslav3345 Apr 4 2016 at 21:12

А не может ли программа подобрать цвета, если человеком, абсолютно не знакомым с её принципами, будут указываться только качественные характеристики без уточнения оттенков, — например, человек кликает пипеткой по участку а потом по ближайшему подходящему цвету из набора, указывая, что этот листик, например, — зеленый, тот мячик — синий, этот участок — на солнце а тот — в тени, — а программа же, зная качественную информацию, поберет цвета, оттенки, освещение. Если была допущена ошибка, например, алое небо было сочтено голубым, то можно переназначить этот выбор.

Sadler Apr 4 2016 at 21:50

Только для начала придётся сегментировать изображение, выделив объекты, цвета которым будут назначаться, либо придётся вручную рисовать пиксельную цветовую маску для каждого изображения. В принципе, ничего принципиально невозможного здесь нет, нужно лишь собрать всё это воедино.

Vjatcheslav3345 Apr 4 2016 at 23:02

Пользователь указывает цвет и освещенность для одного «типичного» пикселя или маленького кусочка, участка а программа распространяет значения на подобные места и прогнозирует, как будут выглядеть иные места, не указанные человеком.
Просто сейчас приходится делать маски, обводить, а так дело упрощается — мазнул по фото — назначил параметры, затем опять и опять, хотя бы 2-3 раза, затем нужно поправить те места, которые получились неестественными, опять таки, давая программе качественные оценки, — так как любой человек очень хорошо разбирается в вещах окружающего мира, а в теории хранения графической информации в компьютере разбираются только специалисты.