befozg Jun 20 2023 at 11:12

Матирование изображений, или как получить фотореалистичный передний план

7 min

3.5K

SberDevices corporate blogImage processing*Mathematics*Machine learning*Artificial Intelligence

Comments 16

Winklnix Jun 20 2023 at 12:40

На первый же запрос по matting dataset много датасетов общедоступных, зачем синтетика?

befozg Jun 20 2023 at 12:41

датасетов практически по любому запросу можно найти очень-очень много, но качество разметки, чаще всего, оставляет желать лучшего :)

bonlime Jul 3 2023 at 08:28

Качество большинства "классических" датасетов конечно ужасное (DUTS, DUT-OMRON). Но есть же AM-2k для животных, в DIS5k супер разметка. Есть HR-SOD, ThinObject5K, UHRSD, там везде картинки FullHD+ разрешения, можно докинуть чтобы разнообразить данные.

Nataliszu Jun 20 2023 at 12:41

Какой смысл матирования не в real-time? Я считаю, что никуда не годится такая сетка, еще и трансформерная.

befozg Jun 20 2023 at 12:43

действительно, transformer-based сетка не для real-time, но можно его использовать в редакторах, или как учителя для сегментационных сеток, которые работают быстро в режиме inference.

dimusoltsev Jun 20 2023 at 12:46

Почему тогда не используют везде guided фильтры, если они настолько "хороши" по сравнению с обычными bilinear и подобными методами?

befozg Jun 20 2023 at 12:48

да, это не панацея. Классические способы увеличения размерности картинки не требуют дополнительных входных данных (как в случае с guided filter, которому в нашем случае для увеличения размерности маски требуется исходное изображение в высоком разрешении, а такого дополнительного знания не во всех задачах можно подыскать). Помимо этого, классический upsampling может работать с произвольным тензором, независимо от числа каналов и информации, которая в них содержится. Поэтому guided filter не будет решением получше, например, в промежуточных слоях UNet-подобных автоэнкодеров.

zodiak Jun 20 2023 at 14:25

Эх, хотелось бы что-то крутое увидеть...

Например собственный публичный датасет для маттирования на пару тысяч уникальный масок. Или какое-то новшество в архитектуре (да чтобы еще и на Comp1K соту выбить).

А то GuidedFilter так-то уже давно известная и точно не самая крутая в плане качества штука для апсемплинга.

befozg Jun 20 2023 at 15:12

Насчет датасета - конечно же хочется, и, возможно, в будущем сделаем. Но у нас есть описание способа генерации новых изображений, что частично покрывает этот вопрос.

А про upsampling и архитектуру - тут уже субъективно, что применять и чего добиться, для трансфера стилей и деталей guided filter и его модификации вполне до сих пор используются в разных решениях (не только матирование).

Возможно вам хочется увидеть более фундаментальное и прорывное решение. Мы будем стараться улучшать качество и обобщающую способность нашей модели.

SmallDonkey Jun 20 2023 at 15:27

Мистическое совпадение, я как раз только, только начал тренировать https://github.com/xuebinqin/U-2-Net для удаления заднего фона и тут вы, пригодиться статья

befozg Jun 20 2023 at 16:07

На самом деле для удаления фона недостаточно хорошей маски, поэтому я б посмотрел в сторону background removal алгоритмов. А приложенная маска похожа на результат слабо обученного автоэнкодера :) попробуйте учить дольше и с меньшим шагом. Ну и блюр тоже уйдет, но границы станут грубее.