Mishkun Dec 14 2021 at 11:39

Ускоряем панораму машины в приложении Авто.ру

12 min

8.4K

Яндекс corporate blogWorking with video*Development of mobile applications*Development for Android*

+31

Comments 15

DimaVadovov Dec 14 2021 at 12:13

Интересная статья, спасибо!

n0isy Dec 14 2021 at 12:13

Не пробовали анимированный webp ?

Mishkun Dec 14 2021 at 12:38

Анимированный webp не рассматривали. Во-первых, потому что исходили из тех форматов, которые может отдавать бекенд. Во-вторых, потому что кажется, что коэффициент сжатия по сравнению с видеокодеками не должен быть сильно лучше гифок.

UFO just landed and posted this here

Mishkun Dec 14 2021 at 14:09

Из видео автоматически 3D модель получается вытаскивать пока не очень хорошо. Подробнее, почему так и почему остановились на обработке пользовательского видео мы уже писали на Хабре

raamid Dec 14 2021 at 13:24

Очень интересно, спасибо. А есть ли аналогичные инструменты для Web? Я имею в виду, не изучали ли вы вопрос создания подобных панорам прямо в браузере, с использованием WebGL?

Mishkun Dec 14 2021 at 14:15

Нет, наша команда работала над реализацией именно плеера в Android приложении. Я думаю в случае с вебом WebGL может и не потребуется и будеи достаточно отрисовать видео на Canvas. Но я не frontend-разработчик и мону ошибаться

elmon Dec 14 2021 at 16:06

Очень советую посмотреть в сторону NeRF'ов, которые позволяют сейчас на порядок лучше делать такие панорамы

Mishkun Dec 14 2021 at 17:01

NeRF звучит интересно, но у нас уже вполне себе хорошо работает и классический SfM

elmon Dec 14 2021 at 17:04

Ну, я регулярно вижу лишний варпинг и каты из-за того, что пользователи неравномерно ходят вокруг машины и держат её не по-центру)

NeRF'ы дадут возможность задавать плавную траекторию облёта, и современные подходы не требуют так уж много процессинга.

Ну и сейчас уже есть наработки от Nvidia, которые позволяют по NeRF'у скрафтить качественную 3D модельку с материалами)

Mishkun Dec 14 2021 at 20:25

Интересно посмотреть, получится ли это засунуть в tensorflow lite и делать процессинг на девайсе

elmon Dec 14 2021 at 16:10

Ещё могу посоветовать руками в ffmpeg прописывать частоту вставки i-frame'ов. Если их явно ставить раз в 10-20 кадров, можно добиться flawless скраббинга, на всём, что умеет в hardware decoding.

ffmpeg -i input.mp4 -vcodec libx264 -x264-params keyint=10:scenecut=0 -acodec copy output.mp4

Mishkun Dec 14 2021 at 17:03

Мы экспериментировали с частотой I-фреймов. Но приемлимы результаты на таргетных девайсах начинались с очень малого числа кадров. Передавать такие видосы по мобильной сети не очень комфортно

elmon Dec 14 2021 at 17:13

Afair, прирост размера на 10 кейфреймах у меня был где-то х2 от оригинального видео. Можно попробовать делать reencoding на девайсе (примерно ваш подход, но без overcomplicating'а решения).

Или, что поддерживают многие плееры, начать декодить и показывать результат до завершения загрузки оригинального видео.

Ну и никто не отменял гранулярность ответа) Можно иметь 3-5 разных по размеру форматов, и отдавать нужный в зависимости от девайса.

Mishkun Dec 14 2021 at 20:24

Да, идея отдавать разные варианты хороша, можно поэкономить траффик на high-end устройствах, которые могут быстрее справляться с энкодингом