Просто так камера выдаёт глубину с оптического центра сенсора глубины. Если хотите, чтобы точки изображения глубины соответствовали цветному изображению, то в pyrealsense есть нужна функция. Смотрите stream alignment.