Детектирование и отслеживание множественных объектов в видеопотоке на FPGA

Сложно. FPGA само по себе развлечение не для ленивых, но переход от фильтрации к чему-то с логикой и списками сразу ещё повышает сложность скачком.
С другой стороны, данное решение обладает сильным преимуществом в виде низкой латентности, особенно если fps камеры выкрутить на максимум. 3D манипулятор типа «совы» на основе данного проекта мог бы иметь уникальную отзывчивость.

Круто!

я бы объявлял магические числа в коде как localparam