Математические расчёты, стоящие за феноменом роллинг-шаттера
Помню, как однажды увидел фотографию выше на Flickr и сломал мозг, пытаясь понять, что с ней не так. Дело было в том, что пропеллер вращался в то время, когда датчик движения в камере «считывал показания», то есть во время экспозиции камеры происходило какое-то движение. Об этом действительно стоит подумать, давайте-ка подумаем вместе.
Многие современные цифровые камеры используют КМОП-матрицу в качестве своего «чувствительного» устройства, также известную как активный датчик пикселей, который работает путем накопления электронного заряда при падении на него света. По истечении определенного времени – времени экспозиции – заряд построчно перемещается обратно в камеру для дальнейшей обработки. После этого камера сканирует изображение, построчно сохраняя ряды пикселей. Изображение будет искажено, если во время съемки присутствовало хоть какое-то движение. Для иллюстрации представьте съемку вращающегося пропеллера. В анимациях ниже красная линия соответствует текущему положению считывания, и пропеллер продолжает вращаться по мере считывания. Часть под красной линией – это полученное изображение.
Первый пропеллер совершает 1/10 оборота во время экспозиции:
Подписывайтесь на каналы: @Ontol — самые интересные тексты/видео всех времен и народов, влияющие на картину мира @META LEARNING — где я делюсь своими самыми полезными находками про образование и роль ИТ/игр в образовании (а так же мыслями на эту тему Антона Макаренко, Сеймура Пейперта, Пола Грэма, Джозефа Ликлайдера, Алана Кея)
Изображение немного исказилось, но ничего критичного. Теперь пропеллер будет двигаться в 10 раз быстрее, совершая полное вращение за время экспозиции:
Это уже похоже на ту картинку, что мы видели в начале. Пять раз за экспозицию:
Это уже немного чересчур, так можно и с катушек съехать. Давайте повеселимся и проверим как будут выглядеть различные объекты при различных скоростях вращения за экспозицию. Точно такой же пропеллер:
Пропеллер с большими лопастями:
Мы можем воспринимать эффект роллинг-шаттера как некое преобразование координат реального объекта из «объектного пространства» в «пространство изображения» искаженного объекта. Анимация ниже показывает, что происходит с Декартовой системой координат при увеличении числа оборотов. При малых оборотах деформация незначительна – число увеличивается до единицы, и каждая сторона системы координат последовательно перемещается в правую сторону изображения. Это довольно сложная трансформация для восприятия, но легкая в понимании.
Пусть изображение будет I(r,θ), реальный (вращающийся) объект будет f(r,θ), где (r,θ) — это 2D полярные координаты. Мы выбрали полярные координаты для этой задачи из-за вращательного движения объектов.
Объект вращается с угловой частотой ω, а шаттер перемещается по изображению со скоростью v по вертикали. В положении (r,θ) на картинке, дистанция, которую прошел шаттер с начала экспозиции, равна y=rsinθ, где прошедшее с этого момента время равно (rsinθ)/v. За это время объект повернулся на (ω/v)rsinθ) радианов. Итак, мы получаем
что и является требуемой трансформацией. Коэффициент ω/v пропорционален числу вращений за экспозицию и параметризует трансформацию.
Чтобы получить более глубокое представление об очевидных формах пропеллеров, мы можем рассмотреть объект, состоящий из P пропеллеров, где f является ненулевым только для
Появление роллинг шаттера совпадает с моментом, когда в фото/видеосъемочной технике стали применяться матрицы CMOS (КМОП-сенсор). В отличие от матриц CCD (ПЗС-сенсор), CMOS обычно фиксирует изображение построчно, сверху-вниз. Таким образом, при движении в кадре матрица не успевает зафиксировать информацию со всего кадра, и на обработку подается лишь информация с нескольких строк. Тем временем объект в кадре уже изменил свое положение, соответственно, изменилось и его положение на матрице. Такое нескончаемое запаздывание матрицы за движением в кадре приводит к появлению роллинг шаттера.
Скорость снятия информации в разных сенсорах может различаться. Более того — разные CMOS-матрицы имеют разное же количество пикселей, и, соответственно, строк, с которых требуется снять информацию. Неизбежный вывод: чем медленнее матрица, тем медленней происходит снятие информации с ее строк. Аналогично и с количеством пикселей — чем бо́льшим количеством пикселей обладает матрица, тем медленней происходит снятие с нее информации, строк-то ведь больше.
Как проявляется роллинг шаттер?
Следующие ролики покажут оба типа дефекта во всей красе:
2. Желе. Зрительно проявляется в виде нестабильной картинки, так, словно перед камерой колышется абсолютно прозрачная желеобразная масса, хаотично искажая весь кадр. Этот дефект возникает при неупорядоченном перемещении камеры во все стороны, или, иначе говоря, когда при съемке оператор машет камерой, словно метлой. Степень желейности зависит как от быстродействия матрицы, так и от скорости «подметания». В некоторых, особо запущенных случаях, когда матрица откровенно медленная и/или имеет слишком большое количество пикселей, желе может проявляться даже при почти, казалось бы, статичной съемке с рук. Дело в том, что мелкая дрожь, идущая от руки, преобразуется встроенным стабилизатором в более плавное перемещение, которого оказывается достаточно для появления роллинг шаттера.
3. Горизонтальные пересвеченные полосы в кадре. Возникают при срабатывании фотовспышки (молнии и пр.). Это абсолютно неизбежный дефект, который возникает всегда при резком изменении освещенности, и если камера оснащена CMOS-матрицей с построчным снятием информации. Появление этих полос гарантируется независимо от скорости считывания с матрицы. Медленная ли она, быстрая ли — неважно. Полосы обязательно будут, только длительность их присутствия в кадре окажется разной.
Резюмируем: чем бо́льшим количеством пикселей обладает матрица видеокамеры или фотоаппарата, и чем ниже скорость передачи данных с этой матрицы, тем сильнее выражен роллинг шаттер. Касаемо видеокамер хотелось бы отметить: для видеосъемки с разрешением Full HD вполне достаточно двух-мегапиксельной матрицы. Если же такая матрица окажется еще и быстрой, то роллинг шаттер проявится только в случае с фотовспышкой. А бороться с фотовспышками несложно: достаточно выгнать всех назойливых фотографов из помещения, где производится видеосъемка, это самый надежный способ борьбы с фотовспышечным роллинг шаттером.
Способы борьбы с роллинг шаттером
Обратите внимание на разницу углов в исходном и обработанном видео. Если в первом случае, когда весь кадр имеет наклон, программа сумела чуть исправить положение, то во втором случае с проезжающим автобусом фильтр оказался бессилен. Что и требовалось доказать.
Сделаем вывод: избежать роллинг шаттера в ваших съемках поможет только отсутствие тряски, фотовспышек, и быстродвижущихся объектов. Звучит смешно, однако факт. Где-то глубоко в душе — очень глубоко — теплится надежда, что разработчик наконец-то одумается, и перестанет встраивать медленные многомегапиксельные матрицы в видеосъемочные гаджеты. Но, поразмыслив, понимаешь, что это из области фантастики. Так как маркетологи, у которых задача продавать, немедленно вмешаются в ситуацию с быстрыми матрицами, и заставят инженеров довести количество пикселей в датчиках до очередных космических величин. Продажи таких камер, конечно же, вырастут:
— Ого, гляди-ка, 100 мегапикселей! Дайте две!
Но что станет результатом подобного увеличения количества пикселей в быстрых матрицах? Правильно!
Появление роллинг шаттера совпадает с моментом, когда в фото/видеосъемочной технике стали применяться матрицы CMOS (КМОП-сенсор). В отличие от матриц CCD (ПЗС-сенсор), CMOS обычно фиксирует изображение построчно, сверху-вниз. Таким образом, при движении в кадре матрица не успевает зафиксировать информацию со всего кадра, и на обработку подается лишь информация с нескольких строк. Тем временем объект в кадре уже изменил свое положение, соответственно, изменилось и его положение на матрице. Такое нескончаемое запаздывание матрицы за движением в кадре приводит к появлению роллинг шаттера.
Скорость снятия информации в разных сенсорах может различаться. Более того — разные CMOS-матрицы имеют разное же количество пикселей, и, соответственно, строк, с которых требуется снять информацию. Неизбежный вывод: чем медленнее матрица, тем медленней происходит снятие информации с ее строк. Аналогично и с количеством пикселей — чем бо́льшим количеством пикселей обладает матрица, тем медленней происходит снятие с нее информации, строк-то ведь больше.
Как проявляется роллинг шаттер?
1. Наклон вертикалей. Данный дефект подразделяется на два типа:
Следующие ролики покажут оба типа дефекта во всей красе:
2. Желе. Зрительно проявляется в виде нестабильной картинки, так, словно перед камерой колышется абсолютно прозрачная желеобразная масса, хаотично искажая весь кадр. Этот дефект возникает при неупорядоченном перемещении камеры во все стороны, или, иначе говоря, когда при съемке оператор машет камерой, словно метлой. Степень желейности зависит как от быстродействия матрицы, так и от скорости «подметания». В некоторых, особо запущенных случаях, когда матрица откровенно медленная и/или имеет слишком большое количество пикселей, желе может проявляться даже при почти, казалось бы, статичной съемке с рук. Дело в том, что мелкая дрожь, идущая от руки, преобразуется встроенным стабилизатором в более плавное перемещение, которого оказывается достаточно для появления роллинг шаттера.
3. Горизонтальные пересвеченные полосы в кадре. Возникают при срабатывании фотовспышки (молнии и пр.). Это абсолютно неизбежный дефект, который возникает всегда при резком изменении освещенности, и если камера оснащена CMOS-матрицей с построчным снятием информации. Появление этих полос гарантируется независимо от скорости считывания с матрицы. Медленная ли она, быстрая ли — неважно. Полосы обязательно будут, только длительность их присутствия в кадре окажется разной.
Фотоаппарат
Видеокамера
Цифровой бинокль
Какие камеры чаще всего выдают дефект роллинг шаттера? Ответить несложно: все, имеющие CMOS-матрицу. Разумеется, наиболее ярко данный дефект выражен в фотоаппаратах и недорогих видеогаджетах.
Резюмируем: чем бо́льшим количеством пикселей обладает матрица видеокамеры или фотоаппарата, и чем ниже скорость передачи данных с этой матрицы, тем сильнее выражен роллинг шаттер. Касаемо видеокамер хотелось бы отметить: для видеосъемки с разрешением Full HD вполне достаточно двух-мегапиксельной матрицы. Если же такая матрица окажется еще и быстрой, то роллинг шаттер проявится только в случае с фотовспышкой. А бороться с фотовспышками несложно: достаточно выгнать всех назойливых фотографов из помещения, где производится видеосъемка, это самый надежный способ борьбы с фотовспышечным роллинг шаттером.
Способы борьбы с роллинг шаттером
Обратите внимание на разницу углов в исходном и обработанном видео. Если в первом случае, когда весь кадр имеет наклон, программа сумела чуть исправить положение, то во втором случае с проезжающим автобусом фильтр оказался бессилен. Что и требовалось доказать.
Сделаем вывод: избежать роллинг шаттера в ваших съемках поможет только отсутствие тряски, фотовспышек, и быстродвижущихся объектов. Звучит смешно, однако факт. Где-то глубоко в душе — очень глубоко — теплится надежда, что разработчик наконец-то одумается, и перестанет встраивать медленные многомегапиксельные матрицы в видеосъемочные гаджеты. Но, поразмыслив, понимаешь, что это из области фантастики. Так как маркетологи, у которых задача продавать, немедленно вмешаются в ситуацию с быстрыми матрицами, и заставят инженеров довести количество пикселей в датчиках до очередных космических величин. Продажи таких камер, конечно же, вырастут:
— Ого, гляди-ка, 100 мегапикселей! Дайте две!
Но что станет результатом подобного увеличения количества пикселей в быстрых матрицах? Правильно!
Современные CMOS-сенсоры практически полностью захватили рынок, вытеснив из массового применения CCD-матрицы. Основная причина – удешевление производства и некоторые улучшения качества изображения. Но один неприятный эффект так и преследует при цифровой съемке. Он называется роллинг-шаттер. Что же это такое и как от него можно избавиться?
Роллинг-шаттер, построчный перенос (англ. Rolling shutter, раскатывающийся затвор) – это визуальный эффект, возникающий на фотографиях и видеозаписи из-за особенностей способа регистрации изображения матрицами камеры, при котором происходит не моментальная фиксация изображения, а построчное считывание. Из-за чего на изображении могут возникнуть сильные искажения и нестыковки, как показано ниже:
Как мы видим, участки одного кадра отображают разные моменты времен, движущиеся объекты на снимках камер с построчным переносом деформируются. Чем быстрее движется объект, тем сильнее заметна деформация. Особенно заметны эффекты получаются при съёмке вращающихся объектов.
Причиной роллинг-шаттера является то, что при «скользящем» считывании происходит построчное сканирование матрицы, получая кадр по частям, строка за строкой:
Как же избавится от этого эффекта? Новейшие разработки позволят решить проблему. Они получили название глобального затвора, в котором считывание данных с каждого пикселя матрицы происходит в один и то же момент времени, при этом движущийся объект на изображении как бы «замирает» на месте. Иногда, в ранних публикациях, можно встретить название «кадровый затвор».
Благодаря этому предотвращаются искажения, что делает глобальный затвор идеальным выбором для съемки движущихся объектов или быстрых движений, включая, например, автоматическое распознавание номерных знаков в сфере контроля дорожного движения. Внедрение сенсоров с глобальным затвором только начинается.
Преимущества сенсоров с глобальным затвором:
Недостатки сенсоров с глобальным затвором:
В большинстве любительских видеокамер и фотоаппаратов применяются CMOS-сенсоры изображения, которые экспонируют записываемую картинку построчно, а не всю одновременно. В результате, если камера много двигается при записи или если записывается быстрое движение, возможно искажение изображения. Из-за этого картинка может дрожать или быть перекошенной. В iMovie предусмотрена функция «роллинг шаттер», с помощью которой можно уменьшить подобные искажения движения.
Как скорректировать искажения, вызванные движением видеокамеры
В браузере проектов дважды нажмите видеоклип или выберите несколько видеоклипов и затем дважды нажмите кнопку мыши.
В открывшемся окне инспектора установите флажок «Уменьшить искажение движения» и выберите уровень коррекции во всплывающем меню «Степень».
Если видео было снято любительской видеокамерой, выберите вариант «Средняя». Если съемка производилась карманной (раскладной) видеокамерой или мобильным телефоном с функцией записи видео, выберите вариант «Высокая» или «Сверхвысокая».
Если выбранные клипы еще не проанализированы для стабилизации, iMovie сначала анализирует их, а затем корректирует искажения, связанные с эффектом «роллинг шаттер».
Чтобы проверить уровень коррекции, воспроизведите клип, поместив указатель воспроизведения (красную вертикальную черту) перед клипом в браузере проектов и нажав клавишу пробела. Чтобы остановить воспроизведение, нажмите клавишу пробела еще раз.
Если клип требует дополнительной коррекции, выполните шаги 1–3, выбрав во всплывающем меню «Степень» более высокий уровень коррекции.
Информацию об анализе видео для стабилизации (устранения дрожания в видеозаписи) см. в разделе Стабилизация движения видео.
Если провести экспресс-исследование аудитории, дававшей новой версии программы самые разные характеристики, то окажется, что наиболее негативные отклики приходятся на долю пользователей, много лет работавших с прежними версиями Final Cut Pro. Что же их не устраивает в новинке, какие факторы мешают её принять? Исчезновение привычных инструментов, способов и методов работы? А может, стереотипы, зашоренность и нежелание переучиваться? Так или иначе, пусть это останется их тайной. А мы оценим новую программу свежим взглядом, «не испорченным» практикой работы как с предыдущими версиями Final Cut Pro (в частности), так и с Mac OS (в целом).
В этом нам поможет ноутбук MacBook Pro 15″ с характеристиками, приведёнными на рисунке выше. Разумеется, это не рабочая станция, которую можно настроить на свой лад: добавить жёстких дисков (без них никак), нарастить объем оперативной памяти и т. д. Впрочем, для ознакомления с программой достаточно будет и ноутбука. А если подумать, то не только для ознакомления. При желании и наличии возможностей к данному устройству нетрудно прицепить дополнительные мониторы и скоростные накопители, ведь имеющиеся порты ввода-вывода вполне это позволяют.
Данный список отнюдь не полон; помимо этих усовершенствований, пакет приобрёл и другие свойства, в которых остро нуждались те самые, недовольные монтажеры. Конечно, в рамках данной статьи не представляется возможным рассмотреть и описать каждый пунктик, для этого существует официальная документация. Часть 1
Интерфейс, настройки
Назначение присутствующих в программе окон станет понятным с первого взгляда любому, кто уже имеет опыт монтажа. Причём опыт, полученный в работе с любыми монтажными пакетами, любительскими или профессиональными, неважно. Трудно придумать что-то, коренным образом отличающееся от общепринятых установок, а стараться это сделать — значит совершить глупость. Вот и разработчики Apple не стали оригинальничать, разместив окна согласно многолетней привычке пользователей.
Вверху слева находится библиотека файлов, входящих в проект. Здесь производится предварительная подготовка материала: импорт, анализ, сортировка, упорядочивание, переименование, предварительный просмотр и подрезка клипов. В центре расположено окно Viewer. Здесь, как нетрудно догадаться, отображается результат монтажа. Находящееся правее окно Inspector можно отключить, но лучше этого не делать, поскольку в нём присутствуют инструменты, позволяющие трансформировать выделенный объект или сразу группу объектов. Здесь можно найти все эффекты, добавленные вручную, а также стандартные по умолчанию фильтры: трансформация, обрезка, искажение, стабилизация, исправление эффекта роллинг шаттер, метод смешивания каналов.
Вся нижняя часть программы отдана таймлинии, имеющей необычное свойство — на ней отсутствуют жёстко заданные дорожки, их просто нет! Но не будем забегать вперёд, об этой таймлинии разговор пойдёт отдельный. Наконец, в правом нижнем углу имеется отключаемое окно, содержащее набор фильтров, переходов, титров, различных генераторов, тем оформления и прочие полезности.
Рабочее пространство Final Cut Pro X представляет собой единое окно без возможности его разбивки на отдельные фрагменты. Размеры окон, к счастью, можно изменить до определённых пределов, перетащив их границы курсором мышки, но отделить какой-то модуль, «выбросив» его за пределы основного окна или на второй монитор, — нельзя. Впрочем, подождите отодвигать второй монитор, он ещё пригодится, ведь пункт меню Window содержит следующие команды:
Выбор одной из этих строк даст соответствующий результат:
Библиотека на внешнем мониторе 1920×1080
Viewer на внешнем мониторе 1920×1080
Более того: благодаря наличию универсальной скоростной шины Thunderbolt, владелец ноутбука MacBook Pro имеет возможность подключить к нему два (!) 27-дюймовых дисплея Apple Thunderbolt, в таком случае появится возможность расширить рабочее пространство на все три монитора.
В целях ознакомления с потенциалом программы следует изучить её настройки, они часто могут о многом рассказать.
Общие настройки: формат таймкода, длительность переходов и т. д.
Воспроизведение. Здесь включается механизм фонового рендеринга и создания прокси-файлов, облегчающих процесс обработки «тяжёлого» видео
Параметры импорта, определяющие поведение программы при добавлении файлов в проект: метод копирования, перекодирование и анализ видео и звука при импорте
Никак не скажешь, что Final Cut Pro X изобилует настройками. Складывается впечатление, что их не просто мало — их катастрофически мало! Неужели разработчики настолько продумали каждый нюанс, что отрицают необходимость изменить, к примеру, место расположения временных файлов, кодек и размер кадра прокси-файлов? Тонкий тюнинг программы тут не проведёшь, но вот вопрос: а нужен ли он? Быть может, этих настроек вполне достаточно, а все прочие параметры, отсутствующие в списке, отлажены до такой степени, что не нуждаются в регулировании? Ответ может дать только плотная работа с программой.
Следующий значимый момент: настройка клавиатурных команд, shortcuts. Взглянув на их состав и количество, специалист мгновенно поймёт, стоит ли дальше тратить время на знакомство с программой. Думается, следующий скриншот вполне устроит самого матёрого монтажера:
Доступный, гибкий инструмент поиска и редактирования клавиатурных сокращений поможет без усилий найти и отредактировать любой пункт. Но главное — почти полтысячи команд и функций, вызов которых можно осуществить пользовательскими сочетаниями клавиш! Вот это потенциал. Осталось только апгрейдить мозг, чтобы всё это запомнить, да красок в магазине занять, клавиши чтоб раскрасить.
Пожалуй, ключевые особенности строения программы рассмотрены, пришло время потрудиться.
Импорт
Начало работы обычно знаменуется созданием нового проекта. В Final Cut Pro X, к немалому сожалению многих пользователей, нельзя задать специфические значения размеров/частоты кадра. Впрочем, присутствующие в выпадающих списках параметры охватывают подавляющее большинство востребованных сегодня стандартов, включая 4K.
Однако суровая действительность всё же преподносит иногда такие стандарты и размеры кадров, которые отсутствуют в данных списках. Как же в таком случае поступать? Внимательный читатель может подумать, что включение пункта Set based on first video clip сумеет поправить ситуацию, ведь в этом случае программа должна присвоить проекту характеристики первого импортированного клипа. Не тут-то было. Так, FinalCut Pro X не сумел найти подходящего пресета для, казалось бы, безобидного видеофайла, снятого экшн-камерой GoPro, имеющего следующие параметры: 1280×960 пикселей, частота 50 прогрессивных кадров в секунду. Остаётся лишь выбрать наиболее подходящие настройки из предлагаемого списка.
Что же получим в итоге? Правильно, несовпадение размера или частоты кадров, либо неверные пропорции, либо первое, второе и третье сразу.
Избежать таких казусов можно лишь двумя способами. Первый — после импорта трансформировать размер кадра, подогнав к тем, что заданы в проекте. И второй способ, кардинальный: не использовать подобный видеоматериал. Хочется надеяться, что в следующих версиях Final Cut Pro всё же появится возможность создания проекта с пользовательскими настройками, а не только лишь с теми, которые знает программа.
Импорт материала в программу производится в диалоговом окне, имеющем великое множество различных переключателей.
Здесь включаются такие параметры, как копирование, перекодирование, создание прокси-файлов, автоматический анализ видео и аудио для поиска и исправления недостатков (тряска и яркость в видео, щелчки и паузы в звуке), а также поиск лиц с последующим упорядочиванием материала в особые Smart-коллекции. Все перечисленные действия, будучи активированы, производятся непосредственно во время импорта материала, что увеличивает время операции.
Теперь, пусть и не хотелось, но придётся добавить ложку дёгтя в медовые надежды владельцев AVCHD-видеокамер. Непонятно, чьими правилами руководствовался разработчик программы, запретив прямой импорт в неё AVCHD-материала без физического подключения камеры к компьютеру. Да-да, речь о тех самых обыкновенных файлах MTS или M2TS, полученных современными AVCHD-камкордерами. Эти файлы попросту игнорируются нашей программой, она отказывается импортировать их.
Совсем по-другому дело обстоит при непосредственном подключении к компьютеру видеокамеры или накопителя, на который велась запись. «Увидев» нужные служебные файлы, созданные видеокамерой и хранящиеся параллельно, Final Cut Pro X соглашается импортировать видеоматериал — по крайней мере, такая возможность заявляется в документации к программе. Увы, нам не удалось провернуть подобный трюк: программа не увидела MTS-файлы на подключенной к компьютеру камере. Точно так же не увидела она их и на карте памяти, вытащенной из камеры и вставленной в слот макбука. Оказалось, что файлы, снятые в режиме 50/60p, программа не сумеет импортировать, несмотря на то, что наша камера присутствует в в официальном списке поддерживемых камер. Но стоило сделать съёмку в древнем интерлейсном режиме, и Final Cut Pro X без затруднений скопировал с флэшки все 50i-видеофайлы.
И всё же, как поступить, если уже скопировали с карты памяти или накопителя одну только папку STREAM со всем её видеосодержимым? При этом весь остальной «мусор» был привычно проигнорирован, а впоследствии вообще удалён либо перезаписан новым «мусором». Всё пропало, клиент уезжает?
По всей видимости, в таких случаях придётся прибегнуть к помощи сторонних утилит, которые существуют в версиях как для Mac, так и для Windows. С помощью так называемых перепаковщиков MTS-файлы без труда и быстро перепаковываются (не путать с перекодированием!) в любимый для Final Cut контейнер — MOV. Вот теперь программа без запинки согласится импортировать получившиеся MOV-файлы, как-никак родная кровь.
