Что такое 4k upscaling
Upscale: что это такое и где применяется
Директор по технологии IVI
Технологии не стоят на месте. Ещё 20 лет назад контент в HD-качестве был пределом наших мечтаний. А сегодня телевизор с поддержкой 4K — норма. Но что делать с фильмами и сериалами, снятыми в прошлом столетии? Разбираемся, как улучшают качество изображения, с какими трудностями сталкиваются и к каким результатам приходят.
Что такое upscale?
Upscale — это перевод видео из меньшего разрешения в большее: из HD — в Full HD, из Full HD — в Ultra HD и так далее. Это ремастеринг (то есть обработка и улучшение) картинки кадр за кадром. Вручную провести его невозможно, поэтому процессом руководят алгоритмы, в том числе нейросети.
Сейчас есть ряд моделей, которые могут быстро улучшить качество изображения. Данными для их обучения служат уже существующие 4K-фильмы. Специалисты берут видеофрагмент нужного разрешения (допустим, 4K) и снижают его качество до 1080р. А затем на большом датасете из таких пар — истинные 4K и 1080р — модель учится менять разрешение кадра.
В IVI upscale работает в рамках собственной системы подготовки контента к стримингу. Она написана на Python, первая её версия появилась ещё в 2009 году и с тех пор регулярно обновляется. Её задача — получить видеофайл и преобразовать его в разные форматы, доступные на всех типах устройств, которые поддерживает IVI.
Все, что связано с кодированием, в системе находится в docker-контейнерах. Это позволяет избежать сложностей с настройкой инфраструктуры, сборкой FFmpeg, версиями. В системе есть API, админка для разработчиков, админка для операторов кодирования, управление контейнерами и оркестрация.
Чтобы преобразовать видео в другой формат, сначала проверяют битрейт, пропорции, количество кадров в секунду, звуковые дорожки и другие параметры оригинала, который прислал правообладатель. Потом происходит кодирование оригинала в нужный битрейт, упаковка в нужный контейнер (иногда с шифрованием), отправка на origin-сервер, контроль качества и запуск контента на всех платформах, которые поддерживает IVI.
В эту систему входит и модуль upscale. Он написан на Python, модель обучалась на 30 000 изображений. На его разработку ушло полгода, но ещё больше — на предварительные исследования и метания. Сейчас этот модуль работает так: оператор создаёт новую задачу на кодирование, выбирает тип преобразования и запускает отдельный контейнер, внутри которого выполняется процедура upscale. Файлы-результаты загружаются на специальные серверы для хранения оригиналов, откуда через CDN они становятся доступны пользователям.
Сложности upscale
Как и у любой технологии, у upscale есть свои ограничения.
Например, из видео хорошего качества с разрешением 1080р можно восстановить 4K. Сложности возникают на этапе ремастеринга более старых фильмов — производства 90-х годов и раньше. Особенно тяжело работать с картинами, снятыми на плохую пленку и впоследствии оцифрованными. Это связано с тем, что любой дефект — будь то пятно, волос или блик — в «искусственном» 4K будет гиперболизирован за счёт особенностей обучения модели.
Так появляется необходимость искать дефекты и избавляться от них. Существуют алгоритмы поиска и классификации дефектов и последующей их ликвидации. Один из методов обучения моделей по ликвидации дефектов — подход, используемый для обучения моделей upscale. На изображения без дефектов наносятся дефекты. Затем пары (изображение с дефектом, изображение без него) используются для обучения.
К сожалению, полностью автоматизировать данный процесс ещё не получилось, поэтому пока что его результаты модерируют люди.
Можно ли отличить истинный 4K от upscale?
Не так давно в IVI проводили слепое тестирование, чтобы проверить, смогут ли зрители отличить видео в оригинальном 4К от видео, которое прошло upscale до 4К. Взяли видео в изначальном 4K, ухудшили его качество до 1080р, а потом провели upscale и повысили качество снова до 4K. Показали оба варианта выборке в 300 человек.
В результате исследования истинный 4K смогли определить только люди, которые профессионально занимаются монтажом, графикой и операторской деятельностью. Остальные зрители поделились ровно пополам: кому-то понравился исходник, кому-то — upscale. При этом абсолютное большинство поставили высокую оценку качеству обоих видео (от 93 до 95 из 100) и сказали, что не заметили в анализируемых роликах никаких графических помех или шумов. С помощью этого эксперимента мы убедились, что алгоритмы, которыми мы пользуемся, работают качественно.
Все ли фильмы можно апскейлить?
В теории, конечно, можно всё. Но это попросту не имеет смысла: дорого и долго. Фильмы, которые проходят upscale, тщательно отбирают. Обычно это популярные, зрелищные кинокартины с экшен-сценами.
Как работает апскейлинг? Раскрываем секреты современных телевизоров
Помните, что раньше без ИИ вроде бы легко обходились, тем более в таком, казалось бы, обычном деле. Отвечаем: в реальности приведение любого видео к тому, что отображается на экране современных телевизоров — это очень сложный процесс.
Простым увеличением разрешения подобно растягиванию фотографий на весь экран он не был никогда, даже в эпоху DVD-плееров и HD Ready-телевизоров. Но если для преобразования в Full HD-телевизорах применяли лишь пару несложных методов для улучшения картинки при апскейлинге: интерполяцию, сглаживание наклонных линий и шумоподавление, то для 4К и тем более для 8К этого явно недостаточно.
Требования к качеству обработки изображения возросли многократно, потому что любые устройства столь высокого разрешения по отношению к контенту работают подобно лупе, выявляющей все недостатки видеотрансфера. И чтобы он достойно выглядел на телевизорах такого разрешения, его нужно улучшать. Это вполне возможно, ведь улучшают фотографии перед публикацией профессиональные ретушеры и дизайнеры. Они подходят индивидуально к каждому фото, чаще всего обрабатывая его участками: где-то осветляют, где-то затемняют, где-то смягчают, а в другие детали делают более резкими и т.д. Искусственный интеллект в QLED-телевизорах поступает аналогично, но 60 раз в секунду.
Чтобы он различал, какие участки надо обрабатывать соответствующими методами, в память телевизоров зашиты паттерны характерных типов изображения, представляющие собой цифровые коды частотных характеристик, ведь изображение — это тоже набор частот, своеобразных тембров, но более сложных, чем звук.
В итоге он легко отличает характерную «пленочную» киношную зернистость и грунт от шума, волосы от дефектов чересстрочности, однородные поверхности зданий от неба и водную рябь от блочности, вызванной сбоями или малым битрейтом видео. И таких паттернов в память заложены сотни! А высокая мощность процессоров позволяет применять их для обработки все одновременно.
В итоге на новых QLED-телевизорах даже с разрешением 8К даже эфирный DVB-T2-сигнал нашего телевидения выглядит хорошо, а 4К-видео — превосходно. И при этом не возникает мысли о том, что телевизор обращается с сигналом грубо. Наоборот, все смотрится потрясающе. А ведь в большинстве случаев телевизорам приходится работать с Full HD-сигналом, потому что именно в таком разрешении сохраняется подавляющее число фильмов, трансляций и видеороликов в YouTube.
То есть разрешение при этом увеличивается в 16 раз! Попробуйте увеличить свои фото в 16 раз без обработки. А у телевизора получается так увеличивать разрешение видео, и результат не вызывает отрицательных эмоций, если видео не совсем уж низкого качества. Чудо? Не совсем. Скорее результат работы высоких технологий.
Какие бывают функции улучшения изображения в телевизорах
Содержание
Содержание
Телевизоры последних поколений предлагают насыщенную, сочную и яркую картинку. Все это стало возможным благодаря использованию ряда технологий. Мы расскажем о каждой из них подробно, а также разберем путаницу в маркетинговых названиях.
Технология HDR
Данную аббревиатуру вы нередко встречаете в характеристиках телевизора и слышите в рекламе. Это одна из самых распространенных и важных технологий, которая дает ощутимое улучшение качества изображения.
HDR (High Dynamic Range) — стал дальнейшим развитием SDR (Standard Dynamic Range). Ранее из-за технологических ограничений в передаче информации данные урезались, поэтому изображение на телевизоре теряло в сочности, насыщенности и других деталях. Сейчас же с появлением HDMI 2.0 передача больших объемов данных не проблема, поэтому видеоконтент можно передавать практически без сжатия.
Расширенный диапазон оперирует тремя основными характеристиками изображения:
Другое принципиальное отличие последних версий HDR — наличие динамических метаданных. В них зашифрованы значения всех этих параметров, но не для фильма в целом,
а для каждого отдельного кадра и даже участка. HDR фактически «подкручивает» яркость, контрастность и цветопередачу в каждый отдельный момент видео так, чтобы картинка была максимально приближенной к оригиналу. Однако здесь есть несколько нюансов.
При слабой яркости эффект HDR практически незаметен, 8-мибитные матрицы не обеспечивают достаточную цветопередачу, а коннекторы ниже HDMI 2.0 не обладают достаточной пропускной способностью. Да, чтобы смотреть ТВ в HDR необходимо не только устройство с поддержкой этого стандарта, но и соответствующий контент. Обычно полную поддержку HDR имеют фильмы и сериалы со стриминговых сервисов, Blu-Ray-диски и некоторые игры, например, Horizon Zero Dawn или Metro Exodus.
Главная проблема — как узнать, действительно ли ваш телевизор поддерживает эту технологию? Маркетологи придумали десятки названий. Например, HDR+ и HDR Effect —
это маркетинговые названия имитации технологии HDR. Такие телевизоры лишь приближенно имитируют повышенное качество изображения.
ЕСли вам нужен настоящий HDR, то обращайте внимание именно на поддержку стандартов:
Если в технических характеристиках ТВ есть упоминание одного из этих четырех стандартов, то устройство способно воспроизводить видео с HDR. Главная сложность — найти соответствующий контент.
OLED-технология
Появление OLED действительно можно считать прорывом на фоне классической LED-подсветки, причем с ощутимым улучшением картинки. Обычные телевизоры со светодиодной подсветкой делятся на Edge LED и Direct LED. Первая предполагает размещение светодиодов по периметру, что приводит к появлению засветов по бокам. Вторая уже имеет светодиоды по всей площади, но все еще не способна обеспечить насыщенный черный цвет.
Принципиальное отличие OLED заключается в том, что в конструкции используются органические светодиоды, каждый из которых способен сам генерировать свет. Благодаря этому пропадает необходимость в использовании подсветки позади и других слоев. OLED-телевизоры способны контролировать яркость каждого отдельного пикселя, что делает картинку более контрастной, а черный цвет — супернасыщенным. Другое достоинство — такие модели более тонкие.
Телевизоры с OLED стоят ощутимо дороже, а главной проблемой является постепенное выгорание пикселей. Однако эта технология никакая не маркетинговая уловка, а самый настоящий прогресс в качестве.
Технология Motion Smoothing
У каждого бренда свое название этой технологи: Samsung Motion Rate, Sony MotionFlow, LG TruMotion. Несмотря на разные названия, принцип работы практически всегда идентичный. Motion Smoothing способна как улучшить изображение, так и ухудшить, поэтому ее использование актуально не для всех типов контента.
Видео может иметь частоту 24, 30 или 60 кадров в секунду в зависимости от источника. Однако телевизоры обладают частотой обновления экрана в 50, 60 и 120 Гц. Чтобы устранить несоответствие частоты обновления экрана и источника видео, применяется технология Motion Smoothing. Есть несколько алгоритмов ее работы:
Black Frame Insertions (BFI). Метод заключается в добавлении кадров с черным фоном. Это позволяет подтянуть частоту, уменьшает эффект размытия, но изображение становится менее ярким из-за мелькания черных кадров.
Дублирование. Вместо недостающих кадров алгоритм выставляет повторы в необходимом количестве. Но из-за этой методики изображение иногда ненадолго зависает или, наоборот, быстро прыгает.
Интерполяция. Процессор анализирует два соседних кадра и формирует на их основе промежуточный. Это самая продвинутая методика, но именно она приводит к эффекту «мыльной оперы», когда изображение теряет в четкости. Также такие алгоритмы не всегда корректно отрисовывают некоторые кадры.
Включать Motion Smoothing рекомендуется в сценах с постоянной динамикой. Это могут быть гонки, футбол, баскетбол и другие виды спорта. При просмотре фильмов или сериалов функцию лучше отключить, чтобы повысить четкость изображения. Практически в каждом телевизоре это можно сделать через стандартное меню.
Технология апскейлинга (Upscaling)
Если по-русски, то это обычное масштабирование. Большинство контента все еще поставляется в форматах HD (720p) и Full-HD (1080p). Соответственно, для просмотра такого видео на 4К или 8К-телевизорах картинку придется растягивать и дополнять данными. Чем больше разница в разрешении, тем больше пикселей придется дорисовать.
Самый простой алгоритм решения этой проблемы — выполнить дублирование пикселя и заполнить «клонами» недостающее пространство. Однако это дает посредственную картинку, которая получается размытой. Алгоритмы бикубической и билинейной интерполяции дают лучший результат, но изображение все равно получается неточным.
В большинстве телевизоров, способных делать апскейлинг до 4К и выше, используется ИИ на базе нейросетей. У каждого разработчика не только свой алгоритм, но и собственная база изображений в разных разрешениях, которые используются нейросетью для анализа.
Функция апскейлинга незаменима для 4К и 8К телевизоров, но ее эффективность можно узнать только на практике, поскольку каждый производитель использует свои процессоры и технологии. Однако применение ИИ однозначно дает лучший результат, чем ранее описанные классические методы.
Цифровое шумоподавление
Даже «цифра» подвержена помехам, например, белые пятна, расплывчатость картинки, «соль и перец». Если вы столкнулись с этими проблемами, то стоит поискать функцию шумоподавления. В каждом ТВ она может иметь свое маркетинговое название, однако в основе обычно используются идентичные алгоритмы с некоторыми доработками.
2D DNR (Digital Noise Reduction). Простейший метод устранения шумов, который анализирует пиксели в одном из двух направлений — пространственном или временном. В первом случае анализируются пиксели одного кадра, а во втором пиксели сравниваются с двумя соседними. Используется компенсационный или адаптивный методы фильтрации. Недостаток 2D DNR — расплывчатость изображения и возможная потеря в цветности.
3D DNR использует и пространственный и временной анализ пикселей, что позволяет эффективно удалять помехи и не терять в качестве изображения. Алгоритм учитывает и вектор движения, и положение пикселей в кадре. Поскольку большинство помех не статические, то они легко устраняются.
Каким бы не было название функции шумоподавления, обычно в ее основе лежит 2D или 3D DNR. Включать шумоподавление рекомендуется только для контента в низком качестве. Например, если вы смотрите аналоговое или не самое качественное цифровое ТВ. Для Blu-Ray или контента из стриминговых сервисов шумоподавление лучше отключить, поскольку картинка может потерять в четкости.
Динамический контраст
Часть телевизоров предлагает и такую функцию. Суть заключается в том, что ТВ автоматически подбирает уровень контрастности в зависимости от изображения, как правило, путем регулировки отдельных светодиодов подсветки. Соответственно, динамический контраст работает лучше всего на Direct LED с большим количеством светодиодов, а также на OLED телевизорах, где можно контролировать буквально любой пиксель.
Однако многие пользователи утверждают, что динамическая контрастность по факту ухудшает качество картинки. Проблема в том, что освещенность комнаты остается неизменной, поэтому оптимальный уровень контрастности следует подбирать именно под окружение, а не постоянно менять его в зависимости от сцены. К тому же, увеличение яркости белого обычно отрицательно сказывается на насыщенности черного. Иногда изменение подсветки просто не успевает под смену кадров, что также вносит дискомфорт при просмотре.
Локальное затенение и микродимминг
Еще одна пара технологий, которые частично связаны с динамическим контрастом и между собой. Локальное затенение аналогично динамической контрастности регулирует уровень подсветки отдельных светодиодов/пикселей. Это позволяет делать черный цвет более насыщенным. Эффект напрямую зависит от плотности и возможностей светодиодов.
Технология микродиминга (Samsung — Micro Dimming, Panasonic и Toshiba — Local Dimming, LG — Edge) — это фактически то же самое, что и локальное затенение. Отличия лишь в размере массива светодиодов, яркость которых можно менять. Эффективность зависит от динамичности видео и уровня освещенности помещения.
Теперь вы точно знаете, какие технологии принесут вам пользу, а какие — нет. Поделитесь в комментариях своим опытом использования функций улучшения изображния на ТВ.
Все об искусственном интеллекте в телевизорах: апскейлинг, улучшение яркости, балансировка цвета и прокачка звука
Вряд ли мы сильно ошибемся, назвав искусственный интеллект (далее ИИ) главным трендом последних лет. Никого уже не удивить возможностями ИИ в камерах телефонов, дипфейками, голосовыми ассистентами или «умными» лампочками. Одной из самых быстро-развивающихся областей для подобных технологий неожиданно для многих стали телевизоры. Впрочем, называть это полноценным ИИ и в 36-й раз вспоминать Скайнет не стоит, пока это не столько интеллект, сколько комплекс узконаправленных хорошо натренированных алгоритмов для улучшения изображения или звука. Просто, искусственный интеллект звучит одновременно круче и понятнее.
Как работает ИИ в телевизорах и что умеет?
Многие современные телевизоры ― это как бы уже и не совсем телевизоры. Когда на борту имеется процессор, оперативная память и небольшое хранилище, это уже больше похоже на компьютер. Однако с внедрением ИИ большинство крупных производителей позаботились о том, что для улучшения картинки в телевизоре использовался отдельный предназначенный для этого процессор. LG использует процессоры серии Alpha, у Samsung стоят чипы Crystal и Quantum, у Sony X, а у Phillips ― P5. Дальше мы разберемся с преимуществами и недостатками самых популярных чипов, а пока вернемся к вопросу, что именно и как они улучшают.
 |
Развитие биг дата и машинного обучения открыло перед производителями новые возможности для автоматического улучшения изображения. Процессор способен определять, что именно происходит на экране, после чего увеличивать яркость или контрастность всего изображения, локально подсвечивать или затемнять определенные участки изображения, увеличивать разрешение и все в таком духе. И это лишь на самом базовом уровне. К примеру флагманский чипсет LG Alpha 9 умеет анализировать условия окружающей среды, подстраивая под него яркость и контрастность, а процессоры Quantum от Samsung весьма хороши в апскейлинге, вплоть до 8K.
Подробнее о том, как именно ИИ улучшает звук и картинку
 |
Мощность флагманских процессоров вроде LG α9 и Philips P5 позволяет им в режиме реального времени анализировать и улучшать все изображение или какие-то отдельные его части. Сначала процессор определяет, что именно сейчас выводится на экран. Например, пейзаж с закатом над Токио, рвущие к финишу гоночные машины, пара дерущихся носорогов или сияющие бицепсы Дуэйна Джонсона. Алгоритмы тренировали, прогоняя через сотни тысяч изображений, чтобы они могли их лучше понимать, на что смотрят (животные, спорт, пейзажи и т. д.), а потом обрабатывать изображение согласно этой классификации. В общем-то, в этом нет никакой фантастики, похожие алгоритмы распознавания мы не первый год используем в камерах смартфонов.
Собственно после этого в дело и вступают алгоритмы подстройки, которые выбирают оптимальные показатели для шумоподавления, повышения детализации, усиления резкости, подстройки яркости, гаммы и т. д. У каждого производителя эти «улучшайзеры» могут по разному называться и отличаться в деталях, но на самом деле все сводится к нескольким схожим между собой процессам, которые проходят в несколько этапов.
Апскейлинг
 |
За малопонятным термином апскейлинг на самом деле прячется довольно простой по своей сути процесс искусственного масштабирования изображения. Чтобы купив телевизор с 4K вы могли нормально посмотреть любимый фильм или сериал в этом самом 4K. Иначе, зачем вообще нужен такой телевизор? Идея апскейлинга не нова, вы могли встретить ее в некоторых DVD-плеерах от BBK, консоли Sony PlayStation 3 и многочисленных шпионских боевиках, в которых герой смотрит на фотографию с камеры наблюдения с гигантскими пикселями, потом говорит «компьютер, увеличить» и нам сразу же становятся видны черты лица злодея на фото. Первые 4K-телевизоры создавались без ИИ-процессоров и в этом плане тоже не блистали, просто масштабируя SD-ролики на всю площадь матрицы с помощью простого увеличения пикселей.
Технология апскейлинга в современных ТВ позволяет нейросети не только растягивать картинку, но и дорисовывать недостающие пиксели, сглаживать неровности, убрать лишний шум и размытость объектов, которые находятся в движении. Конечный результат в одних случаях смотрится практически идеально, в других терпимо. Зависит это как от конкретного телевизора и процессора, так и от типа контента. Поэтому многие производители оптимизируют алгоритмы масштабирования под разные типы контента (кино, спорт, игры), чтобы получить наилучший результат при просмотре того или иного контента. От себя добавим, что во время тестов некстген консолей мы сравнивали наитивное 4K разрешение в Xbox Series X с апскейлом до 4K в младшей Xbox Series S. И вот разница была видна только если подойти к телевизору ближе, чем на метр. Сравнивали мы на панели Samsung QE-55Q77TA, а играли в Gears 5 и Battlefield V.