Вот секрет 8K технологии повышения AI

История апскейлинга и почему ИИ действительно меняет правила игры

Бизнес-стратегия Samsung по продажам телевизоров до 2020 года проста: 8K или бюст. Продажи телевизоров QLED 4K были подорваны бюджетные 4K телевизоры, Samsung планирует снова сместить рынок в формат, в котором (пока что) очень мало конкурентов, но также очень мало собственного контента.

Тем не менее, как мы видели в нашем 4К против 8К сравнительный тест ранее в этом году вам не нужно было снимать видео с разрешением 7680 × 4320 (8K), чтобы в полной мере использовать эти миллионы пикселей — телевизоры Samsung с разрешением 8K используют масштабирование AI для преобразования любого типа видео (от SD до 4K и всего промежуточного). ) в разрешении 8K.

Конечно, повышение качества не является чем-то новым. В течение многих лет наборы 4K и даже HD находили способы растягивать контент с более низким разрешением, чтобы соответствовать большему соотношению пикселей на дюйм современных телевизоров. Но с 8K телевизорами, которые должны заполнять четыре 4K телевизора пикселями, обычные методы масштабирования просто не работают, по причинам, которые мы рассмотрим ниже.

Теперь, посетив Samsung QA Labs в Нью-Джерси и поговорив с его инженерами, у нас есть лучшее представление о том, как Samsung использует искусственный интеллект и машинное обучение, чтобы сделать возможным масштабирование до 8K, и как его методы AI сравниваются с ранним AI других производителей телевизоров. усилия.

Почему обычный апскейлинг выглядел так ужасно

До 1998 года телевидение транслировалось в разрешении 720х480, а фильмы, снятые в более высоком качестве, были сжаты для соответствия этому формату. Это 345 600 пикселей контента, который занимал бы лишь крошечное окно на современных телевизорах с более высоким соотношением пикселей на дюйм (PPI). Это SD-контент? Его необходимо растянуть, чтобы он соответствовал 2 миллионам пикселей для высокой четкости, более 8 миллионам для 4K или более 33 миллионам для 8K.

Базовой линией для масштабирования является поддержание правильного соотношения пикселей простым умножением. Чтобы преобразовать HD в 4K, процессор телевизора должен взорвать один пиксель HD, чтобы занимать четыре пикселя места на экране с высоким разрешением. Или 16 пикселей во время преобразования HD в 8K.

Без какой-либо обработки изображения картина заканчивается, цитируя Толкина, «что-то вроде растянутой, как масло, соскобленное с слишком большого количества хлеба». Каждый бит данных становится неестественно квадратной формы без естественного градиента между деталями и цветами. В результате возникает много блокировок или шума вокруг объектов на экране.

Вы также, вероятно, увидите нечто, называемое «шумом комаров». Чтобы сжимать видео для работы с ограниченной пропускной способностью интернета, вещатели и веб-сайты должны заполнить поток преднамеренными цветовыми дефектами или «артефактами сжатия». Целенаправленные дефектные пиксели будут роиться вокруг частей экрана, где есть резкие контрасты, такие как коричневый мост перед голубым небом на изображении выше.

Математика позади повышения

Перед лицом этих проблем телевизионные программисты научили свои телевизоры анализировать и обрабатывать изображения в цифровом режиме в режиме реального времени, чтобы заполнить или исправить недостающие или поврежденные пиксели. И они достигли этого, используя математические функции, которые вы можете сказать своим близким, когда в следующий раз они скажут, что слишком много телевизора загнивает ваш мозг.

В частности, инженеры научили телевизионный процессор интерполировать то, каким должно быть значение цвета каждого отсутствующего пикселя, исходя из окружающих его пикселей. Для этого ему нужно было определить свое ядро: функцию, которая назначает приоритет цвета соседям пикселя на основе их близости.

Основным ядром, используемым в телевизорах, является ядро ​​ближайшего соседа, которое просто вычисляет, какой пиксель является ближайшим к свободному пикселю, и вставляет данные того же цвета в пустой пиксель. Этот метод приводит к тому, что изображение приобретает блочный зигзагообразный или псевдонимный рисунок с плохой окантовкой. Изобразите черную букву «А» на белом экране; отсутствующий пиксель непосредственно за буквой может быть закрашен черным, а пиксель на краю буквы может отображаться белым. Результатом будет либо серая капля вокруг буквы, либо ступенчатая черно-белая лестница, идущая вверх и вниз.

Читайте:

Windows получает повышение защиты от вирусов... Windows получает повышение защиты от вирусов Microsoft теперь запускает антивирусное программное обеспечение Defender в песочнице для дополнительной безопасности. (СКК). Microsoft предоставила Defender, встроенное антивирусное программное обеспечение Windows 10, значительно повысило уровень безопасности с объявлением о том, что он теперь может р...

На этой диаграмме показан процесс вычисления пустого пикселя (зеленая точка «P») на основе билинейной интерполяции.

Билинейная интерполяция требует большей вычислительной мощности, но более эффективна. В этом методе пустой пиксель сравнивается с двумя ближайшими соседями, чтобы сформировать линейный градиент между ними, что приводит к повышению резкости изображения. Это дает более плавные визуальные эффекты, но может быть противоречивым. Поэтому другие телевизоры используют бикубическую интерполяцию, которая вытягивает из 16 ближайших пикселей во всех направлениях. Хотя этот метод, скорее всего, позволяет получить максимально приближенный к точному цвет, он также обычно дает более размытое изображение с краями, получающими отвлекающий эффект ореола.

Вероятно, вы уже можете догадаться о проблеме: эти телевизоры заполняют пиксели на основе математических формул, которые статистически наиболее вероятно, чтобы произвести точные визуальные эффекты, но не имеют никакого способа интерпретировать, как они тематически должен выглядеть в зависимости от того, что на самом деле на экране.

Итак, объяснив, как эти алгоритмы постоянно заканчивались, команда Samsung объяснила, как их ИИ преодолевает эти недостатки.

Секрет Samsung: машинное обучение, распознавание объектов и фильтры

Секретное оружие Samsung — это метод, называемый машинным обучением с суперразрешением (MLSR). Эта AI-управляемая система берет видеопоток с более низким разрешением и масштабирует его, чтобы соответствовать разрешению большего экрана с более высоким отношением PPI. Это эквивалентно старому нелепому телевизионному следу компьютерных ученых, увеличивающему изображение и «увеличивающему» размытое изображение нажатием клавиши, за исключением того, что выполняется автоматически и почти мгновенно.

Представители Samsung объяснили, как они проанализировали огромное количество видеоконтента из разных источников — высококачественных и низкокачественных потоков YouTube, DVD-дисков и Blu-Rays, фильмов и спортивных событий — и создали две базы данных изображений, одну для низкокачественных снимков экрана и один для высококачественных снимков экрана.

Затем он должен был обучить свой ИИ, чтобы завершить процесс, называемый «обратной деградацией» в отрасли ИИ. Сначала вы берете изображения с высоким разрешением и понижаете их до более низкого разрешения, отслеживая, какие визуальные данные теряются. Затем вы должны повернуть процесс вспять и обучить свой ИИ заполнять недостающие данные из изображений с низким разрешением, чтобы они отражали изображения с высоким разрешением.

Команда Samsung называет этот процесс «формулой». Его 8K процессоры содержат банк формул с базой данных формул для различных объектов, таких как яблоко или буква «А». Когда процессор распознает размытое яблоко в руке актера, он восстанавливает края яблока, исправляет любые артефакты сжатия и гарантирует, что пустые пиксели приобретают правильный оттенок красного, основываясь на том, как на самом деле выглядят яблоки, а не на основе расплывчатых статистических алгоритмов. , Кроме того, наряду с восстановлением конкретных объектов ИИ будет корректировать ваш поток в зависимости от того, что вы смотрите.

Согласно Samsung, у него есть десятки различных «фильтров», которые изменяют, насколько детализация, шумоподавление и восстановление краев необходимы для данного потока, в зависимости от того, смотрите ли вы определенный вид спорта, жанр фильма или тип кинематографии.

Повышение в действии

Телевизор слева — телевизор Samsung 4K без увеличения масштаба AI; телевизор справа 8K. Слева вы можете заметить густую зелень и плохие переходы от светлых к темным участкам вокруг актера.

Информация о наличии на экране 4K.

Сравните этот экран с предыдущим. Большие заголовки читаются на обоих, но только этот экран 8K делает читаемый текст меньшего размера. Частично из-за лучшей яркости, но также из-за лучшего восстановления края.

Еще один 8К-восстановленный экран с текстом

По сравнению с предыдущим экраном любой текст, не относящийся к заголовкам, здесь намного сложнее читать.

По словам инженеров Samsung, восстановление краев, показанное в слайд-шоу выше, — безумное количество текста, восстанавливаемое в реальном времени, — даже не самая трудная задача для ИИ. Вместо этого репликация правильных текстур объекта в реальном времени остается сложной задачей. Они должны гарантировать, что процессор увеличивает внешний вид объектов, не делая их искусственными.

То, что процессор не будет делать (в соответствии с Samsung), неправильно классифицировать объект. «Это не превратит яблоко в помидор», — заверил нас один инженер, хотя и не сообщил никаких подробностей. Весьма вероятно, что процессор обучен избегать каких-либо радикальных изменений, если он не распознает, что это за объект.

Вот секрет 8K технологии повышения AI

Читайте:

Windows получает повышение защиты от вирусов... Windows получает повышение защиты от вирусов Microsoft теперь запускает антивирусное программное обеспечение Defender в песочнице для дополнительной безопасности. (СКК). Microsoft предоставила Defender, встроенное антивирусное программное обеспечение Windows 10, значительно повысило уровень безопасности с объявлением о том, что он теперь может р...

Вы также не увидите, как AI изменяет «режиссерские намерения» фильма, как выразилась команда Samsung. Так что, если директор использует эффект боке, размытый фон останется размытым, а передний план будет набран до 8K четкости.

Они также заявили, что они специально не анализируют более популярные потоки для классификации объектов, стремясь больше к общему количеству и разнообразию контента. Таким образом, ни слова, если у них есть формула «дракон» или «дикий волк» для ваших разгульных часов «Игры престолов».

Последняя линейка телевизоров QLED

Новые телевизоры Samsung 8K (и 4K) поставляются с самым последним установленным банком формул, а затем новые данные объекта добавляются с помощью обновлений прошивки, которые необходимо одобрить. Samsung говорит, что продолжит анализировать новые визуальные потоки, чтобы расширить свою библиотеку объектов, но делает это локально на серверах Samsung; он не анализирует данные с телевизоров людей.

Сколько формул объектов Samsung накопил в результате анализа бесконечных потоков? Один из его инженеров дал внушительное количество, которое звучало впечатляюще большим, предполагая, что процессор обычно распознает огромное количество объектов на экране. Но пиарщик вмешался и попросил не печатать номер, сказав, что они предпочитают, чтобы потребители сосредоточились на том, насколько хорошо работает MLSR от Samsung, а не на произвольных цифрах.

Масштабирование AI: новый нормальный?

Samsung не единственный производитель телевизоров, который в настоящее время использует искусственный интеллект и восстановление изображений для своих телевизоров.

Sony, 4K рекламная страница подробно рассказывает о своих решениях для обработки изображений AI. Его новые 4K-телевизоры содержат процессоры с «двойной базой данных» из «десятков тысяч» ссылок на изображения, которые «динамически улучшают [e] пиксели в режиме реального времени».

LG также объявила В преддверии CES 2019 его новый телевизионный чип a9 Gen 2 будет иметь функцию обработки изображений и машинного обучения для улучшения шумоподавления и яркости — отчасти путем анализа источника и типа носителя и соответствующей корректировки его алгоритма.

Однако, помимо элементов AI, кажется, что эти телевизионные процессоры все еще в некоторой степени зависят от автоматических алгоритмов. Когда мы ранее опрошенные Гэвин Маккаррон, технический маркетинг Менеджер по планированию продуктов в Sony Europe, об обработке изображений AI на телевизорах Sony, сказал следующее:

«Когда вы масштабируете с Full HD до 4K, нужно много догадок, и мы пытаемся сделать это, чтобы удалить как можно больше догадок. [Наш процессор] не просто смотрит на пиксель в изоляция, он смотрит на пиксели вокруг него и на каждую диагональ, а также он смотрит на пиксели по нескольким кадрам, чтобы обеспечить согласованность качества изображения ».

Sony, наряду с LG и Samsung, весьма вероятно, использует некоторую форму двустороннего или бикубического алгоритма в качестве базовой системы масштабирования. Затем они анализируют контент с разрешением около 4K и определяют, какие пиксели должны быть дополнены обработкой изображения, а какие должны быть удалены как шум.

В этом смысле большинство производителей телевизоров относительно близки друг к другу в гонке повышения ИИ. Исключением является Samsung, который использует те же методы, но заполняет в четыре раза больше недостающих пикселей, чтобы уместить экран размером 8K. Нам придется подождать и посмотреть, позволят ли усилия других производителей в области искусственного интеллекта им выйти на рынок 8K.

  • Какой телевизор можно купить с технологией 8K от Samsung? Проверьте Samsung Q950R 8K QLED TV

Читайте:

Windows получает повышение защиты от вирусов... Windows получает повышение защиты от вирусов Microsoft теперь запускает антивирусное программное обеспечение Defender в песочнице для дополнительной безопасности. (СКК). Microsoft предоставила Defender, встроенное антивирусное программное обеспечение Windows 10, значительно повысило уровень безопасности с объявлением о том, что он теперь может р...
,