Интерполяция изображений посредством оптимизированных преобразований цвета
IMAGE INTERPOLATION USING OPTIMIZED COLOR TRANSFORMS
Evgeny Gershikov and Moshe Porat
Department of Electrical Engineering, Technion - Israel Institute of Technology
Technion City, 32000, Haifa, Israel
phone: +972-4-8294725, fax: +972-4-8294799, email: eugeny@tx.technion.ac.il
web: http://vision.technion.ac.il/∼eugeny
phone: +972-4-8294684, fax: +972-4-8295757, email: mp@ee.technion.ac.il
web: http://vision.technion.ac.il/mp
17th European Signal Processing Conference (EUSIPCO 2009) Glasgow, Scotland, August 24-28, 2009
Во многих алгоритмах так называмой демозаики (демозаика - процесс преобразования RGB массива в цветное изображение) красная и синяя составляющие рассчитываются согласно интерполированной зелёной составляющей. Хотя дополнительная информация (как, например, статистика цветовых составляющих) может быть легко получена, существующие алгоритмы работают одинаково, не анализируя имеющиеся данные, а это несколько нерационально. В данной статье предложено оптимизированное преобразование цвета для восстановления красной и синей компонент, основанное на свойствах входного изображения. Сравнивая результаты работы предлагаемого оптимизированного алгоритма с другими известными способами, мы покажем, что изображение получается лучше как визуально, так и по показателю качества S-CIELAB. Основываясь на результатах моделирования, мы придём к выводу, что предложенная оптимизация может служить полезным средством в цифровой фотографии.
Введение
Интерполяция изображений активно исследуется с недавних пор. В частности, проблема демозаики привлекает внимание исследователей, так как играет важную роль в различных устройствах захвата изображений. При демозаике полноцветное изображение восстанавливается из изображения, в в каждом пикселе которого известна только одна из цветовых компонент (красная, зелёная или синяя). Обычно массив цветных фильтров (МЦФ) используют по схеме рис. 1. Для того, чтобы получить полноцветное изображение, отсутствующие составляющие (50% зеленых и 75% красных и синих пикселей) должны быть восстановлены по имеющейся информации. Разумеется, высокая корреляция RGB-цветов большинства изображений должна учитываться при восстановлении.Эту проблему можно решить простыми средствами - методом ближайшего соседа (копирование пикселей), билинейным методом (усреднение соседних пикселей), бикубической и сплайн-интерполяцией, - при которых компоненты цвета обрабатываются независимо. Если учесть корреляции между компонентами цвета, можно ожидать, что изображение получится качественней. Одним из способов можно считать восстановление красной и синей составляющих согласно значению зелёной составляющей, значение которой восстанавливается в первую очередь. Так работают последовательные алгоритмы демозаики, если используется фильтр Байера, содержащий вдвое больше зелёных элементов, чем красных или синих. Такие алгоритмы рассмотрены в [5, 6, 7, 8, 9, 10]. Восстановлению зелёного канала было уделено большое внимание, так как он содержит больше информации о яркости изображения, и ошибки в его вычислении окажут отрицательное влияние на красный и синий каналы, содержащие информацию о цветности. Качество интерполяции цветности изображения также немаловажно и заметно влияет на результат алгоритма демозаики в целом.
В непоследовательных алгоритмах могут применяться итеративные способы демозаики. В таком случае происходит одновременная обработка зеленого канала с красным и синим, основанная на отношении [11] или разности [12] цветовых компонент. Одновременное моделирование всех трёх цветов рассмотрено в [13]
Основной метод демозаики
В этом методе мы будем использовать алгоритм, предложенный в [10] для интерполяции красного и синего. Рассмотрим подробно этот алгоритм. Входное изображение, отображаемое на матрице с зарядовой связью (ПЗС-матрица) будем считать состоящим из четырёх малых изображений - RR для красного канала, BB для синего и GR и GB - для зелёного (см. рис. 1). Для каждого пикселя также определим 2 рода соседей - "х" и "+" (см. рис. 2). Идея [10] заключается в том, чтобы восстановить недостающие пиксели изображения зная, в каком отношении состоят пиксель р и его соседи ni малых изображений. Мы будем использовать линейную аппроксимацию, т. е.
(1)
где i - индексы соседей пикселя р, а αi- коэффициент, соответствующий ni в разложении. Полученные коэффициенты αi используются для построения интерполированных изображений на каждом этапе для пикселей каждого рода. Коэффициенты разложения выбираются оптимальными в смысле наименьших квадратов. Для группы пикселей строится линейная система уравнений: p = Nα, где р – вектор пикселей, α – вектор коэффициентов, а N – матрица смежности. Решение этой системы в смысле наименьших квадратов есть α = (NTN)-1NTp. Группы пикселей с оптимизацией по наименьшим квадратам соответствуют областям изображения. Эти области – результат разделения изображения, основанного на отношениях между значениями интенсивности соседей данного пикселя. Следовательно, эти области не обязаны быть связными. Этапы основной демозаики приведены ниже.
1) Зелёная компонента интерполируется методом, представленным в [5]. Этот способ включает фильтрацию шаблона МЦФ по горизонтали и вертикали с последующим выбором горизонтального или вертикального интерполятора или среднего значения интерполяторов в зависимости от направления меньшего из горизонтального и вертикального градиентов. Некоторые другие методы были недавно представлены (см. [7, 8]), однако для простоты мы их не используем.
2) Красная и синяя компоненты восстанавливаются согласно значению зелёной компоненты G*1, при этом рассматриваются разности цветов
, где RCCD и BCCD – исходные значения красного и синего цветов соответственно. Разности восстанавливаются на тех позициях, где известны значения соседей "х"-рода. Разности восстановленных цветов обозначим
3) Те же пиксели, что и на шаге 2, восстанавливаются снова для большей точности алгоритма. В нечётных строках вычисляется и восстанавливается разность цветов
, и, согласно отношениям, вычисленным в чётных строках, восстанавливаются чётные столбцы и их "х"-соседи и наоборот. Результат
используется для вычисления красного и синего значений (R1* и B1*).
4) Оставшиеся отсутствующие пиксели красного и синего цветов восстанавливаются с помощью разностей
и отношений с соседями "+"-рода. Результаты обозначим
5) Окончательно значения красной и синей компонент вычисляются по формулам
Выходной параметр алгоритма –
