Интерполяция изображений посредством оптимизированных преобразований цвета
Минимальная энергия высоких частот.Идея состоит в том, чтобы минимизировать энергию С2 и С3, пропущенные через фильтр верхних частот. Обозначим цветовые компоненты
для изображения размером M×N. Как вариант, для фильтрации С2/С3 по горизонтали и вертикали соответственно, можем применить одномерные фильтры НРх и НРy. Обычно выбирают
Таким образом получаем выражение, которое будем минимизировать:
Э, пропущенное через фильтр HP(x), аналогично для
Оптимальные значения коэффициентов а1 и а2 при ограничении по L1-норме (3) вычисляются по формулам:
Аналогично находим d1 и d2, заменяя в формулах (15) R на B. Вычисления для упрощенно выбранного НРх (к примеру, аппроксимация горизонтальной производной), можно провести на имеющихся малых изображениях, полученных с массива цветных фильтров (см. рис. 1). R и B можно также восстановить каким-нибудь простым способом, например, билинейной фильтрацией разностей R – G и B – G. Затем полученные значения можно использовать для оценки производных. Авторы применили градиентный оператор Собеля, заданный матрицей
Минимальная энергия в частотном интервале. Предложим ещё один подход. Рассмотрим энергию компонент С2 и С3 в частотном интервале. Чтобы наложить оптимальную гладкость, найдём коэффициенты а1, а2, d1 и d2, снижающие энергию на верхних частотах. Одной из возможных формулировок задачи можно назвать минимизацию интеграла
Решение задачи аналогично рассмотренному ранее ((14)), где параметры равны
Здесь символом Re() обозначена вещественная часть комплексного числа, а * – комплексное сопряжённое. В нашей реализации используется дискретное преобразование Фурье, поэтому интегралы
Преобразование начинается с предварительного восстановления R и B по алгоритму, описанному ранее.
Обычно матрицы RR и BB непригодны для преобразования Фурье из-за алиасинга, созданного дискретизацией.
Моделирование
Сначала обсудим сравнение способов, основанных на оптимизациях, предложенных во
2-м и 3-м разделах. Результаты демозаики нескольких рисунков приведены в табл. 1. Все алгоритмы были усовершенствованы способом, описанным в [17].
Как видно из таблицы, все предложенные методы улучшают работу основного метода. Наилучший из них - алгоритм, минимизирующий энергию верхних частот.
Среди статистических методов алгоритм Грама-Шмидта лучше алгоритмов снижения дисперсий и ковариаций С2 и С3,
а это значит, что декорреляция сама по себе не является достаточным критерием оптимизации [14]. Аналогичным образом, неоптимально снижать только дисперсии.
Невырожденность преобразования цвета также важна, и мы убедились в этом, рассматривая метод Грама-Шмидта.
В таблице также приведено сравнение этого алгоритма с другими имеющимися способами, достигающими наилучших результатов [4]: проекция на выпуклые множества [6],
адаптивная фильтрация [18], направленная линейная минимальная средняя квадратичная ошибка [7], локальная полиномиальная аппроксимация [9], дисперсия разностей цветов [8] и
метод корреляции цветов [19] с постобработкой [20]. Их показатели приведены в правой части таблицы. Как видим, алгоритм минимизации высших частот показывает наилучший результат.
См. также рис. 3, где приведены результаты демозаики части 4-го изображения. Заметим, что артефакты на красной куртке наименее заметны при применении предложенных методов.
Заключение
Нами были предложены новые оптимизированные способы преобразования цветов для демозаики изображений. Эти преобразования используются для перехода к другому цветовому пространству,
в котором осуществляется восстановление отсутствующих пикселей. Оптимизация основана в основном на статистических свойствах компонент цвета, таких как минимальная дисперсия или
ковариация. Это увеличивает компактность энергии компонент цвета и снижает ошибку демозаики. Гладкость компонент цвета также возможно увеличить с точки зрения энергии на верхних
частотах изображения или области преобразования Фурье. Так как многие алгоритмы демозаики рассчитаны на гладкость интерполированных цветов, это также улучшает интерполяцию.
Мы представили результаты моделирования основного метода интерполяции с оптимизацией преобразования цвета и без. Сравнив представленный алгоритм с существующими способами демозаики,
можно показать, что алгоритм, снижающий энергию на верхних частотах в области изображения превосходит остальные методы в соответствии с метрикой S-CIELAB и визуальным восприятием.
Оптимизация преобразований цвета может оказаться полезной в задачах демозаики изображений.
Литература
[1] B. E. Bayer, ”Color imaging array”, U.S. Patent
3971065, July 1976.
[2] H. Yamaguchi, ”Efficient Encoding of Colored Pictures
in R, G, B Components”, IEEE Trans. on Communications,
vol. 32, pp. 1201–1209, Nov. 1984.
[3] Y. Roterman and M. Porat, ”Color Image Coding using
Regional Correlation of Primary Colors”, Elsevier Image
and Vision Computing, vol. 25, pp. 637–651, 2007.
[4] X. Li, B. Gunturk and L. Zhang, ”Image Demosaicing:
A Systematic Survey”, Proc. of SPIE, vol. 6822, pp.
68221J–68221J-15, 2008.
[5] J. F. Hamilton and J. E. Adams, ”Adaptive Color Plane
Interpolation in Single Sensor Color Electronic Camera”,
U.S. Patent 5629734, 1997.
[6] B. K. Gunturk, Y. Altunbasak and R. M. Mersereau,
”Color plane interpolation using alternating projections”,
IEEE Trans. Image Proc., vol. 11, pp. 997–1013,
2002.
[7] L. Zhang and X. Wu, ”Color Demosaicking via Directional
Linear Minimum Mean Square-Error Estimation”,
IEEE Trans. on Image Processing, vol. 14, no.
12, pp. 2167–2178, 2005.
[8] K.-H. Chung and Y.-H. Chan, ”Color Demosaicing Using
Variance of Color Differences”, IEEE Trans. on Image
Processing, vol. 15, no. 10, pp. 2944–2955, 2006.
[9] D. Paliy, V. Katkovnik, R. Bilcu, S. Alenius, and K.
Egiazarian, ”Spatially Adaptive Color Filter Array Interpolation
for Noiseless and Noisy Data”, Int. Journal
of IS&T, vol. 17, no. 3, pp. 105-122, 2007.
[10] R. Sher and M. Porat, ”CCD Image Demosaicing using
Localized Correlations”, in Proc. of EUSIPCO, 2007.
[11] R. Kimmel, ”Demosaicing: Image Reconstruction from
Color CCD Samples,” IEEE Trans. Image Proc., vol. 8,
no. 9, pp. 1221–1228, 1999.
[12] C.-Y. Su, ”Highly effective iterative demosaicing using
weighted-edge color-difference interpolations”, IEEE
Trans. Consum. Electron., vol. 52, pp. 639–645, 2006.
[13] C. Kwan and X.Wu, ”A classification approach to color
demosaicing”, Proc. ICIP, pp. 2415–2418, 2004.
[14] E. Gershikov and M. Porat, ”On Color Transforms and
Bit Allocation for Optimal Subband Image Compression”,
Signal Processing: Image Communication, vol.
22, no. 1, pp 1–18, Jan. 2007.
[15] E. Gershikov, E. Lavi-Burlak and M. Porat,
”Correlation-Based Approach to Color Image Compression”,
Signal Processing: Image Communication,
vol. 22, no. 9, pp. 719–733, Oct. 2007.
[16] X. Zhang and B. A. Wandell, ”A spatial extension
of cielab for digital color image reproduction”,
SID Journal, 1997. [Available:
http://white.stanford.edu/∼brian/scielab/scielab.html].
[17] L. Chang and Y.-P. Tan, “Effective use of spatial and
spectral correlations for color filter array demosaicing”,
Trans. Consum. Electron., vol. 50, pp. 355-365, 2004.
[18] N.-X. Lian, L. Chang, Y.-P. Tan and V. Zagorodnov,
”Adaptive filtering for color flter array demosaicking”,
Trans. Image Proc., vol. 16, pp. 2515–2525, 2007.
[19] R. Lukac, K.N. Plataniotis, D. Hatzinakos, and M.
Aleksix, ”A novel cost effective demosaicing approach”,
IEEE Trans. Consum. Electron., vol. 50, no.
1, pp. 256–261, 2004.
[20] R. Lukac, K. Martin and K.N. Plataniotis, ”Demosaicked
image postprocessing using local color ratios”,
Trans. Cir. Sys. Video Tech., vol. 14, pp. 914–920, 2004.
2031