Поля усадки (восстановление изображения)

редактировать

Поля усадки - это случайное поле на основе машинное обучение, который направлен на выполнение высококачественного восстановления изображения (устранение размытия и удаление размытия ) с низкими вычислительными затратами.

Содержание

1 Метод
2 Производительность
3 Преимущества
4 Реализации
5 См. Также
6 Ссылки

Метод

Восстановленное изображение $x {\ displaystyle x}$ $x$ прогнозируется на основе искаженного наблюдения $y {\ displaystyle y}$ $y$ после обучения на наборе образцов изображений $S {\ displaystyle S }$ $S$ .

Функция сжатия (отображение) $f π i (v) = ∑ j = 1 M π i, j exp ⁡ (- γ 2 (v - μ j) 2) {\ displaystyle {f} _ {{\ pi} _ {i}} \ left (v \ right) = {\ sum} _ {j = 1} ^ {M} {\ pi} _ {i, j} \ exp \ left (- {\ frac {\ gamma} {2}} {\ left (v - {\ mu} _ {j} \ right)} ^ {2} \ right)}$ ${\ displaystyle {f} _ {{\ pi} _ {i} } \ left (v \ right) = {\ sum} _ {j = 1} ^ {M} {\ pi} _ {i, j} \ exp \ left (- {\ frac {\ gamma} {2}} {\ left (v - {\ mu} _ {j} \ right)} ^ {2} \ right)}$ непосредственно моделируется как линейная комбинация ядра радиальных базисных функций, где $γ {\ displaystyle \ gamma}$ $\ гамма$ - параметр общей точности, $μ {\ displaystyle \ mu}$ $\ mu$ обозначает (эквидистантные) позиции ядра, а M - количество гауссовских ядер.

Поскольку функция усадки моделируется напрямую, процедура оптимизации сводится к одной квадратичной минимизации на итерацию, обозначаемой как прогноз поля усадки $g Θ (x) = F - 1 [F ( λ КТ Y + ∑ я знак равно 1 NF я T е π я (F ix)) λ К ˇ * ∘ К ˇ + ∑ я = 1 NF ˇ я * ∘ F ˇ я] = Ω - 1 η {\ Displaystyle {г } _ {\ mathrm {\ Theta}} \ left ({\ text {x}} \ right) = {\ mathcal {F}} ^ {- 1} \ left \ lbrack {\ frac {{\ mathcal {F} } \ left (\ lambda {K} ^ {T} y + {\ sum} _ {i = 1} ^ {N} {F} _ {i} ^ {T} {f} _ {{\ pi} _ { i}} \ left ({F} _ {i} x \ right) \ right)} {\ lambda {\ check {K}} ^ {\ text {*}} \ circ {\ check {K}} + { \ sum} _ {i = 1} ^ {N} {\ check {F}} _ {i} ^ {\ text {*}} \ circ {\ check {F}} _ {i}}} \ right \ rbrack = {\ mathrm {\ Omega}} ^ {- 1} \ eta}$ ${\ displaystyle {g} _ {\ mathrm {\ Theta}} \ left ({\ text {x}} \ right) = {\ mathcal {F}} ^ {- 1} \ left \ lbrack {\ frac {{{{ \ mathcal {F}} \ left (\ lambda {K} ^ {T} y + {\ sum} _ {i = 1} ^ {N} {F} _ {i} ^ {T} {f} _ {{ \ pi} _ {i}} \ left ({F} _ {i} x \ right) \ right)} {\ lambda {\ check {K}} ^ {\ text {*}} \ circ {\ check { K}} + {\ sum} _ {i = 1} ^ {N} {\ check {F}} _ {i} ^ {\ text {*}} \ circ {\ check {F}} _ {i} }} \ right \ rbrack = {\ mathrm {\ Omega}} ^ {- 1} \ eta}$ где $F {\ displaystyle {\ mathcal {F}}}$ ${\ mathcal {F}}$ обозначает дискретное преобразование Фурье и $F x {\ displaystyle F_ {x}}$ $F_x$ - это двумерная свертка $f ⊗ x {\ displaystyle {\ text {f}} \ otimes { \ text {x}}}$ ${\ displaystyle {\ text {f}} \ otimes {\ text {x}}}$ с функцией рассеяния точки фильтр, $F ˘ {\ displayst yle {\ breve {F}}}$ ${\ displaystyle {\ breve {F}}}$ - оптическая передаточная функция, определяемая как дискретное преобразование Фурье для $f {\ displaystyle {\ text {f}}}$ ${\ displaystyle {\ text {f}}}$ , и $F ˘ * {\ displaystyle {\ breve {F}} ^ {\ text {*}}}$ ${\ displaystyle {\ breve {F}} ^ {\ text {*}}}$ - комплексное сопряжение $F ˘ {\ displaystyle {\ breve {F} }}$ ${\ displaystyle {\ breve {F}}}$ .

$x ^ t {\ displaystyle {\ hat {x}} _ {t}}$ ${\ displaystyle {\ hat {x}} _ {t}}$ изучается как $x ^ t = g Θ t (x ^ t - 1) { \ Displaystyle {\ hat {x}} _ {t} = {g} _ {{\ mathrm {\ Theta}} _ {t}} \ left ({\ hat {x}} _ {t-1} \ right)}$ ${\ displaystyle {\ hat {x}} _ {t} = {g} _ {{\ mathrm {\ Theta}} _ {t}} \ left ({\ шляпа {х}} _ {т-1} \ справа)}$ для каждой итерации $t {\ displaystyle t}$ $t$ с начальным регистром $x ^ 0 = y {\ displaystyle {\ hat {x}} _ { 0} = y}$ ${\ displaystyle {\ hat {x}} _ {0} = y}$ , это формирует каскад гауссовских условных случайных полей (или каскад полей сжатия (CSF )). Минимизация потерь используется для изучения параметров модели $Θ t = {λ t, π ti, fti} i = 1 N {\ displaystyle {\ mathrm {\ Theta}} _ {t} = {\ left \ lbrace {\ lambda} _ {t}, {\ pi} _ {\ mathit {ti}}, {f} _ {\ mathit {ti}} \ right \ rbrace} _ {i = 1} ^ {N}}$ ${\ displaystyle {\ mathrm {\ Theta }} _ {t} = {\ left \ lbrace {\ lambda} _ {t}, {\ pi} _ {\ mathit {ti}}, {f} _ {\ mathit {ti}} \ right \ rbrace} _ {я = 1} ^ {N}}$ .

Целевая функция обучения определяется как $J (Θ t) = ∑ s = 1 S l (x ^ t (s); xgt (s)) {\ displaystyle J \ left ({\ mathrm {\ Theta }} _ {t} \ right) = {\ sum} _ {s = 1} ^ {S} l \ left ({\ hat {x}} _ {t} ^ {\ left (s \ right)}; {x} _ {gt} ^ {\ left (s \ right)} \ right)}$ ${\ displaystyle J \ left ({\ mathrm {\ Theta}} _ {t} \ right) = {\ sum } _ {s = 1} ^ {S} l \ left ({\ hat {x}} _ {t} ^ {\ left (s \ right)}; {x} _ {gt} ^ {\ left (s \ right)} \ right)}$ , где $l {\ displaystyle l}$ $l$ - дифференцируемый функция потерь, которая жадно минимизируется с использованием обучающих данных ${xgt (s), y (s), k (s)} s = 1 S {\ displaystyle {\ left \ lbrace { x} _ {gt} ^ {\ left (s \ right)}, {y} ^ {\ left (s \ right)}, {k} ^ {\ left (s \ right)} \ right \ rbrace} _ {s = 1} ^ {S}}$ ${\ displaysty ле {\ left \ lbrace {x} _ {gt} ^ {\ left (s \ right)}, {y} ^ {\ left (s \ right)}, {k} ^ {\ left (s \ right) } \ right \ rbrace} _ {s = 1} ^ {S}}$ и $x ^ t (s) {\ displaystyle {\ hat {x}} _ {t} ^ {\ left (s \ right)} }$ ${\ displaystyle {\ шляпа {х}} _ {t} ^ {\ left (s \ right)}}$ .

Производительность

Предварительные тесты автора показывают, что RTF 5 дает немного лучшее шумоподавление. ng, чем $CSF 7 × 7 {3, 4, 5} {\ displaystyle {\ text {CSF}} _ {7 \ times 7} ^ {\ left \ lbrace \ mathrm {3,4,5} \ right \ rbrace}}$ ${\ displaystyle {\ text {CSF}} _ { 7 \ times 7} ^ {\ left \ lbrace \ mathrm {3,4,5} \ right \ rbrace}}$ , за которым следует $CSF 5 × 5 5 {\ displaystyle {\ text {CSF}} _ {5 \ times 5} ^ {5}}$ ${\ displaystyle {\ text {CSF}} _ {5 \ раз 5} ^ {5}}$ , $CSF 7 × 7 2 {\ displaystyle {\ text {CSF}} _ {7 \ times 7} ^ {2}}$ ${\ displaystyle {\ text {CSF}} _ {7 \ times 7} ^ {2}}$ , $CSF 5 × 5 {3, 4} {\ displaystyle {\ text {CSF}} _ {5 \ умножить на 5} ^ {\ left \ lbrace \ mathrm {3,4} \ right \ rbrace}}$ ${\ displaystyle {\ text {CSF}} _ {5 \ times 5} ^ {\ left \ lbrace \ mathrm {3,4} \ right \ rbrace}}$ , и BM3D.

BM3D скорость шумоподавления находится между $CSF 5 × 5 4 {\ displaystyle {\ text {CSF}} _ {5 \ times 5} ^ {4}}$ ${\ displaystyle {\ text {CSF}} _ {5 \ times 5} ^ {4}}$ и $CSF 7 × 7 4 {\ displaystyle {\ text {CSF }} _ {7 \ times 7} ^ {4}}$ ${\ displaystyle {\ text {CSF}} _ {7 \ times 7} ^ {4}}$ , RTF на порядок медленнее.

Преимущества

Результаты сопоставимы с результатами, полученными с помощью BM3D (ссылка на уровень техники шумоподавления с момента его создания в 2007 г.)
Минимальное время работы по сравнению с другими высокими -методы производительности (потенциально применимы в встроенных устройствах )
с возможностью параллельного выполнения (например: возможная реализация на графическом процессоре)
Предсказуемость: $O (D log ⁡ D) {\ displaystyle O (D \ log D)}$ ${\ displaystyle O (D \ log D)}$ среда выполнения, где $D {\ displaystyle D}$ $D$ - количество пикселей
Быстрое обучение даже с CPU

Реализации

Справочник реализация была написана в MATLAB и выпущена под лицензией BSD 2-Clause : shrinkage-fields

См. также

Ссылки

Schmidt, Uwe; Roth, Stefan (2014). Поля усадки для эффективного восстановления изображения (PDF). Компьютерное зрение и Распознавание образов (CVPR), Конференция IEEE 2014 г. Колумбус, Огайо, США: IEEE. DOI : 10.1109 / CVPR.2014.349. ISBN 978-1-4799-5118-5.