Воспроизведение ядра гильбертова пространства

На рисунке показаны связанные, но разные подходы к просмотру RKHS.

В функциональном анализе (раздел математики ) гильбертово пространство воспроизводящего ядра ( RKHS) - это гильбертово пространство функций, в котором точечное вычисление является непрерывным линейным функционалом. Грубо говоря, это означает, что если две функции и в RKHS близки по норме, т. Е. Малы, то и тоже поточечно близки, т. Е. Малы для всех. Обратное не обязательно. ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle \ | fg \ |}$${\ displaystyle f}$${\ displaystyle g}$${\ Displaystyle | е (х) -g (х) |}$${\ displaystyle x}$

Не совсем просто построить гильбертово пространство функций, не являющееся RKHS. Однако некоторые примеры были найдены.

Следует отметить, что L ^- пространства не являются гильбертова пространствами функций (и, следовательно, не RKHSs), а скорее гильбертовые классов эквивалентности функций (например, функция и определен и эквивалентны в L ²). Однако есть RKHS, в которых норма является L ² -нормой, например пространство функций с ограниченной полосой пропускания (см. Пример ниже). ${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle f (x) = 0}$${\ Displaystyle г (х) = 1 _ {\ mathbb {Q}}}$

RKHS связан с ядром, которое воспроизводит каждую функцию в пространстве в том смысле, что для любого в наборе, в котором функции определены, «оценка в » может быть выполнена путем взятия внутреннего продукта с функцией, определенной ядром. Такое воспроизводящее ядро существует тогда и только тогда, когда каждый оценочный функционал непрерывен. ${\ displaystyle x}$${\ displaystyle x}$

Воспроизводящее ядро ​​было впервые введено в 1907 году в работе Станислава Зарембы, посвященной краевым задачам для гармонических и бигармонических функций. Джеймс Мерсер одновременно исследовал функции, которые удовлетворяют свойству воспроизведения в теории интегральных уравнений. Идея воспроизводящего ядра оставалась нетронутой в течение почти двадцати лет, пока не появилась в диссертациях Габора Сегу, Стефана Бергмана и Саломона Бохнера. В конце концов, эта тема была систематически развита в начале 1950-х годов Нахманом Ароншайном и Стефаном Бергманом.

Эти пространства имеют широкое применение, включая комплексный анализ, гармонический анализ и квантовую механику. Воспроизведение ядерных Гильбертовых пространств особенно важно в области теории статистического обучения из-за знаменитой теоремы о представителе, которая гласит, что каждая функция в RKHS, которая минимизирует эмпирический функционал риска, может быть записана как линейная комбинация функции ядра, оцениваемой в точках обучения.. Это практически полезный результат, поскольку он эффективно упрощает задачу минимизации эмпирического риска от бесконечномерной задачи до конечномерной задачи оптимизации.

Для простоты понимания мы даем основу для вещественнозначных гильбертовых пространств. Теория может быть легко расширена на пространства комплекснозначных функций и, следовательно, включает множество важных примеров воспроизведения ядерных гильбертовых пространств, которые являются пространствами аналитических функций.

• 1 Определение
• 2 Пример
• 3 Теорема Мура – ​​Ароншайна.
• 4 Интегральные операторы и теорема Мерсера
• 5 Карты характеристик
• 6 Недвижимость
• 7 Общие примеры
  • 7.1 Билинейные ядра
  • 7.2 Полиномиальные ядра
  • 7.3 Ядра радиальных базисных функций
  • 7.4 ядра Бергмана
• 8 Расширение до векторных функций
• 9 Связь между RKHS с функцией ReLU
• 10 См. Также
• 11 Примечания
• 12 Ссылки

Пусть произвольное множество и в гильбертово пространство из вещественных функций на, оснащенных поточечного сложения и умножения на скаляр точечно. Функционал вычисления в гильбертовом пространстве функций - это линейный функционал, который оценивает каждую функцию в точке, ${\ displaystyle X}$ ${\ displaystyle H}$ ${\ displaystyle X}$ ${\ displaystyle H}$${\ displaystyle x}$

${\ displaystyle L_ {x}: f \ mapsto f (x) {\ text {}} \ forall f \ in H.}$

Будем говорить, что H является воспроизводящим ядром гильбертово пространство, если для всех в, является непрерывной в любой в или, что то же самое, если есть ограниченный оператор на, т.е. существует некоторая такая, что ${\ displaystyle x}$${\ displaystyle X}$${\ displaystyle L_ {x}}$ ${\ displaystyle f}$${\ displaystyle H}$${\ displaystyle L_ {x}}$ ${\ displaystyle H}$${\ displaystyle M_ {x}gt; 0}$

${\ displaystyle | L_ {x} (f) |: = | f (x) | \ leq M_ {x} \, \ | f \ | _ {H} \ qquad \ forall f \ in H. \,}$

( 1)

Хотя это предполагается для всех, все же может быть так. ${\ Displaystyle M_ {х} lt;\ infty}$${\ displaystyle x \ in X}$${\ textstyle \ sup _ {x} M_ {x} = \ infty}$

Хотя свойство ( 1) является самым слабым условием, которое гарантирует как существование внутреннего продукта, так и оценку каждой функции в каждой точке области, оно не поддается легкому применению на практике. Более интуитивное определение RKHS можно получить, заметив, что это свойство гарантирует, что функционал оценки может быть представлен путем взятия внутреннего произведения с функцией в. Эта функция является так называемым воспроизводящим ядром для гильбертова пространства, от которого RKHS получил свое название. Более формально, теорема Рисса представления означает, что для всех в существует единственный элемент из со свойством воспроизведения, ${\ displaystyle H}$${\ displaystyle f}$${\ displaystyle K_ {x}}$${\ displaystyle H}$${\ displaystyle H}$ ${\ displaystyle x}$${\ displaystyle X}$${\ displaystyle K_ {x}}$${\ displaystyle H}$

${\ Displaystyle f (x) = L_ {x} (f) = \ langle f, \ K_ {x} \ rangle _ {H} \ quad \ forall f \ in H.}$

( 2)

Поскольку сама функция определена на значениях в поле (или в случае комплексных гильбертовых пространств), и, как есть, мы имеем, что ${\ displaystyle K_ {x}}$${\ displaystyle X}$${\ Displaystyle \ mathbb {R}}$${\ Displaystyle \ mathbb {C}}$${\ displaystyle K_ {x}}$${\ displaystyle H}$

${\ Displaystyle K_ {x} (y) = L_ {y} (K_ {x}) = \ langle K_ {x}, \ K_ {y} \ rangle _ {H},}$

где элемент, связанный с. ${\ displaystyle K_ {y} \ in H}$${\ displaystyle H}$${\ displaystyle L_ {y}}$

Это позволяет нам определить воспроизводящее ядро как функцию с помощью ${\ displaystyle H}$${\ displaystyle K: X \ times X \ to \ mathbb {R}}$

${\ displaystyle K (x, y) = \ langle K_ {x}, \ K_ {y} \ rangle _ {H}.}$

Из этого определения легко видеть, что (или в комплексном случае) является и симметричным (соответственно сопряженно-симметричным), и положительно определенным, т. Е. ${\ displaystyle K: X \ times X \ to \ mathbb {R}}$${\ Displaystyle \ mathbb {C}}$

${\ displaystyle \ sum _ {i, j = 1} ^ {n} c_ {i} c_ {j} K (x_ {i}, x_ {j}) = \ sum _ {i = 1} ^ {n} c_ {i} \ left \ langle K_ {x_ {i}}, \ sum _ {j = 1} ^ {n} c_ {j} K_ {x_ {j}} \ right \ rangle _ {H} = \ left \ langle \ sum _ {i = 1} ^ {n} c_ {i} K_ {x_ {i}}, \ sum _ {j = 1} ^ {n} c_ {j} K_ {x_ {j}} \ right \ rangle _ {H} = \ left \ | \ sum _ {i = 1} ^ {n} c_ {i} K_ {x_ {i}} \ right \ | _ {H} ^ {2} \ geq 0 }$

для любой Теорема Мура – ​​Ароншайна (см. ниже) является своего рода обращением к этому: если функция удовлетворяет этим условиям, то существует гильбертово пространство функций, для которого она является воспроизводящим ядром. ${\ displaystyle n \ in \ mathbb {N}, x_ {1}, \ dots, x_ {n} \ in X, {\ text {and}} c_ {1}, \ dots, c_ {n} \ in \ mathbb {R}.}$${\ displaystyle K}$${\ displaystyle X}$

Пространство узкополосных непрерывных функций является RKHS, как мы сейчас покажем. Формально зафиксируем некоторую частоту отсечки и определим гильбертово пространство ${\ displaystyle H}$ ${\ Displaystyle 0 lt;а lt;\ infty}$

${\ Displaystyle H = \ {е \ в C (\ mathbb {R}) \ mid \ OperatorName {supp} (F) \ subset [-a, a] \}}$

где - множество непрерывных функций, а - преобразование Фурье функции. ${\ Displaystyle С (\ mathbb {R})}$${\ textstyle F (\ omega) = \ int _ {- \ infty} ^ {\ infty} f (t) e ^ {- я \ omega t} dt}$ ${\ displaystyle f}$

Из теоремы обращения Фурье имеем

${\ displaystyle f (x) = {\ frac {1} {2 \ pi}} \ int _ {- a} ^ {a} F (\ omega) e ^ {ix \ omega} d \ omega.}$

Затем следует из неравенства Коши-Шварца и теоремы Планшереля, что для всех, ${\ displaystyle x}$

${\ Displaystyle | е (х) | \ leq {\ frac {1} {2 \ pi}} {\ sqrt {\ int _ {- a} ^ {a} 2a | F (\ omega) | ^ {2} d \ omega}} = {\ frac {1} {\ pi}} {\ sqrt {{\ frac {a} {2}} \ int _ {- \ infty} ^ {\ infty} | F (\ omega) | ^ {2} d \ omega}} = {\ sqrt {\ frac {a} {\ pi}}} \ | f \ | _ {L ^ {2}}.}$

Это неравенство показывает, что оценивающий функционал ограничен, что доказывает, что это действительно RKHS. ${\ displaystyle H}$

Функция ядра в этом случае определяется выражением ${\ displaystyle K_ {x}}$

${\ displaystyle K_ {x} (y) = {\ frac {a} {\ pi}} \ operatorname {sinc} (a (yx)) = {\ frac {\ sin (a (yx))} {\ pi (yx)}}.}$

Чтобы убедиться в этом, сначала отметим, что преобразование Фурье, определенное выше, задается формулой ${\ displaystyle K_ {x} (y)}$

${\ displaystyle \ int _ {- \ infty} ^ {\ infty} K_ {x} (y) e ^ {- i \ omega y} dy = {\ begin {cases} e ^ {- i \ omega x} amp; {\ text {if}} \ omega \ in [-a, a], \\ 0 amp; {\ text {if}} {\ textrm {else}}, \ end {case}}}$

что является следствием сдвига во времени преобразования Фурье. Следовательно, используя теорему Планшереля, имеем

${\ displaystyle \ langle f, K_ {x} \ rangle _ {L ^ {2}} = \ int _ {- \ infty} ^ {\ infty} f (y) \ cdot {\ overline {K_ {x} ( y)}} dy = {\ frac {1} {2 \ pi}} \ int _ {- a} ^ {a} F (\ omega) \ cdot e ^ {i \ omega x} d \ omega = f ( Икс).}$

Таким образом, мы получаем воспроизводящее свойство ядра.

Обратите внимание, что в данном случае это «версия с ограничением полосы частот» дельта-функции Дирака, которая сходится к в слабом смысле, поскольку частота среза стремится к бесконечности. ${\ displaystyle K_ {x}}$ ${\ displaystyle K_ {x} (y)}$${\ displaystyle \ delta (yx)}$${\ displaystyle a}$

Мы видели, как гильбертово пространство воспроизводящего ядра определяет функцию воспроизводящего ядра, которая является как симметричной, так и положительно определенной. Теорема Мура – ​​Ароншайна идет в другом направлении; он утверждает, что каждое симметричное, положительно определенное ядро ​​определяет уникальное воспроизводящее ядро ​​гильбертова пространство. Теорема впервые появилась в Теории воспроизводства ядер Ароншайна, хотя он приписывает ее Э. Х. Муру.

Теорема. Пусть K является симметричной, положительно определенная ядро на множестве X. Тогда существует единственное гильбертово пространство функций на X, для которого K является воспроизводящим ядром.

Доказательство. Для всех x в X определим K x = K ( x, ⋅). Пусть H 0 - линейная оболочка { K x  : x ∈ X }. Определите внутренний продукт на H 0 с помощью

${\ displaystyle \ left \ langle \ sum _ {j = 1} ^ {n} b_ {j} K_ {y_ {j}}, \ sum _ {i = 1} ^ {m} a_ {i} K_ {x_ {i}} \ right \ rangle _ {H_ {0}} = \ sum _ {i = 1} ^ {m} \ sum _ {j = 1} ^ {n} {a_ {i}} b_ {j} K (y_ {j}, x_ {i}),}$

что подразумевает. Симметрия этого внутреннего произведения следует из симметрии K, а невырожденность следует из того факта, что K положительно определен. ${\ displaystyle K (x, y) = \ left \ langle K_ {x}, K_ {y} \ right \ rangle _ {H_ {0}}}$

Пусть Н будет на завершение из H 0 по отношению к этому внутреннему продукту. Тогда H состоит из функций вида

${\ displaystyle f (x) = \ sum _ {i = 1} ^ {\ infty} a_ {i} K_ {x_ {i}} (x) \ quad {\ text {where}} \ quad \ lim _ { n \ to \ infty} \ sup _ {p \ geq 0} \ left \ | \ sum _ {i = n} ^ {n + p} a_ {i} K_ {x_ {i}} \ right \ | _ { H_ {0}} = 0.}$

Теперь мы можем проверить воспроизводящее свойство ( 2):

${\ displaystyle \ langle f, K_ {x} \ rangle _ {H} = \ sum _ {i = 1} ^ {\ infty} a_ {i} \ left \ langle K_ {x_ {i}}, K_ {x } \ right \ rangle _ {H_ {0}} = \ sum _ {i = 1} ^ {\ infty} a_ {i} K (x_ {i}, x) = f (x).}$

Чтобы доказать единственность, пусть G - другое гильбертово пространство функций, для которого K - воспроизводящее ядро. Для любых x и y из X из ( 2) следует, что

${\ displaystyle \ langle K_ {x}, K_ {y} \ rangle _ {H} = K (x, y) = \ langle K_ {x}, K_ {y} \ rangle _ {G}.}$

По линейности на размахе. Тогда, поскольку G полна и содержит H 0, а значит, и свое пополнение. ${\ Displaystyle \ langle \ cdot, \ cdot \ rangle _ {H} = \ langle \ cdot, \ cdot \ rangle _ {G}}$${\ displaystyle \ {K_ {x}: x \ in X \}}$${\ Displaystyle H \ подмножество G}$

Теперь мы должны доказать, что каждый элемент из G в H. Пусть элемент из G. Поскольку H - замкнутое подпространство в G, мы можем написать где и. Теперь, если тогда, поскольку K является воспроизводящим ядром G и H: ${\ displaystyle f}$${\ displaystyle f = f_ {H} + f_ {H ^ {\ bot}}}$${\ displaystyle f_ {H} \ in H}$${\ displaystyle f_ {H ^ {\ bot}} \ in H ^ {\ bot}}$${\ displaystyle x \ in X}$

${\ displaystyle f (x) = \ langle K_ {x}, f \ rangle _ {G} = \ langle K_ {x}, f_ {H} \ rangle _ {G} + \ langle K_ {x}, f_ { H ^ {\ bot}} \ rangle _ {G} = \ langle K_ {x}, f_ {H} \ rangle _ {G} = \ langle K_ {x}, f_ {H} \ rangle _ {H} = f_ {H} (x),}$

где мы использовали тот факт, что принадлежит H, так что его внутреннее произведение с в G равно нулю. Это показывает, что в G, и завершает доказательство. ${\ displaystyle K_ {x}}$${\ displaystyle f_ {H ^ {\ bot}}}$${\ displaystyle f = f_ {H}}$

Мы можем охарактеризовать симметричное положительно определенное ядро ​​с помощью интегрального оператора, используя теорему Мерсера, и получить дополнительное представление о RKHS. Пусть - компактное пространство, снабженное строго положительной конечной борелевской мерой и непрерывной, симметричной и положительно определенной функцией. Определим интегральный оператор как ${\ displaystyle K}$ ${\ displaystyle X}$ ${\ displaystyle \ mu}$${\ displaystyle K: X \ times X \ to \ mathbb {R}}$${\ Displaystyle T_ {K}: L_ {2} (X) \ to L_ {2} (X)}$

${\ Displaystyle [T_ {K} f] (\ cdot) = \ int _ {X} K (\ cdot, t) f (t) \, d \ mu (t)}$

где - пространство квадратично интегрируемых функций по. ${\ displaystyle L_ {2} (X)}$${\ displaystyle \ mu}$

Теорема Мерсера утверждает, что спектральное разложение интегрального оператора от дает представление ряда через собственные значения и собственные функции. Тогда это означает, что это воспроизводящее ядро, так что соответствующий RKHS может быть определен в терминах этих собственных значений и собственных функций. Подробности приводим ниже. ${\ displaystyle T_ {K}}$${\ displaystyle K}$${\ displaystyle K}$${\ displaystyle T_ {K}}$${\ displaystyle K}$

В этих предположениях - компактный, непрерывный, самосопряженный и положительный оператор. Из спектральной теоремы для самосопряженных операторов следует, что существует не более чем счетная убывающая последовательность такая, что и, где форма является ортонормированным базисом. По положительности для всех Можно также показать, что непрерывно отображается в пространство непрерывных функций, и поэтому мы можем выбирать непрерывные функции в качестве собственных векторов, то есть для всех Тогда по теореме Мерсера можно записать в терминах собственных значений и непрерывных собственных функций в виде ${\ displaystyle T_ {K}}$ ${\ Displaystyle (\ sigma _ {я}) _ {я} \ geq 0}$${\ textstyle \ lim _ {я \ к \ infty} \ sigma _ {я} = 0}$${\ Displaystyle Т_ {К} \ фи _ {я} (х) = \ сигма _ {я} \ фи _ {я} (х)}$${\ Displaystyle \ {\ phi _ {я} \}}$${\ displaystyle L_ {2} (X)}$${\ displaystyle T_ {K}, \ sigma _ {i}gt; 0}$${\ displaystyle i.}$${\ displaystyle T_ {K}}$${\ Displaystyle C (X)}$${\ Displaystyle \ phi _ {я} \ в C (X)}$${\ displaystyle i.}$${\ displaystyle K}$

${\ Displaystyle К (х, y) = \ сумма _ {j = 1} ^ {\ infty} \ sigma _ {j} \, \ phi _ {j} (x) \, \ phi _ {j} (y)}$

для всех таких, что ${\ displaystyle x, y \ in X}$

${\ displaystyle \ lim _ {n \ to \ infty} \ sup _ {u, v} \ left | K (u, v) - \ sum _ {j = 1} ^ {n} \ sigma _ {j} \, \ phi _ {j} (u) \, \ phi _ {j} (v) \ right | = 0.}$

Это последовательное представление называется ядром Mercer или представлением Mercer. ${\ displaystyle K}$

Кроме того, можно показать, что RKHS из дается ${\ displaystyle H}$${\ displaystyle K}$

${\ Displaystyle H = \ left \ {е \ in L_ {2} (X) \ left | \ sum _ {i = 1} ^ {\ infty} {\ frac {\ left \ langle f, \ phi _ {i } \ right \ rangle _ {L_ {2}} ^ {2}} {\ sigma _ {i}}} lt;\ infty \ right. \ right \}}$

где внутренний продукт данного ${\ displaystyle H}$

${\ displaystyle \ left \ langle f, g \ right \ rangle _ {H} = \ sum _ {i = 1} ^ {\ infty} {\ frac {\ left \ langle f, \ phi _ {i} \ right \ rangle _ {L_ {2}} \ left \ langle g, \ phi _ {i} \ right \ rangle _ {L_ {2}}} {\ sigma _ {i}}}.}$

Это представление RKHS имеет применение в вероятности и статистике, например, в представлении Карунена-Лоева для случайных процессов и ядра PCA.

Карта особенностью является карта, где есть гильбертово пространство, которое мы будем называть признакового пространства. В первых разделах была представлена ​​связь между ограниченными / непрерывными оценочными функциями, положительно определенными функциями и интегральными операторами, а в этом разделе мы даем другое представление RKHS в терминах карт характеристик. ${\ Displaystyle \ varphi \ двоеточие X \ rightarrow F}$${\ displaystyle F}$

Сначала отметим, что каждая карта функций определяет ядро ​​через

${\ Displaystyle К (х, y) = \ langle \ varphi (x), \ varphi (y) \ rangle _ {F}.}$

( 3)

Ясно, что симметричность и положительная определенность следует из свойств скалярного произведения в. И наоборот, каждая положительно определенная функция и соответствующее воспроизводящее ядро ​​гильбертова пространство имеет бесконечно много связанных отображений признаков, таких что выполняется ( 3). ${\ displaystyle K}$${\ displaystyle F}$

Например, можно банально взять и для всех. Тогда ( 3) удовлетворяется свойством воспроизведения. Другой классический пример карты признаков относится к предыдущему разделу, касающемуся интегральных операторов, взяв и. ${\ Displaystyle F = H}$${\ Displaystyle \ varphi (х) = К_ {х}}$${\ displaystyle x \ in X}$${\ Displaystyle F = \ ell ^ {2}}$${\ Displaystyle \ varphi (х) = ({\ sqrt {\ sigma _ {я}}} \ phi _ {я} (х)) _ {я}}$

Эта связь между ядрами и картами функций дает нам новый способ понять положительно определенные функции и, следовательно, воспроизводить ядра как внутренние продукты в. Более того, каждая карта признаков может естественным образом определять RKHS посредством определения положительно определенной функции. ${\ displaystyle H}$

Наконец, карты функций позволяют нам создавать функциональные пространства, раскрывающие другую перспективу RKHS. Рассмотрим линейное пространство

${\ Displaystyle H _ {\ varphi} = \ {е: X \ к \ mathbb {R} | \ существует w \ in F, f (x) = \ langle w, \ varphi (x) \ rangle _ {F}, \ forall {\ text {}} x \ in X \}.}$

Мы можем определить норму по формуле ${\ displaystyle H _ {\ varphi}}$

${\ Displaystyle \ | е \ | _ {\ varphi} = \ inf \ {\ | w \ | _ {F}: w \ in F, f (x) = \ langle w, \ varphi (x) \ rangle _ {F}, \ forall {\ text {}} x \ in X \}.}$

Можно показать, что это RKHS с ядром, определенным. Это представление подразумевает, что элементы воспроизводящего ядра являются внутренними продуктами элементов в пространстве функций. Этот взгляд на RKHS связан с уловкой ядра в машинном обучении. ${\ displaystyle H _ {\ varphi}}$${\ Displaystyle К (х, y) = \ langle \ varphi (x), \ varphi (y) \ rangle _ {F}}$

Читателям могут быть полезны следующие свойства RKHS.

• Пусть - последовательность множеств и - набор соответствующих положительно определенных функций на. Из этого следует, что ${\ Displaystyle (X_ {я}) _ {я = 1} ^ {p}}$${\ Displaystyle (К_ {я}) _ {я = 1} ^ {p}}$${\ displaystyle (X_ {i}) _ {i = 1} ^ {p}.}$

  ${\ Displaystyle К ((x_ {1}, \ ldots, x_ {p}), (y_ {1}, \ ldots, y_ {p})) = K_ {1} (x_ {1}, y_ {1}) \ cdots K_ {p} (x_ {p}, y_ {p})}$

  это ядро ​​на ${\ displaystyle X = X_ {1} \ times \ dots \ times X_ {p}.}$

• Пусть тогда ограничение на также является воспроизводящим ядром.${\ displaystyle X_ {0} \ subset X,}$${\ displaystyle K}$${\ displaystyle X_ {0} \ times X_ {0}}$
• Рассмотрим нормализованное ядро, такое что для всех. Определим псевдометрику на X как ${\ displaystyle K}$${\ Displaystyle К (х, х) = 1}$${\ displaystyle x \ in X}$

  ${\ displaystyle d_ {K} (x, y) = \ | K_ {x} -K_ {y} \ | _ {H} ^ {2} = 2 (1-K (x, y)) \ qquad \ forall х \ в X.}$

  По неравенству Коши-Шварца,

  ${\ Displaystyle К (х, y) ^ {2} \ Leq К (х, х) К (y, y) = 1 \ qquad \ forall x, y \ in X.}$

  Это неравенство позволяет нам рассматривать как меру сходства между входными данными. Если они похожи, то будет ближе к 1, а если не похожи, то будет ближе к 0.${\ displaystyle K}$ ${\ displaystyle x, y \ in X}$${\ Displaystyle К (х, у)}$${\ displaystyle x, y \ in X}$${\ Displaystyle К (х, у)}$

• Замыкание пролета совпадает с.${\ displaystyle \ {K_ {x} \ mid x \ in X \}}$${\ displaystyle H}$

Билинейные ядра

${\ Displaystyle К (х, y) = \ langle x, y \ rangle}$

RKHS, соответствующий этому ядру, является дуальным пространством, состоящим из функций, удовлетворяющих. ${\ displaystyle H}$${\ Displaystyle е (х) = \ langle х, \ бета \ rangle}$${\ Displaystyle \ | е \ | _ {Н} ^ {2} = \ | \ бета \ | ^ {2}}$

Полиномиальные ядра

${\ Displaystyle К (х, y) = (\ альфа \ langle х, y \ rangle +1) ^ {d}, \ qquad \ alpha \ in \ mathbb {R}, d \ in \ mathbb {N}}$

Ядра радиальных базисных функций

Это еще один распространенный класс ядер, удовлетворяющих требованиям. Вот некоторые примеры: ${\ Displaystyle К (х, у) = К (\ | ху \ |)}$

• Гауссово или квадратное экспоненциальное ядро:

  ${\ Displaystyle К (х, у) = е ^ {- {\ гидроразрыва {\ | ху \ | ^ {2}} {2 \ sigma ^ {2}}}}, \ qquad \ sigmagt; 0}$

• Ядро Лапласа:

  ${\ Displaystyle К (х, у) = е ^ {- {\ гидроразрыва {\ | ху \ |} {\ sigma}}}, \ qquad \ sigmagt; 0}$

  Квадрат нормы функции в RKHS с этим ядром равен: ${\ displaystyle f}$${\ displaystyle H}$

  ${\ Displaystyle \ | е \ | _ {H} ^ {2} = \ int f (x) ^ {2} dx + \ int f '(x) ^ {2} dx}$.

Ядра Бергмана

Мы также приводим примеры ядер Бергмана. Пусть X конечна, и пусть H состоит из всех комплексных функций на X. Тогда элемент H можно представить как массив комплексных чисел. Если используется обычный внутренний продукт, то K x - это функция, значение которой равно 1 в точке x и 0 везде, и ее можно рассматривать как единичную матрицу, поскольку ${\ Displaystyle К (х, у)}$

${\ Displaystyle К (х, y) = {\ begin {case} 1 amp; x = y \\ 0 amp; x \ neq y \ end {cases}}}$

В этом случае H изоморфна. ${\ Displaystyle \ mathbb {C} ^ {п}}$

Случай (где обозначает единичный диск ) более сложный. Здесь пространство Бергмана - это пространство голоморфных функций, интегрируемых с квадратом на. Можно показать, что воспроизводящее ядро для является ${\ Displaystyle X = \ mathbb {D}}$${\ Displaystyle \ mathbb {D}}$ ${\ Displaystyle Н ^ {2} (\ mathbb {D})}$ ${\ Displaystyle \ mathbb {D}}$${\ Displaystyle Н ^ {2} (\ mathbb {D})}$

${\ displaystyle K (x, y) = {\ frac {1} {\ pi}} {\ frac {1} {(1-x {\ overline {y}}) ^ {2}}}.}$

Наконец, пространство функций с ограниченной полосой пропускания с полосой пропускания - это RKHS с воспроизводящим ядром. ${\ Displaystyle L ^ {2} (\ mathbb {R})}$${\ displaystyle 2a}$

${\ displaystyle K (x, y) = {\ frac {\ sin a (xy)} {\ pi (xy)}}.}$

В этом разделе мы расширяем определение RKHS на пространства векторных функций, поскольку это расширение особенно важно для многозадачного обучения и регуляризации многообразий. Основное отличие состоит в том, что воспроизводящее ядро является симметричной функцией, которая теперь является положительной полуопределенной матрицей для любого in. Более формально, мы определяем вектор-RKHS (vvRKHS) как гильбертово пространство функций, таких что для всех и${\ displaystyle \ Gamma}$${\ displaystyle x, y}$${\ displaystyle X}$${\ displaystyle f: X \ to \ mathbb {R} ^ {T}}$${\ displaystyle c \ in \ mathbb {R} ^ {T}}$${\ displaystyle x \ in X}$

${\ Displaystyle \ Gamma _ {x} c (y) = \ Gamma (x, y) c \ in H {\ text {for}} y \ in X}$

а также

${\ displaystyle \ langle f, \ Gamma _ {x} c \ rangle _ {H} = f (x) ^ {\ intercal} c.}$

Это второе свойство аналогично воспроизводящему свойству для скалярнозначного случая. Отметим, что это определение также может быть связано с интегральными операторами, ограниченными оценочными функциями и отображениями признаков, как мы видели для скалярнозначного RKHS. Мы можем эквивалентным образом определить vvRKHS как векторное гильбертово пространство с ограниченным оценивающим функционалом и показать, что это влечет существование единственного воспроизводящего ядра по теореме о представлении Рисса. Теорема Мерсера также может быть расширена, чтобы обратиться к векторной настройке, и, следовательно, мы можем получить представление карты функций vvRKHS. Наконец, можно также показать, что замыкание диапазона совпадает с другим свойством, аналогичным скалярнозначному случаю. ${\ displaystyle \ {\ Gamma _ {x} c: x \ in X, c \ in \ mathbb {R} ^ {T} \}}$${\ displaystyle H}$

Мы можем получить представление о vvRKHS, покомпонентно рассматривая эти пространства. В частности, мы обнаруживаем, что каждый vvRKHS изометрически изоморфен скалярнозначному RKHS на конкретном входном пространстве. Пусть. Рассмотрим пространство и соответствующее воспроизводящее ядро ${\ Displaystyle \ Lambda = \ {1, \ точки, T \}}$${\ displaystyle X \ times \ Lambda}$

${\ displaystyle \ gamma: X \ times \ Lambda \ times X \ times \ Lambda \ to \ mathbb {R}.}$

( 4)

Как отмечалось выше, RKHS, связанный с этим воспроизводящим ядром, задается закрытием диапазона where для каждого набора пар. ${\ displaystyle \ {\ gamma _ {(x, t)}: x \ in X, t \ in \ Lambda \}}$${\ Displaystyle \ гамма _ {(х, т)} (у, s) = \ гамма ((х, т), (у, s))}$${\ Displaystyle (х, т), (у, s) \ в х \ раз \ лямбда}$

Связь со скалярнозначным RKHS тогда может быть сделана тем фактом, что каждое матричнозначное ядро ​​можно отождествить с ядром вида ( 4) с помощью

${\ displaystyle \ Gamma (x, y) _ {(t, s)} = \ gamma ((x, t), (y, s)).}$

Более того, каждое ядро ​​вида ( 4) определяет матричнозначное ядро ​​с указанным выше выражением. Теперь позволяя определить карту как ${\ displaystyle D: H _ {\ Gamma} \ to H _ {\ gamma}}$

${\ displaystyle (Df) (x, t) = \ langle f (x), e_ {t} \ rangle _ {\ mathbb {R} ^ {T}}}$

где - компонент канонического базиса для, можно показать, что он биективен и есть изометрия между и. ${\ displaystyle e_ {t}}$${\ displaystyle t ^ {th}}$${\ Displaystyle \ mathbb {R} ^ {T}}$${\ displaystyle D}$${\ displaystyle H _ {\ Gamma}}$${\ displaystyle H _ {\ gamma}}$

Хотя этот взгляд на vvRKHS может быть полезен при многозадачном обучении, эта изометрия не сводит изучение случая векторных значений к случаю скалярных значений. Фактически, эта процедура изометрии может сделать как скалярное ядро, так и входное пространство слишком сложными для практической работы, поскольку свойства исходных ядер часто теряются.

Важным классом матричнозначных воспроизводящих ядер являются разделяемые ядра, которые можно факторизовать как произведение скалярнозначного ядра и -мерной симметричной положительно полуопределенной матрицы. В свете нашего предыдущего обсуждения эти ядра имеют вид ${\ displaystyle T}$

${\ Displaystyle \ гамма ((х, т), (у, s)) = К (х, у) K_ {T} (т, s)}$

для всех в и в. Поскольку скалярное ядро ​​кодирует зависимости между входами, мы можем наблюдать, что матричное ядро ​​кодирует зависимости между входами и выходами. ${\ displaystyle x, y}$${\ displaystyle X}$${\ displaystyle t, s}$${\ displaystyle T}$

Наконец, отметим, что вышеупомянутая теория может быть распространена на пространства функций со значениями в функциональных пространствах, но получение ядер для этих пространств является более сложной задачей.

Функция ReLU обычно определяется как основа архитектуры нейронных сетей, где она используется в качестве функции активации. Можно построить ReLU-подобную нелинейную функцию, используя теорию воспроизводящих ядерных гильбертовых пространств. Ниже мы выводим эту конструкцию и показываем, как она подразумевает репрезентативную мощность нейронных сетей с активациями ReLU. ${\ Displaystyle е (х) = \ макс (0, х)}$

Мы будем работать с гильбертовым пространством абсолютно непрерывных функций с квадратично интегрируемой (т. Е.) Производной. Он имеет внутренний продукт ${\ Displaystyle {\ mathcal {H}} = L_ {2} ^ {1} (0) [0, \ infty)}$${\ displaystyle f (0) = 0}$${\ displaystyle L_ {2}}$

${\ displaystyle \ langle f, g \ rangle _ {\ mathcal {H}} = \ int _ {0} ^ {\ infty} f '(x) g' (x) dx.}$

Для построения воспроизводящего ядра достаточно рассмотреть плотное подпространство, поэтому пусть и. Тогда основная теорема исчисления дает ${\ Displaystyle е \ в С ^ {1} [0, \ infty)}$${\ displaystyle f (0) = 0}$

${\ displaystyle f (y) = \ int _ {0} ^ {y} f '(x) dx = \ int _ {0} ^ {\ infty} G (x, y) f' (x) dx = \ langle K_ {y} (\ cdot), f \ rangle}$

где

${\ displaystyle G (x, y) = {\ begin {cases} 1, amp; x lt;y \\ 0, amp; {\ text {else}} \ end {cases}}}$

и т.е. ${\ displaystyle K_ {y} ^ {\ prime} (x) = G (x, y), \ K_ {y} (0) = 0}$

${\ Displaystyle К (x, y) = K_ {y} (x) = \ int _ {0} ^ {x} G (z, y) dz = {\ begin {cases} x, amp; 0 \ leq x lt;y \\ y, amp; {\ text {else}}. \ end {case}} = \ min (x, y)}$

Это подразумевает воспроизводит. ${\ Displaystyle К_ {у} = К (\ cdot, y)}$${\ displaystyle f}$

Переходя к пределу, мы получаем функцию ReLU, ${\ displaystyle y \ to \ infty}$

${\ displaystyle K _ {\ infty} (x) = {\ begin {case} x, amp; {\ text {if}} x \ geq 0 \\ 0, amp; {\ text {else}} \ end {cases}} = \ operatorname {ReLU} (x)}$

Используя эту формулировку, мы можем применить теорему о представителе к RKHS, позволяя доказать оптимальность использования активаций ReLU в настройках нейронной сети.

• Положительно определенное ядро
• Теорема Мерсера
• Уловка ядра
• Встраивание распределений в ядро
• Теорема о представителях

• Альварес, Маурисио, Росаско, Лоренцо и Лоуренс, Нил, «Ядра для векторно-значных функций: обзор», https://arxiv.org/abs/1106.6251, июнь 2011 г.
• Ароншайн, Нахман (1950). «Теория воспроизводства ядер». Труды Американского математического общества. 68 (3): 337–404. DOI : 10.1090 / S0002-9947-1950-0051437-7. JSTOR   1990404. Руководство по ремонту   0051437.
• Берлинет, Ален и Томас, Кристина. Воспроизведение ядерных гильбертовых пространств в теории вероятностей и статистики, Kluwer Academic Publishers, 2004.
• Кукер, Фелипе; Смейл, Стив (2002). «О математических основах обучения». Бюллетень Американского математического общества. 39 (1): 1–49. DOI : 10.1090 / S0273-0979-01-00923-5. Руководство по ремонту   1864085.
• Де Вито, Эрнест, Уманита, Вероника и Вилла, Сильвия. «Расширение теоремы Мерсера на векторные измеримые ядра», arXiv : 1110.4017, июнь 2013 г.
• Дарретт, Грег. 9.520 Примечания к курсу, Массачусетский технологический институт, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, февраль 2010 г.
• Кимелдорф, Джордж; Вахба, Грейс (1971). «Некоторые результаты о чебичефских сплайновых функциях» (PDF). Журнал математического анализа и приложений. 33 (1): 82–95. DOI : 10.1016 / 0022-247X (71) 90184-3. Руководство по ремонту   0290013.
• Окутмустур, Бавер. «Воспроизведение гильбертовых пространств ядра», докторская диссертация, Билькентский университет, http://www.thesis.bilkent.edu.tr/0002953.pdf, август 2005 г.
• Полсен, Верн. «Введение в теорию воспроизведения ядерных гильбертовых пространств», http://www.math.uh.edu/~vern/rkhs.pdf.
• Стейнварт, Инго; Сковел, Клинт (2012). «Теорема Мерсера об общих областях: о взаимодействии между мерами, ядрами и RKHS». Констр. Прибл. 35 (3): 363–417. DOI : 10.1007 / s00365-012-9153-3. Руководство по ремонту   2914365.
• Росаско, Лоренцо и Поджио, Томас. Рукопись «Регуляризационный тур по машинному обучению - MIT 9.520», декабрь 2014 г.
• Вахба, Грейс, Сплайн-модели для данных наблюдений, SIAM, 1990.
• Чжан, Хайчжан; Сюй Юешэн; Чжан, Цинхуэй (2012). «Уточнение операторных воспроизводящих ядер» (PDF). Журнал исследований в области машинного обучения. 13: 91–136.