Нейроинформатика

Универсальные аппроксимационные способности произвольной нелинейности и обобщенная теорема Стоуна


В этом разделе для множеств непрерывных функций, замкнутых относительно любой нелинейной операции (а не только для колец), доказана обобщенная аппроксимационная теорема Стоуна. Это интерпретируется как утверждение о универсальных аппроксимационных возможностях произвольной нелинейности: с помощью линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с любой наперед заданной точностью.

Рассмотрим компактное пространство X и алгебру C(X) непрерывных функций на X с вещественными значениями.

Кроме аппроксимации функций многочленами и их обобщениями из колец функций, разделяющих точки, в последнее время все большее внимание уделяется приближению функций многих переменных с помощью линейных операций и суперпозиций функций одного переменного. Такое приближение осуществляется специальными формальными "устройствами" - нейронными сетями. Каждая сеть состоит из формальных нейронов. Нейрон получает на входе вектор сигналов x, вычисляет его скалярное произведение на вектор весов a и некоторую функцию одного переменного

. Результат рассылается на входы других нейронов или передается на выход. Таким образом, нейронные сети вычисляют суперпозиции простых функций одного переменного и их линейных комбинаций.

Доказан ряд теорем [1.8, 1.9, 1.10] об аппроксимации непрерывных функций многих переменных нейронными сетями с использованием практически произвольной непрерывной функции одного переменного. В данном разделе мы покажем, что эта функция действительно может быть произвольной и докажем обобщенную теорему Стоуна, естественным образом охватывающую и классическую теорему Стоуна, и аппроксимацию функций многих переменных суперпозициями и линейными комбинациями функций одного переменного.

Чтобы получить требуемое обобщение, перейдем от рассмотрения колец функций к изучению их алгебр, замкнутых относительно некоторой нелинейной унарной операции.

Пусть

- линейное пространство, C(R) - пространство непрерывных функций на действительной оси R,
- нелинейная функция и для любого
выполнено
.
В этом случае будем говорить, что E замкнуто относительно нелинейной унарной операции f.

Очевидный пример: множество функций n переменных, которые можно точно представить, используя заданную функцию одного переменного и линейные функции, является линейным пространством, замкнутым относительно нелинейной унарной операции f.

Замечание. Линейное пространство
замкнуто относительно нелинейной операции f(x)=x2 тогда и только тогда, когда E является кольцом.

Действительно,
поэтому для линейного пространства
замкнутость относительно унарной операции f(x)=x2 равносильна замкнутости относительно произведения функций.

Согласно приведенному замечанию, теорема Стоуна может быть переформулирована так.

Пусть
- замкнутое линейное подпространство в C(X),
, функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции f(x)=x2. Тогда E=C(X) .

Наше обобщение теоремы Стоуна состоит в замене f(x)=x2 на произвольную нелинейную непрерывную функцию.

Теорема 1. Пусть
- замкнутое линейное подпространство в C(X),
, функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции
. Тогда E=C(X) .

Доказательство. Рассмотрим множество всех таких
, что
, то есть для любого
выполнено:
. Обозначим это множество PE. Оно обладает следующими свойствами:

  1. PE - полугруппа относительно суперпозиции функций;
  2. PE - замкнутое линейное подпространство в C(R) (в топологии равномерной сходимости на компактах);
  3. и
    .
  4. PE включает хоть одну непрерывную нелинейную функцию.


Дальнейшее следует из теоремы 2, которая является, по существу, подготовительной теоремой о полугруппах функций.



В этом случае будем говорить, что E замкнуто относительно нелинейной унарной операции f.

Очевидный пример: множество функций n переменных, которые можно точно представить, используя заданную функцию одного переменного и линейные функции, является линейным пространством, замкнутым относительно нелинейной унарной операции f.

Замечание. Линейное пространство
замкнуто относительно нелинейной операции f(x)=x2 тогда и только тогда, когда E является кольцом.

Действительно,
поэтому для линейного пространства
замкнутость относительно унарной операции f(x)=x2 равносильна замкнутости относительно произведения функций.

Согласно приведенному замечанию, теорема Стоуна может быть переформулирована так.

Пусть
- замкнутое линейное подпространство в C(X),
, функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции f(x)=x2. Тогда E=C(X) .

Наше обобщение теоремы Стоуна состоит в замене f(x)=x2 на произвольную нелинейную непрерывную функцию.

Теорема 1. Пусть
- замкнутое линейное подпространство в C(X),
, функции из E разделяют точки в X и E замкнуто относительно нелинейной унарной операции
. Тогда E=C(X) .

Доказательство. Рассмотрим множество всех таких
, что
, то есть для любого
выполнено:
. Обозначим это множество PE. Оно обладает следующими свойствами:

  1. PE - полугруппа относительно суперпозиции функций;
  2. PE - замкнутое линейное подпространство в C(R) (в топологии равномерной сходимости на компактах);
  3. и
    .
  4. PE включает хоть одну непрерывную нелинейную функцию.


Дальнейшее следует из теоремы 2, которая является, по существу, подготовительной теоремой о полугруппах функций.

Теорема 2. Пусть множество
удовлетворяет условиям 1-4. Тогда P=C(R).

Доказательство опирается на три леммы.

Лемма 1. В условиях теоремы 2 существует дважды непрерывно дифференцируемая функция
, не являющаяся линейной.

Доказательство. Пусть
, v(x)=0 при |x|>1,
. Рассмотрим оператор осреднения



Для любого ?>0 выполнено:
.

Действительно,
для каждого фиксированного y ((т.к. константы принадлежат E и E замкнуто относительно линейных операций и суперпозиции функций).


Интеграл
. принадлежит E, так как E является замкнутым линейным подпространством в C(R), а этот интеграл пределом конечных сумм.

Функция
принадлежит
так как



(напомним, что v – функция с компактным носителем).

Существует такое ?>0, что функция
не является линейной, поскольку
не является линейной, поскольку
, пространство линейных функций замкнуто, а f не является линейной функцией. Таким образом, в предположениях леммы существует нелинейная функция
, которую можно выбрать в виде


Лемма 2. Пусть в условиях теоремы 2 существует дважды непрерывно дифференцируемая функция
, не являющаяся линейной. Тогда функция q(x)=x2 принадлежит P.

Доказательство. Существует точка x0, для которой
. Обозначим r(x)=2(g(x+x0)-g(x0)-xg'(x0))/g''(x0). Очевидно, что
. Поэтому

при
.

Поскольку P замкнуто, получаем: функция q(x)=x2принадлежит P.

Лемма 3. Пусть в условиях теоремы 2 функция q(x)=x2 принадлежит P. Тогда P является кольцом - для любых
их произведение
.

Доказательство. Действительно,
и, так как P замкнуто относительно суперпозиции и линейных операций, то
.

Доказательство теоремы 2 заканчивается обращением к классической теореме Вейерштрасса о приближении функций многочленами: из лемм 1-3 следует, что в условиях теоремы 2 P является кольцом и, в частности, содержит все многочлены (которые получаются из 1 и id с помощью умножения и линейных операций). По теореме Вейерштрасса отсюда следует, что P=C(R) .

Теоремы 1,2 можно трактовать как утверждения о универсальных аппроксимационных свойствах любой нелинейности: с помощью линейных операций и каскадного соединения можно из произвольных нелинейных элементов получить любой требуемый результат с любой наперед заданной точностью.


Содержание раздела