Транспонированная задача линейной регрессии
Изложение в этом разделе следует работам [7.2, 7.5, 7.6]. Постановка обычной задачи регрессии (или мозаичной регрессии) исходит из гипотезы о том, что одни характеристики объектов могут быть функциями других и эти функции одни и те же для всех объектов (или соответственно классов объектов).
Транспонируем таблицу данных (поменяем местами слова "объект" и "признак"). Рассмотрим гипотезу от том, что значения признака одного объекта могут быть функциями значений того же признака других объектов и эти функции одни и те же для всех признаков (или классов признаков). Получаем формально те же задачи регрессии (транспонированные задачи регрессии). Есть, однако, два содержательных отличия транспонированных задач от исходных:
- инвариантность к смене шкал измерения - кажется маловероятным, чтобы существенные связи между признаками различных объектов зависели от шкалы измерения, поэтому необходимо, чтобы уравнения транспонированной регрессии были инвариантны относительно смены шкалы измерения любого признака (обычно - линейного неоднородного преобразования x'=ax+b однородная часть которого описывает смену единицы измерения, а свободный член - сдвиг начала отсчета);
- в традиционных задачах регрессии предполагается, что объектов достаточно много (N), по сравнению с числом признаков n, иначе (при N<n) точные линейные соотношения возникнут просто из-за малого числа объектов, так как через N точек всегда можно провести линейное многообразие размерности N-1. В противовес этому "транспонированное" предположение о достаточно большом числе признаков (n>N) кажется нереалистичным.
Требование инвариантности к смене шкал приводит к специальным ограничениям на вид функций регрессии, а недостаточность количества признаков (в сравнении с числом объектов) для построения транспонированной регрессии вынуждает нас для каждого объекта искать небольшую группу, по свойствам которых можно восстановить характеристики данного.
Задача построения таких групп объектов была чрезвычайно популярна в химии перед открытием Менделеевым периодического закона (1871 г.).
С 1817 г. (Деберейнер) были опубликованы десятки работ на эту тему [7.7]. Именно они поставили исходный материал для систематизации элементов. Деберейнер обнаружил триады, в которых свойства среднего элемента могут быть оценены как средние значения этих свойств для крайних членов триады. Его труды продолжили Гмелин, Гладстон, Дюма и другие. Вот некоторые из таких триад:
K-Na-Li, Ba-Sr-Ca, Cl-Br-J, S-Se-Te, P-As-Sb, W-V-Mo, ...
Один из наиболее полных списков триад был опубликован Ленсеном (1857). Он же заметил, что для большей точности иногда полезно брать "эннеады" - девятки, составленные из трех триад.
Менделеев писал:
"...между всеми... учеными, которые раньше меня занимались сравнением величин атомных весов элементов, я считаю, что обязан преимущественно двум: Ленсену и Дюма. Я изучил их исследования и они меня побудили искать действительный закон"
(цит. по [7.7], с. 220-222).
Более общим образом задача ставится так: найти для каждого объекта наилучшую линейную формулу, выражающую его вектор признаков через векторы признаков других объектов (которых должно быть по возможности меньше). Эта формула должна быть инвариантна относительно смены шкал.
Итак, требуется построить отношение, связывающее объекты с группами объектов, по которым для него строятся интерполяционные формулы. Проделав эту работу "в лоб" ( по базам данных и без обращения к интуиции химиков) для большого числа элементов (объектов) и потенциалов ионизации (признаков), мы получили хорошее согласие с экспериментом и предсказали ряд неизвестных ранее высших потенциалов ионизации. Результаты будут описаны в следующем разделе.
Предположим, что некоторый большой набор свойств - внешних, эмпирических данных об объекте (явление) является сюръекцией небольшого набора внутренних, теоретических переменных (сущности). Эта идея позволяет сделать предположение о том, что размер опорной группы объектов, по которой наилучшим образом восстанавливаются свойства данного объекта, не только не должен превосходить размер набора свойств (иначе заведомо возникнут точные линейные соотношения), но и быть малым настолько, насколько это позволяет заданная точность [7.2, 7.3, 7.4, 7.5].
Если предположить, что для некоторого множества объектов зависимость между теоретическим и эмпирическим линейна, и векторы теоретических параметров объектов данного множества лежат в линейном многообразии размерности q, то размер опорной группы не будет превосходить q+1.
Другое условие, налагаемое на искомую формулу, требует инвариантности к смене шкал измерений. Разумно считать, что глубинные связи не зависят от единиц, в которых выражены значения свойств объектов:
Если в качестве искомой формулы рассматривать линейную комбинацию векторов опорной группы, то требуемой инвариантности можно достичь, наложив некоторое условие на коэффициенты разложения. Таковым условием является равенство суммы коэффициентов единице:
Для нелинейной регрессии естественно использовать однородные рациональные функции [7.2].
Рассматривались два вида решения. Первый:
 | (2) |
- среднее значение.
Во втором случае в качестве
 | (3) |
Из-за предположения о малости опорной группы объектов в качестве одного из путей решения предлагается перебор всех наборов заданного размера. Было предложено искать минимум одного из двух критериев:
В случае а) точное решение находится из системы линейных уравнений. Введем обозначения:
- Y - матрица векторов опорной группы, n строк, q столбцов. n - число известных компонент восстанавливаемого вектора y.
- - матрица Y в которой из каждого столбца вычтен вектор my (yt в случае 2).
- M - матрица, все элементы которой равны 1,
- m - вектор, все компоненты которого равны 1,
- E - единичная матрица,
- - вектора размерностью q.
Для выражения (2)
Дифференцируя выражение а) и приравнивая нулю, получаем:
Для выражения (3),
et - вектор, t-ая компонента которого равна 1, остальные 0.
Lt = (et) - матрица, столбцы которой равны вектору et.
Имеем
Система уравнений решается для известных значений компонент вектора y, полученное решение используется для предсказания неизвестных значений.
В случае критерия б) в качестве начального приближения для каждого испытуемого набора рассматривались
Нами рассмотрен вариант нахождения оптимальной опорной группы фиксированного размера в задаче транспонированной линейной регрессии, когда оптимальная опорная группа отбиралась в ходе полного перебора всех возможных опорных групп. Другой предложенный вариант (оптимизационный) предполагает первоначальное задание избыточного числа объектов в опорной группе и последующее сокращение ее размера в результате отбрасывания наименее значимых параметров.
Программная реализация и переборного, и оптимизационного вариантов решения транспонированной задачи линейной регрессии выполнялась в среде MS DOS с использованием транслятора Borland C++. Текст программы соответствует ANSI-стандарту языка C++, что делает возможным перенос программы на другие аппаратные платформы (что и делалось большие базы медицинских данных обрабатывалась на компьютере Alpha Station корпорации DEC ). При этом зависимые от операционной системы фрагменты программы подключаются при помощи условных директив препроцессора языка. Так, для обеспечения работы с большими файлами данных в среде MS DOS используется обращение к интерфейсу DPMI (предоставляется DPMI-расширителями и операционными системами OS/2, Windows 3.xx, Windows 95, Windows NT) для переключения в защищенный режим и обхода ограничения в 640К памяти.
Программа позволяет пользователю определять файл данных, обрабатываемые строки (объекты) и столбцы (свойства объектов), выбирать между вариантами решения и видами функции критерия, задавать значения иных параметров метода. Для обработки порядковых признаков возможна спецификация некоторых столбцов, как содержащих значения не из непрерывного, а из дискретного множества значений. Прогнозные значения отсутствующих данных в этом случае будут приводиться к ближайшему значению из дискретного множества значений.
Результатом работы программы является файл отчета. Для каждого обрабатываемого объекта (строки базы данных) в файле отчета содержится информация об оптимальным образом приближающей объект опорной группе (номера объектов, входящих в опорную группу, и коэффициенты разложения), значение функции критерия, ошибки интерполяции известных свойств объекта и прогнозные значения для неизвестных свойств. В конце файла отчета выводятся максимальные и средние ошибки аппроксимации известных данных для всех обрабатываемых столбцов базы данных (свойств объектов).
Тестирование предлагаемого метода проводилось на модельных данных. При построении модельных данных задаются размерность теоретической проекции (число скрытых переменных), размерность эмпирической проекции (число свойств объекта), число различных классов, вектор среднего и разброса для генерируемых данных в каждом классе. Для каждого класса случайным образом порождается линейный оператор, отображающий пространство скрытых переменных в пространство свойств объектов. Для каждого объекта случайным образом выбираются значения скрытых переменных и рассчитываются значения свойств. Тестирование проводилось в скользящем режиме по всему задачнику. Полученные результаты (Табл.1 таблица 7.1) позволяют заключить, что предложенный метод весьма эффективен, критерий вида б) с большей эффективностью определяет опорную группу при избыточном и недостаточном наборах объектов (лучше, чем МНК а)), а решение вида (2) дает лучшие по сравнению с (3) результаты при избыточном наборе объектов.
| при размере опорной группы | ||||||
| 0.01 | а | 1 | 5 | 0 | 15 | 66 |
| а | 2 | 5 | 0 | 15 | 66 | |
| б | 1 | 5 | 0 | 13 | 40 | |
| б | 2 | 5 | 0 | 13 | 66 | |
| 0.1 | а | 1 | 10 | 16 | 30 | 72 |
| а | 2 | 10 | 16 | 30 | 72 | |
| б | 1 | 6 | 10 | 14 | 40 | |
| б | 2 | 6 | 10 | 14 | 66 | |
