Разложение матрицы по особым значениям.

Сообщение №5621 от Женя 18 ноября 2002 г. 12:30
Тема: Разложение матрицы по особым значениям.

Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

Заранее благодарен,
Женя.


Отклики на это сообщение:

> Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

Esli my budem brat' radius-vektory lezhaschie na sfere v R^n to matrica budet preobrazovyvat' ih v radius-vektory lezhaschie na ellipsoide v R^n. Osobye znachenija eto dliny glavnyh osej etogo elipsoida (esli preobrazuemaja sfera edinichnogo radiusa).

Otsiuda kstati vidno chto tiazhelo reshat' plohobouslovlennye sistemy tak kak ellipsoid ochen' spliusnutyj poluchet'sia.

Skaznoe otnosit'sia k kvadratnym matricam.


> > Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

> Esli my budem brat' radius-vektory lezhaschie na sfere v R^n to matrica budet preobrazovyvat' ih v radius-vektory lezhaschie na ellipsoide v R^n. Osobye znachenija eto dliny glavnyh osej etogo elipsoida (esli preobrazuemaja sfera edinichnogo radiusa).

> Otsiuda kstati vidno chto tiazhelo reshat' plohobouslovlennye sistemy tak kak ellipsoid ochen' spliusnutyj poluchet'sia.

> Skaznoe otnosit'sia k kvadratnym matricam.

Особые значения и собственные значения - это не одно и тоже?


> > > Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

> > Esli my budem brat' radius-vektory lezhaschie na sfere v R^n to matrica budet preobrazovyvat' ih v radius-vektory lezhaschie na ellipsoide v R^n. Osobye znachenija eto dliny glavnyh osej etogo elipsoida (esli preobrazuemaja sfera edinichnogo radiusa).

> > Otsiuda kstati vidno chto tiazhelo reshat' plohobouslovlennye sistemy tak kak ellipsoid ochen' spliusnutyj poluchet'sia.

> > Skaznoe otnosit'sia k kvadratnym matricam.

> Особые значения и собственные значения - это не одно и тоже?

нет, это корень квадратный из собственных чисел матрицы A*A^{+} . Привильный термин сингулярные числа и сингулярное разложение (они в русской литературе так используются).


> > > > Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

> > > Esli my budem brat' radius-vektory lezhaschie na sfere v R^n to matrica budet preobrazovyvat' ih v radius-vektory lezhaschie na ellipsoide v R^n. Osobye znachenija eto dliny glavnyh osej etogo elipsoida (esli preobrazuemaja sfera edinichnogo radiusa).

> > > Otsiuda kstati vidno chto tiazhelo reshat' plohobouslovlennye sistemy tak kak ellipsoid ochen' spliusnutyj poluchet'sia.

> > > Skaznoe otnosit'sia k kvadratnym matricam.

> > Особые значения и собственные значения - это не одно и тоже?

> нет, это корень квадратный из собственных чисел матрицы A*A^{+} . Привильный термин сингулярные числа и сингулярное разложение (они в русской литературе так используются).

Пардон, не понимаю обозначения A^{+}.


> > > > > Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

> > > > Esli my budem brat' radius-vektory lezhaschie na sfere v R^n to matrica budet preobrazovyvat' ih v radius-vektory lezhaschie na ellipsoide v R^n. Osobye znachenija eto dliny glavnyh osej etogo elipsoida (esli preobrazuemaja sfera edinichnogo radiusa).

> > > > Otsiuda kstati vidno chto tiazhelo reshat' plohobouslovlennye sistemy tak kak ellipsoid ochen' spliusnutyj poluchet'sia.

> > > > Skaznoe otnosit'sia k kvadratnym matricam.

> > > Особые значения и собственные значения - это не одно и тоже?

> > нет, это корень квадратный из собственных чисел матрицы A*A^{+} . Привильный термин сингулярные числа и сингулярное разложение (они в русской литературе так используются).

> Пардон, не понимаю обозначения A^{+}.

Эрмитовое сопряжение


> Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

0. На русский так и переводится "сингулярные числа(значения)" и "сингулярное разложение".
1. Это некоторое обобщение разложения матрицы по собственным значениям. Симметричную матрицу можно разложить в сумму матриц ранга 1, каждая из которых будет равна произведению собственного вектора на него же, транспонированного, на соответствующее собственное значение. На этом, в частности, основан факторный анализ - корреляционную матрицу приближаем суммой матриц ранга 1.
2. Переходя от симметричных к матрицам общего вида, и даже отказываясь от квадратности, можно поставить аналогичную задачу - приблизить матрицу суммой матриц ранга 1, каждая из которых - произведение вектора на (уже не равный ему) второй вектор (вектора обыкновенно принимаются нормированными к единичной длине) и на сингулярное число. Для квадратных симметричных матриц сингулярные числа совпадают с собственными значениями, если они положительны (векторы равны с точностью до транспонирования), или противоположны по знаку (второй вектор транспонирован и сменил знак). В общем случае можно вычислять их, как корни квадратные из собственных значений матрицы, полученной произведением исходной на транспонированную к ней (полагаю - числа действительны? В противном случае еще нужно сопряжение!), подобно тому, как вычисляется корреляционная матрица по исходной. Одна система векторов совпадает с собственными векторами матрицы-произведения, вторая получается достаточно просто. Впрочем, есть и иные алгоритмы вычисления, как правило, более точные численно (Уилкинсон и Райнш. "Справочник алгоритмов на языке Алгол-60" и др.)
3. Беря лишь К чисел, наибольших, и соответствующие им вектора - получаем аппроксимацию исходной матрицы матрицей ранга К, наилучшую в квадратической метрике, чем и оправдывается любовь к сингулярным числам в статистике.


> Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

0. На русский так и переводится "сингулярные числа(значения)" и "сингулярное разложение".
1. Это некоторое обобщение разложения матрицы по собственным значениям. Симметричную матрицу можно разложить в сумму матриц ранга 1, каждая из которых будет равна произведению собственного вектора на него же, транспонированного, на соответствующее собственное значение. На этом, в частности, основан факторный анализ - корреляционную матрицу приближаем суммой матриц ранга 1.
2. Переходя от симметричных к матрицам общего вида, и даже отказываясь от квадратности, можно поставить аналогичную задачу - приблизить матрицу суммой матриц ранга 1, каждая из которых - произведение вектора на (уже не равный ему) второй вектор (вектора обыкновенно принимаются нормированными к единичной длине) и на сингулярное число. Для квадратных симметричных матриц сингулярные числа совпадают с собственными значениями, если они положительны (векторы равны с точностью до транспонирования), или противоположны по знаку (второй вектор транспонирован и сменил знак). В общем случае можно вычислять их, как корни квадратные из собственных значений матрицы, полученной произведением исходной на транспонированную к ней (полагаю - числа действительны? В противном случае еще нужно сопряжение!), подобно тому, как вычисляется корреляционная матрица по исходной. Одна система векторов совпадает с собственными векторами матрицы-произведения, вторая получается достаточно просто. Впрочем, есть и иные алгоритмы вычисления, как правило, более точные численно (Уилкинсон и Райнш. "Справочник алгоритмов на языке Алгол-60" и др.)
3. Беря лишь К чисел, наибольших, и соответствующие им вектора - получаем аппроксимацию исходной матрицы матрицей ранга К, наилучшую в квадратической метрике, чем и оправдывается любовь к сингулярным числам в статистике.


> > Ребята, поясните "не математику", что такое особые значения матрицы и в чем заключается идея разложения матрицы по особым значениям (singular-value decomposition). Мне тут для одного метода из прикладной статистики надо.

Есть глубокая связь этого разложения с несколькими статистическими методами. В частности, один из наборов векторов совпадает с Главными Компонентами, тогда как другой дает нагрузки на них.
Эффективно оно используется при построении регрессионных моделей.
Были сообщения о его применении в криптографии - для анализа статистики встречаемости символов. И в кардиологии... И в метеорологии...

А вот одно определение:

Сингулярным разложением действительной матрицы A размеров m*n называется всякое ее разложение вида A = USV, где U - ортогональная матрица размеров m*m, V - ортогональная матрица размеров n*n, S - диагональная матрица размеров m*n, элементы которой sij= 0, если i не равно j, и sii = si > =0. Величины si называются сингулярными числами матрицы и равны арифметическим значениям квадратных корней из соответствующих собственных значений матрицы AAT. В англоязычной литературе сингулярное разложение принято называть SVD-разложением.
(Иногда матрицу S принимают квадратной диагональной, а одну из U, V - прямоугольной, наследующей форму исходной. Лично мне это кажется более логичным).


> Сингулярным разложением действительной матрицы A размеров m*n называется всякое ее разложение вида A = USV, где U - ортогональная матрица размеров m*m, V - ортогональная матрица размеров n*n, S - диагональная матрица размеров m*n, элементы которой sij= 0, если i не равно j, и sii = si > =0. Величины si называются сингулярными числами матрицы и равны арифметическим значениям квадратных корней из соответствующих собственных значений матрицы AAT. В англоязычной литературе сингулярное разложение принято называть SVD-разложением.

Ja dumal chto problema nahozhdenija sobstvennyh znachenij bolshih matric ochen' slozhnaja tak kak harakteristicheskij polinom imeet vysokuju stepen'.

A vot tvoi rassuzhdenija naveli na mysl' cho najti sobstvennye znachenija simmetrichnoj matricy dostatochno prosto i bystro. Bere"m "koren'" iz nee (AAT=M), nahodim singuliarnye chisla A i vozvodim ih v kvadrat.


> > Сингулярным разложением действительной матрицы A размеров m*n называется всякое ее разложение вида A = USV, где U - ортогональная матрица размеров m*m, V - ортогональная матрица размеров n*n, S - диагональная матрица размеров m*n, элементы которой sij= 0, если i не равно j, и sii = si > =0. Величины si называются сингулярными числами матрицы и равны арифметическим значениям квадратных корней из соответствующих собственных значений матрицы AAT. В англоязычной литературе сингулярное разложение принято называть SVD-разложением.

> Ja dumal chto problema nahozhdenija sobstvennyh znachenij bolshih matric ochen' slozhnaja tak kak harakteristicheskij polinom imeet vysokuju stepen'.

> A vot tvoi rassuzhdenija naveli na mysl' cho najti sobstvennye znachenija simmetrichnoj matricy dostatochno prosto i bystro. Bere"m "koren'" iz nee (AAT=M), nahodim singuliarnye chisla A i vozvodim ih v kvadrat.

Дело в том, что характеристический полином на практике для вычисления собственных чисел не употребляется. Матрицу приводят к диагональному виду вращениями (метод Якоби); приводят к трехдиагональному виду (отражениями), после чего с трехдиагональной матрицей выполняют QR-итерации до приведения к диагональной (что быстрее Якоби, но есть некоторое отступление по точности нахождения собственных значений); есть также методы, использующие лишь умножение матрицы на вектор (одновременные итерации, метод Ланцоша), но не преобразующие саму матрицу (что особенно удобно для очень больших, но разреженных матриц). Вычисление сингулярных чисел производится теми же алгоритмами.


> Дело в том, что характеристический полином на практике для вычисления собственных чисел не употребляется.

Horosho. A voobsche problema nahozhdenija vseh kornej polinoma slozhnaja ili net? Esli zlozhnaja to pochemu b ne postroit' simmetrichnuju matricu s takim zhe polinomom i najti ee" sobstvennye chisla.

Ja potom tak zhe vspomnil chto sobstvennye chisla (vozmozhno, tochno ne pomniu) javlijut'sia pobochnym produktom vziatija kornia (cholesky decomposition).

приводят к трехдиагональному виду (отражениями), после чего с
трехдиагональной матрицей выполняют QR-итерации до приведения к диагональной (что быстрее Якоби, но есть некоторое отступление по точности нахождения собственных значений); есть также методы, использующие лишь умножение матрицы на вектор (одновременные итерации, метод Ланцоша), но не преобразующие саму матрицу (что особенно удобно для очень больших, но разреженных матриц). Вычисление сингулярных чисел производится теми же алгоритмами.

Vidno chelovek znaet.


> > Дело в том, что характеристический полином на практике для вычисления собственных чисел не употребляется.

> Horosho. A voobsche problema nahozhdenija vseh kornej polinoma slozhnaja ili net? Esli zlozhnaja to pochemu b ne postroit' simmetrichnuju matricu s takim zhe polinomom i najti ee" sobstvennye chisla.

1. Достаточно просто построить такую матрицу - но несимметричную. Нахождение ее собственных значений достаточно сложно - но зачастую это действительно лучший путь нахождения корней полинома.
2. А вот симметричную матрицу для этого использовать не получится. У нее собственные значения все действительны, тогда как полином может иметь комплексные корни.

> Ja potom tak zhe vspomnil chto sobstvennye chisla (vozmozhno, tochno ne pomniu) javlijut'sia pobochnym produktom vziatija kornia (cholesky decomposition).

Напрямую - нет. Хотя есть методы нахождения С.Ч., употребляющие разложение Холецкого.


> Есть глубокая связь этого разложения с несколькими статистическими методами. В частности, один из наборов векторов совпадает с Главными Компонентами, тогда как другой дает нагрузки на них.
> Эффективно оно используется при построении регрессионных моделей.
> Были сообщения о его применении в криптографии - для анализа статистики встречаемости символов. И в кардиологии... И в метеорологии...

Вот об этом пожалуйста поподробнее! Мне собственно для метода главных компонент и надо. Если точнее – для анализа соответствий, того самого, что используется в криптографии (и не только). Насколько я понял, Вы с ним знакомы, поэтому поясню проблему. Дело в том, что матрицы рассеивания (инерции) для строк и для столбцов связаны через равенства А(стр.)=В’В и А(столб.)=BB’, в результате эти две матрицы имеют одни и те же собственные числа и их главные компоненты связаны однозначным соответствием, поэтому результаты анализа соответствий для строк и столбцов можно представлять на одном графике. Другое дело, что близость точек-строк и точек-столбцов на этом графике еще ни о чем не говорит. Однако, о соответствии строк столбцам и наоборот судить из этого графика все таки как-то можно через проекции соответствующих точек на полученные оси. Как я понимаю, для этого надо как-то привести оси к единому масштабу.


> Вот об этом пожалуйста поподробнее! Мне собственно для метода главных компонент и надо. Если точнее – для анализа соответствий, того самого, что используется в криптографии (и не только). Насколько я понял, Вы с ним знакомы, поэтому поясню проблему. Дело в том, что матрицы рассеивания (инерции) для строк и для столбцов связаны через равенства А(стр.)=В’В и А(столб.)=BB’, в результате эти две матрицы имеют одни и те же собственные числа и их главные компоненты связаны однозначным соответствием, поэтому результаты анализа соответствий для строк и столбцов можно представлять на одном графике. Другое дело, что близость точек-строк и точек-столбцов на этом графике еще ни о чем не говорит. Однако, о соответствии строк столбцам и наоборот судить из этого графика все таки как-то можно через проекции соответствующих точек на полученные оси. Как я понимаю, для этого надо как-то привести оси к единому масштабу.

Попрошу конкретный вопрос. Как рассчитать сингулярные числа, как по сингулярному разложению нарисовать главные компоненты, как масштабировать переменные или ?


> > Horosho. A voobsche problema nahozhdenija vseh kornej polinoma slozhnaja ili net? Esli zlozhnaja to pochemu b ne postroit' simmetrichnuju matricu s takim zhe polinomom i najti ee" sobstvennye chisla.

> 1. Достаточно просто построить такую матрицу - но несимметричную. Нахождение ее собственных значений достаточно сложно - но зачастую это действительно лучший путь нахождения корней полинома.
> 2. А вот симметричную матрицу для этого использовать не получится. У нее собственные значения все действительны, тогда как полином может иметь комплексные корни.

Rezonno. Budu znat'.

> > Ja potom tak zhe vspomnil chto sobstvennye chisla (vozmozhno, tochno ne pomniu) javlijut'sia pobochnym produktom vziatija kornia (cholesky decomposition).

> Напрямую - нет. Хотя есть методы нахождения С.Ч., употребляющие разложение Холецкого.

Ne znaju pochemu ja tak dumal. Naverno potomu chto Choleski dlia polozhitel'no opredele"nnyh matric, u kotoryh vse S.Ch. polozhitel'ny i v processe kak raz vylaziat' kakie-to tol'ko polozhitel'nye chisla. Hotia ochevidno mne sejchas chto eto ne S.Ch.

A chto takoe karandash (pencil) znaesh'?


> > > Horosho. A voobsche problema nahozhdenija vseh kornej polinoma slozhnaja ili net? Esli zlozhnaja to pochemu b ne postroit' simmetrichnuju matricu s takim zhe polinomom i najti ee" sobstvennye chisla.

> > 1. Достаточно просто построить такую матрицу - но несимметричную. Нахождение ее собственных значений достаточно сложно - но зачастую это действительно лучший путь нахождения корней полинома.

Матрица имеет вид:
0 1 0 ... 0
0 0 1 ... 0
..........................
0 0 0 ... 1
-a(n) -a(n-1) -a(n-2) ... -a(1)

> > 2. А вот симметричную матрицу для этого использовать не получится. У нее собственные значения все действительны, тогда как полином может иметь комплексные корни.

> Rezonno. Budu znat'.

В принципе возможно использовать обобщенную задачу о собственных значениях
Ax=lBx
но мне неизвестно такое ее применение.

> > > Ja potom tak zhe vspomnil chto sobstvennye chisla (vozmozhno, tochno ne pomniu) javlijut'sia pobochnym produktom vziatija kornia (cholesky decomposition).

> > Напрямую - нет. Хотя есть методы нахождения С.Ч., употребляющие разложение Холецкого.

> Ne znaju pochemu ja tak dumal. Naverno potomu chto Choleski dlia polozhitel'no opredele"nnyh matric, u kotoryh vse S.Ch. polozhitel'ny i v processe kak raz vylaziat' kakie-to tol'ko polozhitel'nye chisla. Hotia ochevidno mne sejchas chto eto ne S.Ch.

Связь есть - через UL- разложение. Там число положительных, отрицательных и нулевых на диагонали равно числу положительных, отрицательных и нулевых С.З. соответственно.

> A chto takoe karandash (pencil) znaesh'?

Применительно к С.З.? Нет. Или знаю под другим именем.


> Попрошу конкретный вопрос. Как рассчитать сингулярные числа, как по сингулярному разложению нарисовать главные компоненты, как масштабировать переменные или ?

Дана таблица F, содержащая m строк и n столбцов. Строки соответствуют категориям фактора 1, столбцы категориям фактора 2. В ячейке стоящей на пересечении i-й строки и j-го столбца содержится fij - количество случаев, когда одновременно имели место i-я категория фактора 1 и j-я категория фактора 2. Такая таблица называется таблицей сопряженности (контингентности). Очевидно, что с этой таблицей можно обращаться как с матрицей.
Пусть D1=diag(f10, …,fm0), где fi0=сумм_по_j(fij), а D2=diag(f01, …,f0n), где f0j=сумм_по_i(fij). Тогда T1=D2^(-1/2)*F’*D1^(-1)*F*D2^(-1/2) и T2=D1^(-1/2)*F’*D2^(-1)*F*D2^(-1/2) – матрицы рассеивания (инерции) для строк и столбцов соответственно. Легко видеть, что T1=Ф’Ф и T2=ФФ’, где Ф=D1^(-1/2)*F*D2^(-1/2). Значит собственные значения матриц Т1 и Т2 совпадают. Пусть Uk и Vk – собственные вектора матриц Т1 и Т2 соответствующие собственному значению lambda_k. В книге которая лежит передо мной написано, что они связаны друг с другом соотношениями

Uk=1/(sqrt(lambda_k))*Ф*Vk
Vk=1/(sqrt(lambda_k))*Ф’*Uk.

Вопросы:
1. Как рассчитать сингулярные числа (и для строк и для столбцов)?
2. Как по сингулярному разложению нарисовать главные компоненты (и для строк и для столбцов)?
3. Как найти проекции координаты точек-строк (в пространстве столбцов) и точек-столбцов (в пространстве строк) на соответствующие главные компоненты?
4. Можно ли судить о соответствии данной строки (столбца) некоторому столбцу (строке) и если да – то как?


> Дана таблица F, содержащая m строк и n столбцов. Строки соответствуют категориям фактора 1, столбцы категориям фактора 2. В ячейке стоящей на пересечении i-й строки и j-го столбца содержится fij - количество случаев, когда одновременно имели место i-я категория фактора 1 и j-я категория фактора 2. Такая таблица называется таблицей сопряженности (контингентности). Очевидно, что с этой таблицей можно обращаться как с матрицей.
> Пусть D1=diag(f10, …,fm0), где fi0=сумм_по_j(fij), а D2=diag(f01, …,f0n), где f0j=сумм_по_i(fij). Тогда T1=D2^(-1/2)*F’*D1^(-1)*F*D2^(-1/2) и T2=D1^(-1/2)*F’*D2^(-1)*F*D2^(-1/2) – матрицы рассеивания (инерции) для строк и столбцов соответственно. Легко видеть, что T1=Ф’Ф и T2=ФФ’, где Ф=D1^(-1/2)*F*D2^(-1/2). Значит собственные значения матриц Т1 и Т2 совпадают. Пусть Uk и Vk – собственные вектора матриц Т1 и Т2 соответствующие собственному значению lambda_k. В книге которая лежит передо мной написано, что они связаны друг с другом соотношениями

> Uk=1/(sqrt(lambda_k))*Ф*Vk
> Vk=1/(sqrt(lambda_k))*Ф’*Uk.

> Вопросы:
> 1. Как рассчитать сингулярные числа (и для строк и для столбцов)?

Берется меньшая по размерности матрица инерции и вычисляются ея собственные вектора и собственные числа (можно и бОльшая, но это для мазохистов:)
Сингулярные числа - корни кв. (арифметические) из С.Ч.
Есть более точный численно подход, с прямым вычислением, но, ИМХО, он здесь избыточен.


> 2. Как по сингулярному разложению нарисовать главные компоненты (и для строк и для столбцов)?

Для меньшей размерности они совпадают с собственными векторами, умноженными на соответствующие сингулярные числа. Для бОльшей - умножаем матрицу с нужной стороны на уже имеющиеся собственные вектора (на транспонированную матрицу) - и готово...

> 3. Как найти проекции координаты точек-строк (в пространстве столбцов) и точек-столбцов (в пространстве строк) на соответствующие главные компоненты?

Они взаимодополнительны. Умножьте матрицу исходных данных на матрицу Г.К. - и все схлопнется к другому набору Г.К.

> 4. Можно ли судить о соответствии данной строки (столбца) некоторому столбцу (строке) и если да – то как?

Ну, наверно, по наличию бОльших значений в матрице Г.К. ?


> Дана таблица F, содержащая m строк и n столбцов. Строки соответствуют категориям фактора 1, столбцы категориям фактора 2. В ячейке стоящей на пересечении i-й строки и j-го столбца содержится fij - количество случаев, когда одновременно имели место i-я категория фактора 1 и j-я категория фактора 2. Такая таблица называется таблицей сопряженности (контингентности). Очевидно, что с этой таблицей можно обращаться как с матрицей.
> Пусть D1=diag(f10, …,fm0), где fi0=сумм_по_j(fij), а D2=diag(f01, …,f0n), где f0j=сумм_по_i(fij). Тогда T1=D2^(-1/2)*F’*D1^(-1)*F*D2^(-1/2) и T2=D1^(-1/2)*F’*D2^(-1)*F*D2^(-1/2) – матрицы рассеивания (инерции) для строк и столбцов соответственно. Легко видеть, что T1=Ф’Ф и T2=ФФ’, где Ф=D1^(-1/2)*F*D2^(-1/2). Значит собственные значения матриц Т1 и Т2 совпадают. Пусть Uk и Vk – собственные вектора матриц Т1 и Т2 соответствующие собственному значению lambda_k. В книге которая лежит передо мной написано, что они связаны друг с другом соотношениями

Положим, что нормирование (делением на суммы) уже сделано, и будем обозначать такую матрицу через
X=CVS
где
C - квадратная ортонормированная матрица
V - диагональная матрица
S - прямоугольная матрица, наследующая размерность Х - лично мне такая трактовка нравится больше, чем если наследником размерностей исходной матрицы полагать V, дополняя S произвольными столбцами...
(Для ситуации, когда строк меньше, чем столбцов, изменения очевидны)
Очевидно, матрицы инерции T1=X'X=S'V^2S и T2=C'V^2C
Связь вполне очевидна.

> 2. Как по сингулярному разложению нарисовать главные компоненты (и для строк и для столбцов)?

Тут вопрос - у нас главные компоненты нормированы (т.е. длина их = 1), тогда они совпадают с C и S соответственно, а нагрузки на них получаются умножением C и S на V. Или же они ненормированы, тогда умножать их надо.

> 3. Как найти проекции координаты точек-строк (в пространстве столбцов) и точек-столбцов (в пространстве строк) на соответствующие главные компоненты?

Насколько я понимаю - это и есть нагрузки...

> 4. Можно ли судить о соответствии данной строки (столбца) некоторому столбцу (строке) и если да – то как?

В прошлом постинге я несколько тормознул... Соответствие между строками и столбцами определяется куда проще - по значениям на пересечении.



> Матрица имеет вид:
> 0 1 0 ... 0
> 0 0 1 ... 0
> ..........................
> 0 0 0 ... 1
> -a(n) -a(n-1) -a(n-2) ... -a(1)

Spasibo. Liubopytno. Sam ne dodumalsia b naverno.

> В принципе возможно использовать обобщенную задачу о собственных значениях
> Ax=lBx
> но мне неизвестно такое ее применение.


> > A chto takoe karandash (pencil) znaesh'?

> Применительно к С.З.? Нет. Или знаю под другим именем.

Proshu proschenija eto ja nemnogo gliukanul. Pencil tak zhe perevodit'sia kak semejstvo (oh uzh etot anglijskij). Semejstvo matric A-labda*B nacyvaet'sia pencil tozhe v anglijskoj literature.



> В прошлом постинге я несколько тормознул... Соответствие между строками и столбцами определяется куда проще - по значениям на пересечении.

Для особо понятливых - на пересечении чего с чем?


> > В прошлом постинге я несколько тормознул... Соответствие между строками и столбцами определяется куда проще - по значениям на пересечении.

> Для особо понятливых - на пересечении чего с чем?

Да нет. Ответ на именно так сформулированынй вопрос тривиален. Соответствие строки и столбца определяется тем, что на пересечении строки и столбца большое число.
Применять более сложные методы имеет смысл при более сложно сфромулированных вопросах...


> > > A chto takoe karandash (pencil) znaesh'?

> > Применительно к С.З.? Нет. Или знаю под другим именем.

> Proshu proschenija eto ja nemnogo gliukanul. Pencil tak zhe perevodit'sia kak semejstvo (oh uzh etot anglijskij). Semejstvo matric A-labda*B nacyvaet'sia pencil tozhe v anglijskoj literature.

В русской употребляется термин "пучок".


> > > В прошлом постинге я несколько тормознул... Соответствие между строками и столбцами определяется куда проще - по значениям на пересечении.

> > Для особо понятливых - на пересечении чего с чем?

> Да нет. Ответ на именно так сформулированынй вопрос тривиален. Соответствие строки и столбца определяется тем, что на пересечении строки и столбца большое число.
> Применять более сложные методы имеет смысл при более сложно сфромулированных вопросах...

То есть на пересечении строки и столбца в исходной матрице - Х?


> > 2. Как по сингулярному разложению нарисовать главные компоненты (и для строк и для столбцов)?

> Для меньшей размерности они совпадают с собственными векторами, умноженными на соответствующие сингулярные числа.

На сколько я помню в факторном анализе главные компоненты получают умножая исходную матрицу на матрицу собственных векторов. А тут еще и сингулярные числа. Кроме того, непонятно на какую матрицу множить – в факторном анализе мы множили на исходную матрицу потому, что через нее выражалась дисперсионная (ковариационная) матрица (Х-исходная, D(X)=X’X), которую мы собственно и разлагали. В данном случае нас интересует матрица инерций (рассеивания) – похоже, но чуть-чуть другое.

>Для бОльшей - умножаем матрицу с нужной стороны на уже имеющиеся собственные вектора (на транспонированную матрицу) - и готово...

Вот опять не совсем понятно – на какую матрицу множить (и с какой стороны)?

> > 3. Как найти проекции координаты точек-строк (в пространстве столбцов) и точек-столбцов (в пространстве строк) на соответствующие главные компоненты?

> Они взаимодополнительны. Умножьте матрицу исходных данных на матрицу Г.К. - и все схлопнется к другому набору Г.К.

То есть если я правильно понял если матрицу исходных данных умножить на матрицу главных компонент для строк, то мы получим матрицу главных компонент для столбцов?


> Положим, что нормирование (делением на суммы) уже сделано, и будем обозначать такую матрицу через
> X=CVS
> где
> C - квадратная ортонормированная матрица
> V - диагональная матрица
> S - прямоугольная матрица, наследующая размерность Х - лично мне такая трактовка нравится больше, чем если наследником размерностей исходной матрицы полагать V, дополняя S произвольными столбцами...
> (Для ситуации, когда строк меньше, чем столбцов, изменения очевидны)
> Очевидно, матрицы инерции T1=X'X=S'V^2S и T2=C'V^2C
> Связь вполне очевидна.

А матрицы С и S не будут матрицами собственных векторов?

> > 2. Как по сингулярному разложению нарисовать главные компоненты (и для строк и для столбцов)?

> Тут вопрос - у нас главные компоненты нормированы (т.е. длина их = 1), тогда они совпадают с C и S соответственно, а нагрузки на них получаются умножением C и S на V. Или же они ненормированы, тогда умножать их надо.

А вот что на что умножать?

> > 3. Как найти проекции координаты точек-строк (в пространстве столбцов) и точек-столбцов (в пространстве строк) на соответствующие главные компоненты?

> Насколько я понимаю - это и есть нагрузки...

А как здесь найти нагрузки?


> > > > В прошлом постинге я несколько тормознул... Соответствие между строками и столбцами определяется куда проще - по значениям на пересечении.

> > > Для особо понятливых - на пересечении чего с чем?

> > Да нет. Ответ на именно так сформулированынй вопрос тривиален. Соответствие строки и столбца определяется тем, что на пересечении строки и столбца большое число.
> > Применять более сложные методы имеет смысл при более сложно сфромулированных вопросах...

> То есть на пересечении строки и столбца в исходной матрице - Х?

Именно. Если речь идет о соответствии строки и столбца - то, вполне тривиальный, ответ на пересечении в исходной матрице. Более сложные методы могут ответить на вопрос о разбиении на группы столбцов и соответствии им групп строк и т.п.


> На сколько я помню в факторном анализе главные компоненты получают умножая исходную матрицу на матрицу собственных векторов. А тут еще и сингулярные числа. Кроме того, непонятно на какую матрицу множить – в факторном анализе мы множили на исходную матрицу потому, что через нее выражалась дисперсионная (ковариационная) матрица (Х-исходная, D(X)=X’X), которую мы собственно и разлагали. В данном случае нас интересует матрица инерций (рассеивания) – похоже, но чуть-чуть другое.

Ну так Вы пронормировали матрицу - и имеете право считать ея новой исходной...

> >Для бОльшей - умножаем матрицу с нужной стороны на уже имеющиеся собственные вектора (на транспонированную матрицу) - и готово...
>
> Вот опять не совсем понятно – на какую матрицу множить (и с какой стороны)?

Там, где размерности подходят...

> > > 3. Как найти проекции координаты точек-строк (в пространстве столбцов) и точек-столбцов (в пространстве строк) на соответствующие главные компоненты?

> > Они взаимодополнительны. Умножьте матрицу исходных данных на матрицу Г.К. - и все схлопнется к другому набору Г.К.

> То есть если я правильно понял если матрицу исходных данных умножить на матрицу главных компонент для строк, то мы получим матрицу главных компонент для столбцов?

X=SVC
S=XC'V(-1)=X(C'V(-1))=XA
C=V(-1)S'X=(V(-1)S')X=BX


> > Положим, что нормирование (делением на суммы) уже сделано, и будем обозначать такую матрицу через
> > X=CVS
> > где
> > C - квадратная ортонормированная матрица
> > V - диагональная матрица
> > S - прямоугольная матрица, наследующая размерность Х - лично мне такая трактовка нравится больше, чем если наследником размерностей исходной матрицы полагать V, дополняя S произвольными столбцами...
> > (Для ситуации, когда строк меньше, чем столбцов, изменения очевидны)
> > Очевидно, матрицы инерции T1=X'X=S'V^2S и T2=C'V^2C
> > Связь вполне очевидна.

> А матрицы С и S не будут матрицами собственных векторов?

Разумеется, это матрицы С.В. для матриц инерции и матрицы сингулярных векторов для исходной (нормированной)

> > > 2. Как по сингулярному разложению нарисовать главные компоненты (и для строк и для столбцов)?

> > Тут вопрос - у нас главные компоненты нормированы (т.е. длина их = 1), тогда они совпадают с C и S соответственно, а нагрузки на них получаются умножением C и S на V. Или же они ненормированы, тогда умножать их надо.

> А вот что на что умножать?

По размерностям.

> > > 3. Как найти проекции координаты точек-строк (в пространстве столбцов) и точек-столбцов (в пространстве строк) на соответствующие главные компоненты?

> > Насколько я понимаю - это и есть нагрузки...
>
> А как здесь найти нагрузки?

Вот ссылка с некоторой теорией.
http://www.statsoft.ru/home/textbook/modules/stcoran.html


Тут еще какое-то обобщенное разложение по сингулярным значениям применяется. Исходную матрицу Х точно так-же представляют в виде Х=АDB', где D теперь квадратная диагональная матрица обобщенных сингулярных значений, А - матрица, чьи стобцы представляют собой левые обобщенные сингулярные (я так понимаю они должны тоже совпадать с собственными)вектора, В - матрица, чьи стобцы представляют собой правые обобщенные сингулярные вектора.
Только разницу я чесно говоря не понял.


> > > > > В прошлом постинге я несколько тормознул... Соответствие между строками и столбцами определяется куда проще - по значениям на пересечении.

> > > > Для особо понятливых - на пересечении чего с чем?

> > > Да нет. Ответ на именно так сформулированынй вопрос тривиален. Соответствие строки и столбца определяется тем, что на пересечении строки и столбца большое число.
> > > Применять более сложные методы имеет смысл при более сложно сфромулированных вопросах...

> > То есть на пересечении строки и столбца в исходной матрице - Х?

> Именно. Если речь идет о соответствии строки и столбца - то, вполне тривиальный, ответ на пересечении в исходной матрице. Более сложные методы могут ответить на вопрос о разбиении на группы столбцов и соответствии им групп строк и т.п.

Так исходная матрица может быть размерности (50*50). Попробуйте тут сделать какие-нибудь выводы, просто рассматривая значения на пересечении строк и столбцов. Даже для проверки на независимость нужен Хи-квадрат тест. Но он позволяет сделать вывод лишь об отсутствии или наличии зависимости между столбцами и строками вцелом. А для того, чтобы сделать вывод о том какие строки каким столбцам соответствуют мне и нужен Correspondence Analysis. Во всех хелпах и мануалах говорят, что после преобразования координат можно на одном графике отобразить и точки строк, и точки столбцов. Я так понимаю, что именно потому, что первая главная компонента для строк и первая главная компонента для столбцов соответствуют одному и тому же собственному значению матрицы Х'Х, где Х-исходная, то же касается и вторых (и остальных, естественно) главных компонент. Поэтому, если по результатам метода главных компонент нарисовать отдельно графики для строк и столбцов, ось абсцисс для точек-строк соответствует оси абсцис для точек-столбцов, аналогично - оси ординат. Поэтому и можно лепить из двух графиков один.
Но в тех же мануалах сказано, что на основании того, что какие-нибудь точка-строка и точка-столбец на этом графике находятся геометрически близко друг к другу, нельзя делать вывод о их соответствии друг другу (непонятно тогда зачем вообще нужен был этот общий график).
Я так понимаю, что поскольку оси на графиках имеют одни и те же лямбда, то, скажем, можно одну из двух соответствующих осей домножить на константу или что-то в этом роде, так чтобы пользователь информации мог соотносить точки-строки с точками-столбцами на графике.
Я уже совсем запутался - координатные оси в новой системе координат и полученные главные компоненты - это одно и то-же?


> > > > Да нет. Ответ на именно так сформулированынй вопрос тривиален. Соответствие строки и столбца определяется тем, что на пересечении строки и столбца большое число.
> > > > Применять более сложные методы имеет смысл при более сложно сфромулированных вопросах...

> > > То есть на пересечении строки и столбца в исходной матрице - Х?

> > Именно. Если речь идет о соответствии строки и столбца - то, вполне тривиальный, ответ на пересечении в исходной матрице. Более сложные методы могут ответить на вопрос о разбиении на группы столбцов и соответствии им групп строк и т.п.

> Так исходная матрица может быть размерности (50*50). Попробуйте тут сделать какие-нибудь выводы, просто рассматривая значения на пересечении строк и столбцов. Даже для проверки на независимость нужен Хи-квадрат тест. Но он позволяет сделать вывод лишь об отсутствии или наличии зависимости между столбцами и строками вцелом. А для того, чтобы сделать вывод о том какие строки каким столбцам соответствуют мне и нужен Correspondence Analysis. Во всех хелпах и мануалах говорят, что после преобразования координат можно на одном графике отобразить и точки строк, и точки столбцов. Я так понимаю, что именно потому, что первая главная компонента для строк и первая главная компонента для столбцов соответствуют одному и тому же собственному значению матрицы Х'Х, где Х-исходная, то же касается и вторых (и остальных, естественно) главных компонент. Поэтому, если по результатам метода главных компонент нарисовать отдельно графики для строк и столбцов, ось абсцисс для точек-строк соответствует оси абсцис для точек-столбцов, аналогично - оси ординат. Поэтому и можно лепить из двух графиков один.

Увы, при внимательном чтении хэлпов и мануалов обнаруживается, что они категорически не рекомендуют как-то соотносить точки, представляющие столбцы, и точки, представляющие строки. Возможность совмещения графиков основана лишь на том, что координаты для этих двух видов точек имеют примерно одинаковый размах. Более того, мы имеем право умножить один из собственных векторов на -1, и он окажется столь же хорошо представляющим картину, как и исходный.

> Но в тех же мануалах сказано, что на основании того, что какие-нибудь точка-строка и точка-столбец на этом графике находятся геометрически близко друг к другу, нельзя делать вывод о их соответствии друг другу (непонятно тогда зачем вообще нужен был этот общий график).

Только для обозримости. Чтобы не работать с двумя картинками.

> Я так понимаю, что поскольку оси на графиках имеют одни и те же лямбда, то, скажем, можно одну из двух соответствующих осей домножить на константу или что-то в этом роде, так чтобы пользователь информации мог соотносить точки-строки с точками-столбцами на графике.

Не может он их соотносить. Вообще, что есть сингулярное разложение (это лишь один вариант трактовки!) - представление матрицы суммой матриц ранга 1, причем так, чтобы малым числом приближать наиболее точно. Если мы возьмем только первое сингулярное число, то наше приближение будет таково:
X(i,j)= S(i,1)*v(1)*C(1,j),
то есть мы пытаемся объяснить наши данные тем, что есть какая-то большая или меньшая частота встречаемости каждого варианта по строкам и столбцам, причем варианты вовсе независимы. Второе сингулярное число даст нам наилучшее в той же парадигме приближение остатка от первого приближения и т.д. По сути, первое число говорит о частоте встречаемости ПРИ НЕЗАВИСИМОСТИ СТРОК ОТ СТОЛБЦОВ. Задача соотнесения строк и столбцов этим методом не решается. Возможно, здесь нужно, напротив, вычислив первое сингулярное число и его вектора - отнять эту аппроксимацию от исходной матрицы, и смотреть на положительные и отрицательные числа в остатках. Они будут представлять встречаемость комбинаций, не объяснимую встречаемостью строк и столбцов самих по себе (положительные - сродство, отрицательные - отталкивание). Но такого метода я не встречал в описаниях.

> Я уже совсем запутался - координатные оси в новой системе координат и полученные главные компоненты - это одно и то-же?

Да. Нормированные ГК.


> Тут еще какое-то обобщенное разложение по сингулярным значениям применяется. Исходную матрицу Х точно так-же представляют в виде Х=АDB', где D теперь квадратная диагональная матрица обобщенных сингулярных значений, А - матрица, чьи стобцы представляют собой левые обобщенные сингулярные (я так понимаю они должны тоже совпадать с собственными)вектора, В - матрица, чьи стобцы представляют собой правые обобщенные сингулярные вектора.
> Только разницу я чесно говоря не понял.

По всей видимости, вводится еще какая-то матрица, которую также нужно диагонализировать, одновременно с этой (это я по аналогии с обобщенной проблемой собственных значений).


> > Но в тех же мануалах сказано, что на основании того, что какие-нибудь точка-строка и точка-столбец на этом графике находятся геометрически близко друг к другу, нельзя делать вывод о их соответствии друг другу (непонятно тогда зачем вообще нужен был этот общий график).

> Только для обозримости. Чтобы не работать с двумя картинками.

Один хелп все-таки представляет собой исключение. В книжке (сделаной из того же хелпа)по статистическому пакету SPSS сказано (и даже нарисовано), что если на общем графике через точку-строку провести из начала координат луч и затем из точки-столбца опустить на этот луч перепендикуляр, то растояние между проекцией
точки-столбца и точкой-строкой дает какое-то реальное представление (нет под рукой этой книжки, утром скажу конкретнее) о близости точек.

Неужели то, что оси, соответствующие одному и тому же сингулярному значению, связаны линейным преобразованием и имеют одинаковую размерность (единица) не дает нам возможности судить о соответствии точек (при каком-нибудь приведении к единому масштабу)?

А на счет вычитания наибольшего сингулярного значения надо подумать. А ничего, что когда мы строим матрицу инерции, мы уже выбрасываем (когда стандартизируем)ожидаемое при независимых строках и столбцах значение частоты (насколько я понял исходная матрица так всегда строится)?


И еще вопрос. По близости (на графике)точек-строк к определенным осям, которые являються линейными комбинациями точек-столбцов, можно ли судить о соответствии даной строки какой-нибудь группе столбцов(то же самое, естественно, для точек-столбцов)?


> > Я уже совсем запутался - координатные оси в новой системе координат и полученные главные компоненты - это одно и то-же?

> Да. Нормированные ГК.

Т.е. оси - нормированные ГК. А почему нормированые (просто уже совсем торможу)?


> > > Я уже совсем запутался - координатные оси в новой системе координат и полученные главные компоненты - это одно и то-же?

> > Да. Нормированные ГК.

> Т.е. оси - нормированные ГК. А почему нормированые (просто уже совсем торможу)?

Ну, имею в виду что длина их приведена к единице (как обычно и делается, но вовсе не обязательно, можно сделать норму ГК пропорциональной ее вкладу, так тоже возможно)



> И еще вопрос. По близости (на графике)точек-строк к определенным осям, которые являються линейными комбинациями точек-столбцов, можно ли судить о соответствии даной строки какой-нибудь группе столбцов(то же самое, естественно, для точек-столбцов)?

Полагаю, что нет. В действительности судить можно о близости столбцов меж собой и соответственно строк меж собой.


> А на счет вычитания наибольшего сингулярного значения надо подумать. А ничего, что когда мы строим матрицу инерции, мы уже выбрасываем (когда стандартизируем)ожидаемое при независимых строках и столбцах значение частоты (насколько я понял исходная матрица так всегда строится)?

Есть вариант построения с вычитанием, а есть - с вероятностной интерпретацией, когда ничего не вычитается, а только делится на маргинальную вероятность.


> > А на счет вычитания наибольшего сингулярного значения надо подумать. А ничего, что когда мы строим матрицу инерции, мы уже выбрасываем (когда стандартизируем)ожидаемое при независимых строках и столбцах значение частоты (насколько я понял исходная матрица так всегда строится)?

> Есть вариант построения с вычитанием, а есть - с вероятностной интерпретацией, когда ничего не вычитается, а только делится на маргинальную вероятность.

Я имею в виду вариант с вычитанием, который как я понял встречается чаще. Тем более, что если не вычитать ожидаемую частоту, то максимальное сингулярное значение будет равно единице и одномерная апроксимация будет в каком-то смысле (только я еще не понял в каком)тривиальной.
Так вот при варианте с вычитанием мы ведь пытаемся апроксимировать рассеивание точек вокруг своего центра тяжести, т.е. на сколько я понимаю - как раз отклонение от гипотезы независимости. Соответственно, при наличии большого рассеивания вдоль обной из главных осей нельзя ли говорить о тесной связи между точками-строками/столбцами и соответствующими данной главной оси точками-столбцами/строками?


В той книжке (хелп по SPSS) написано, что если мы из начала координат проведем через точку-строку прямую и потом из точки-столбца опустим перепендикуляр на эту прямую, то расстояние между точкой-строкой и пересечением перпендикуляра и с прямой показывает расстояние между данными строкой и столбцом (их соответствие).

В друггой книжке (Айвазян и др.) написано: "Далее (после получения ГК и построения общего графика)проводится визуальный анализ получаемых конфигураций точек, соответствующих строками столбцам для выявления различных особенностей: наличие кластеров, скоплений точек-столбцов вблизи тех или иных строк, и наоборот."

Кроме того в одном из хелпов я обнаружил следующее: "Для того чтобы расстояния между точками строк и столбцов можно было проинтерпретировать Кэррол, Грин и Шаффер предложили использовать координаты Dr^(1/2)*U*(I+Г)^(1/2) для строк и
Dc^(1/2)*V*(I+Г)^(1/2) - для столбцов."

Может все таки можно?


Я тут пытаюсь просуммировать что я понял ичего не понял. Если кто найдет неточности - буду очень признателен.

Анализ соответствий.
(Correspondence analysis.)

Анализ соответствий является одной из реализаций метода главных компонент. В отличие от факторного анализа, по главным компонентам разлагается не ковариационная матрица, а матрица инерции (иногда встречается термин «матрица рассеивания»). Сумма элементов которой умноженная на количество наблюдений в выборке является величиной, имеющей Хи-квадрат распределение (очевидно, что вследствие аддитивности Хи-квадрат распределения это же распределение будет иметь сумма элементов любой строки или столбца матрица инерции и вообще любой ее элемент).
Начальные данные для анализа соответствий содержатся в матрице N={n_ij}, где n_ij – число наблюдений, для которых одновременно имели место i-й уровень первого фактора и j-уровень второго фактора.
Далее:
P=(1/n)N матрица относительных частот, где n=Сумм_iСумм_j(n_ij) - количество наблюдений в выборке,
вектор r={r_i}, где r_i=Сумм_j(n_ij/n) – вектор масс строк (сумм относительных частот по стокам),
вектор c={c_j}, где c_j=Сумм_i(n_ij/n) – вектор масс столбцов (сумм относительных частот по столбцам),
Dr=diag(r_i)={r_ij}, где r_ij= r_i, если i=j, r_ij=0, если i<>j,
Dc=diag(c_j)={c_ij}, где c_ij= c_j, если j=i, c_ij=0, если j<>i,
Для того, чтобы исходная матрица была такой, чтобы возводя ее в квадрат можно было бы получить матрицу инерций, в качестве исходной берут матрицу
Q=Dr^(-1/2)*(P-rc’)*Dc^(-1/2),
где (P-rc’)={ n_ij/n – (n_i/n)*( n_j /n)}, где n_i = Сумм_j(n_ij), n_j= Сумм_i(n_ij).
Для перехода к новой системе координат выполняется либо разложение по сингулярным значения матрицы Q, либо обобщенное разложение по сингулярным значениям матрицы,
(P-rc’), которое все равно находится на основе Q
Q=Dr^(-1/2)*(P-rc’)*Dc^(-1/2) => (P-rc’)= Dr^(1/2)*U*Г*V’*Dc^(1/2)=AГB’,
где А= Dr^(1/2)*U, В=Dc^(1/2)V.

Далее не совсем понятно. У меня тут написано, что координаты строк в новом пространстве равны: F=Dr^(1/2)*U*Г, хотя я думал, что F=Dr^(1/2)*U*Г*(P-rc’). Аналогично, у меня написано, что координаты столбцов в новом пространстве равны: G= Dc^(1/2)*V*Г, хотя я думал, что G=Dc^(1/2)*V*Г*(P-rc’). Почему мы не домножаем на (P-rc’), ведь по идее новая матрица координат получается умножением исходной на матрицу собственных векторов?
Кроме того, у меня тут написано, что когда мы анализируем строки исходной матрицы (на предмет сокращения размерности точек-строк), то координаты строк в пространстве с сокращенной размерностью равны (как и ранее) F=Dr^(1/2)*U*Г, а координаты столбцов равны G=Dc^(1/2)*V. Аналогично, если мы анализируем столбцы исходной матрицы, то координаты столбцов в пространстве с сокращенной размерностью равны G= Dc^(1/2)*V*Г (как и ранее), а вот координаты строк равны F=Dr^(1/2)*U. Что это значит, при чем тут вообще координаты столбцов, если мы анализируем профили строк, и при чем тут строки, если мы анализируем профили столбцов? И что на самом деле означают вектора Dr^(1/2)*U и Dc^(1/2)*V.


Из равенства Q = U*Г*V’ следует, что U=Q*V*Г^(-1) и V=Q’*U*Г^(-1). Однако в книге (Айвазян и др.) написано, что собственные векторы матриц рассеивания (они же сингулярные векторы матрицы Q) связаны между собой соотношениями:
Vk=1/(sqrt(lambda_k))*Q*Uk и Uk=1/(sqrt(lambda_k))*Q’*Vk, вместо
Vk=1/(sqrt(lambda_k))*Q’*Uk и Uk=1/(sqrt(lambda_k))*Q*Vk.
Вопрос – чему верить?

В книге (Айвазян и др.) написано, что вектор g=Dr^(-1/2)*Vk пропорционален (так в тексте) h – мерному вектору координат проекций. Аналогично, вектор
f=Dc^(-1/2)*Uk (Uk – левый сингулярный вектор, соответствующий сингулярному числу sqrt(lambda_k)) пропорционален – мерному вектору координат проекций точек-столбцов на вектор Vk. Действительно вектор координат проекций профилей строк (профиль – в нормированной матрице относительных частот (Р-rc’) каждый элемент строки делится на сумму элементов строки, тоже самое профиль столбца – каждый элемент столбца делится на сумму элементов столбца) будет Fr*Uk ( разве так !? ), где Fr=Dr^(-1)*(P-rc’)*Dc^(-1/2)=Dr^(-1/2)*Q. Далее Fr*Uk=Dr^(-1/2)*Q*Uk=1/(sqrt(lambda_k))*Dr^(-1/2)*Vk (тоже не понятно, ведь по идее
Fr*U= Dr^(-1/2)*Q*U=Dr^(-1/2)*Q*Q’*V*Г^(-1)). Но это значит, что координаты проекций точек из Rh (-пространство строк) на направление, задаваемое собственным вектором Uk, пропорциональны с множителем 1/(sqrt(lambda_k)) компонентам фактора в другом пространстве Rm (пространстве столбцов) на оси, соответствующей тому же самому сингулярному числу. Итак, координаты проекций получаются умножением векторов g и f на sqrt(lambda_k).
Вопрос – можно ли этому верить?


> Из равенства Q = U*Г*V’ следует, что U=Q*V*Г^(-1) и V=Q’*U*Г^(-1). Однако в книге (Айвазян и др.) написано, что собственные векторы матриц рассеивания (они же сингулярные векторы матрицы Q) связаны между собой соотношениями:
> Vk=1/(sqrt(lambda_k))*Q*Uk и Uk=1/(sqrt(lambda_k))*Q’*Vk, вместо
> Vk=1/(sqrt(lambda_k))*Q’*Uk и Uk=1/(sqrt(lambda_k))*Q*Vk.
> Вопрос – чему верить?

А может, у них разные соглашения относительно того, что прямое, что транспонированное?

> В книге (Айвазян и др.) написано, что вектор g=Dr^(-1/2)*Vk пропорционален (так в тексте) h – мерному вектору координат проекций. Аналогично, вектор
> f=Dc^(-1/2)*Uk (Uk – левый сингулярный вектор, соответствующий сингулярному числу sqrt(lambda_k)) пропорционален – мерному вектору координат проекций точек-столбцов на вектор Vk. Действительно вектор координат проекций профилей строк (профиль – в нормированной матрице относительных частот (Р-rc’) каждый элемент строки делится на сумму элементов строки, тоже самое профиль столбца – каждый элемент столбца делится на сумму элементов столбца) будет Fr*Uk ( разве так !? ), где Fr=Dr^(-1)*(P-rc’)*Dc^(-1/2)=Dr^(-1/2)*Q. Далее Fr*Uk=Dr^(-1/2)*Q*Uk=1/(sqrt(lambda_k))*Dr^(-1/2)*Vk (тоже не понятно, ведь по идее
> Fr*U= Dr^(-1/2)*Q*U=Dr^(-1/2)*Q*Q’*V*Г^(-1)).


Ну, здесь Q*Q' должно схлопнуться в единичную, нет?



Физика в анимациях - Купить диск - Тесты по физике - Графики on-line

Реклама: аренда эквивалент нагрузки
Rambler's Top100