Ортогональное дополнение

Как следует из теоремы 2.7, в произвольном линейном пространстве L любое линейное подпространство H имеет прямое дополнение, т.е. такое линейное подпространство H', что H ⊕ H' = L. Такое линейное подпространство H' не является единственным. Однако в случае евклидова пространства среди всех возможных прямых дополнений к данному линейному подпространству одно выделяется.

Определение 3.8. Ортогональным дополнением линейного подпространства H в евклидовом пространстве Ε называют множество H^⊥ всех векторов х ∈ Ε, ортогональных каждому вектору линейного подпространства H.

Пример 3.15. В евклидовом пространстве V₃ свободных векторов рассмотрим линейное подпространство H векторов, параллельных данной плоскости (см. пример 2.1). Тогда ортогональным дополнением H^⊥ будет множество векторов, перпендикулярных к этой плоскости (рис. 3.6, а), в то время как в качестве прямого дополнения H₁ можно взять подпространство векторов, коллинеарных произвольной прямой, пересекающей плоскость в единственной точке, т.е. не параллельной плоскости и не лежащей в этой плоскости (рис. 3.6,6). Отметим, что в данном случае H^⊥ является линейным подпространством в V₃.

Теорема 3.6. Ортогональное дополнение H^⊥ линейного подпространства Н в евклидовом подпространстве Ε является линейным подпространством в Ε, причем Ε = Н ⊕ H^⊥ и dimH + dimH^⊥ = dimΕ.

◄ Чтобы доказать, что H^⊥ является линейным подпространством в Ε, нужно проверить условия 1) и 2) определения 2.1. Взяв два произвольных вектора x и у, принадлежащих H^⊥, умножим скалярно их сумму на произвольный вектор h ∈ Н. Получим:

(x + у, h) - (x, h) + (у, h) = 0 + 0 = 0,

т.е. для любых векторов x и у из множества H^⊥ их сумма x + у принадлежит тому же множеству.

Теперь рассмотрим произведение вектора x ∈ H^⊥ на про-извольное действительное число λ. Для произвольного вектора h ∈ H

(λx, h) = λ (x, h) = λ • 0 = 0,

и поэтому λx ∈ H^⊥ если x ∈ H^⊥. Следовательно, H^⊥ является линейным подпространством в Ε.

Отметим, что любой вектор x, принадлежащий пересечению Н ∩ H^⊥, ортогонален самому себе: (x, x) = 0, так как любой вектор из H^⊥ ортогонален любому вектору подпространства H. Но вектор ортогонален самому себе лишь в том случае, когда он нулевой (аксиома г) скалярного умножения). Поэтому Н ∩ H^⊥ = {0}, а сумма Н + H^⊥ рассматриваемых линейных подпространств является прямой (см. теорему 2.3). Докажем, что эта прямая сумма совпадает со всем евклидовым пространством Ε.

Выберем некоторый ортонормированный базис f₁, ... , f_m в линейном подпространстве H и дополним его до базиса f₁, ..., f_m, f_m+1, ... , f_n во всем евклидовом пространстве Ε, dimΕ = n. Исходя из этого базиса построим при помощи процесса Грама - Шмидта ортонормированный базис е = (e₁ ... е_m e_m+1 ... е_n) в Ε. Так как первые m векторов f₁, ... , f_m исходного базиса попарно ортогональны и имеют единичную длину, процесс ортогонализации оставит их без изменения, т.е. е₁ = f₁, i = 1,m. Векторы e_m+1, ..., е_n ортогональны каждому из векторов e₁, ..., е_m базиса линейного подпространства Н и, следовательно, ортогональны Н, так как H = span{e₁,... ,е_m}. Поэтому все они попадают в ортогональное дополнение H^⊥.

Рассмотрим произвольный вектор х ∈ Ε и запишем его разложение по базису е:

x = x₁e₁+ ... + x_ne_n.

Легко увидеть, что х₁ = x₁e₁ + ... + х_mе_m есть вектор из Н, x₂ = x_m+1e_m+1 + ... + х_nе_n есть вектор из H^⊥, при этом x = x₁ + x₂. Следовательно, x ∈ H ⊕ H^⊥, и так как вектор х выбирался произвольно, то H ⊕ H^⊥ = Ε.

Согласно следствию из теоремы 2.5, из соотношения H ⊕ H^⊥ = Ε вытекает следующее равенство для размерностей: dimΕ = dimH + dimH^⊥ . ►

Следствие 3.1. Каково бы ни было линейное подпространство Н в евклидовом пространстве Ε, любой вектор x ∈ Ε можно однозначно представить в виде

x = h + h^⊥ (3.11)

где h ∈ H, h^⊥ ∈ H^⊥.

◄ Действительно, это утверждение означает, что Ε = H ⊕ H^⊥. ►

Вектор h в разложении (3.11) называют ортогональной проекцией вектора х на линейное подпространство H, а вектор h^⊥ - ортогональной составляющей вектора х относительно линейного подпространства H.

Как построить ортогональное дополнение к данному линейному подпространству? Пусть линейное подпространство H определено наиболее распространенным способом - как линейная оболочка некоторой системы векторов a₁,... , а_m. Согласно определению 3.8 ортогонального дополнения, любой вектор х ∈ H^⊥ должен быть ортогонален каждому из векторов а_i:

(a_i,x)=0, i = l,m. (3.12)

Наоборот, если вектор х удовлетворяет системе равенств (3.12), т.е. он ортогонален каждому из векторов а_i, то этот вектор ортогонален и любой линейной комбинации системы векторов a₁, ..., a_m (см. 3.5). Значит, х ортогонален каждому вектору линейного подпространства H = span{a₁,... ,a_m} и принадлежит линейному подпространству H^⊥.

Итак, система уравнений (3.12) описывает ортогональное дополнение линейного подпространства Н. Запишем эту систему в координатах в некотором ортонормированием базисе е = (e₁ ... е_n). Пусть векторы а_i в этом базисе имеют разложения

a₁ = a₁₁e₁ + ... + a_1ne_n,

...............................

a_i = a_i1e₁ + ... + a_ine_n,

...............................

a_m = a_m1e₁ + ... + a_mne_n.

Координаты произвольного вектора х в том же базисе обозначим х₁, ..., х_n т.е. полагаем, что

х = х₁e₁ + ... + х_nе_n.

Тогда в ортонормированном базисе е

(a₁,x) = (a_i1e₁ + ... + a_ine_n, x₁e₁ + ... + x_ne_n) = a_i1x₁ + ... + a_inx_n, i = 1,m.

Таким образом, система (3.12), записанная в координатах относительно ортонормированного базиса е, имеет вид

a₁₁x₁ + ... + a_1nx_n = 0,

.................... (3.13)

a_m1x₁ + ... + a_mnx_n = 0,

т.е. представляет собой однородную систему из m линейных алгебраических уравнений с п неизвестными. Строки матрицы А этой системы совпадают с наборами координат векторов a₁, ..., а_m. Поэтому матрица А имеет ранг, равный рангу системы векторов a₁, ..., a_m, т.е. этот ранг совпадает с размерностью линейного подпространства Н.

Каждое решение системы (3.13) представляет собой набор координат некоторого вектора из H^⊥ и наоборот, любой вектор из H^⊥ описывает решение системы (3.13). Поэтому можно сказать, что множество всех решений этой системы есть линейное подпространство H^⊥. Согласно теореме 3.6, это подпространство имеет размерность n - dimH = n - RgА. Множество решений однородной системы линейных алгебраических уравнений (СЛАУ) описывается при помощи фундаментальной системы решений. Напомним, что столбцы фундаментальной системы решений линейно независимы, а любое решение однородной СЛАУ представляется в виде линейной комбинации столбцов фундаментальной системы решений. Другими словами, фундаментальная система решений - это базис в подпространстве всех решений данной однородной СЛАУ. Каждый столбец фундаментальной системы решений представляет собой координатную запись вектора линейного подпространства Н^⊥ в выбранном базисе е евклидова пространства Ε, при этом такие векторы в совокупности образуют базис подпространства H^⊥. Мы здесь можем не различать фундаментальную систему решений системы (3.13) и соответствующий ей базис ортогонального дополнения H^⊥.

Пример 3.16. Пусть линейное подпространство Н представляет собой линейную оболочку системы векторов, заданных координатами в некотором фиксированном ортонормированием базисе е четырехмерного евклидова пространства Ε:

Найдем какой-либо базис ортогонального дополнения H^⊥.

Записываем систему вида (3.13), используя координаты векторов a_i.

и находим ее фундаментальную систему решений. Это можно сделать, например, с помощью приведения матрицы системы к ступенчатому виду методом элементарных преобразований [III]. В качестве базисных переменных выберем x₁ и x₂. Тогда фундаментальная система решений будет содержать два решения, например:

Cтолбцы найденной фундаментальной системы решений представляют собой координаты двух векторов f₁, f₂ из Ε, образующих базис линейного подпространства H^⊥, но этот базис не является ортонормированным. Чтобы получить ор-онормированный базис H^⊥, достаточно применить процесс ортогонализации Грама - Шмидта. Сделав это, находим векторы g₁ = f₁,

и ортонормированный базис в линейном пространстве H^⊥:

Дополнение 3.1. Нормы матриц

В линейном пространстве М_n(R) квадратных матриц порядка n норму можно задавать различными способами. Например, это линейное пространство можно трактовать как n²-мерное линейное арифметическое пространство со стандартным скалярным умножением, которому соответствует евклидова норма. Для матрицы А = (a_ij) ∈ М_n(R) эта норма имеет вид

Ее называют евклидовой нормой или l₂-нормой.

Евклидова норма матрицы никак не связана с расположением элементов матрицы по строкам и столбцам. Это обычно нежелательно, и поэтому она используется редко. Больший интерес представляют нормы матриц, использующие специфику записи матриц. Такая норма может быть связана с некоторой нормой, заданной для столбцов матрицы. Важно также и то, как норма связала с операцией умножения матриц. В этом разделе векторы линейных арифметических пространств удобно записывать как матрицы-столбцы, отождествляя векторы со столбцами их координат в стандартном базисе (см. замечание 1.4).

Определение 3.9. Пусть в линейном арифметическом пространстве Rⁿ задана норма ||•||_*. Норму ||•||_m в линейном пространстве М_n(R) называют согласованной с нормой ||•||_*, если для любой матрицы А ∈ М_n(R) и любого столбца x ∈ Rⁿ выполняется соотношение

||Ax||_* ≤ ||Ax||_m||x||_* (3.14)

Каждая ли норма в Rⁿ имеет согласованную с ней норму в М_n(R)? Ответ на этот вопрос утвердительный. Приведем пример такой нормы. Пусть в Rⁿ задана норма ||•||_*. На линейном пространстве матриц М_n(R) рассмотрим функцию

Из формулы не ясно, всегда ли определена указанная функция, т.е. всегда ли точная верхняя грань имеет конечное значение. Отметим, что, согласно аксиомам нормы и свойствам матричного умножения,

Следовательно, значение ||А||_i равно точной верхней грани функции ||Ax||_*, на множестве {x ∈ Rⁿ: ||x||_* = 1}. Можно покаказать, что это множество замкнутое и ограниченное (в частных случаях это показывает пример 3.8), а функция ||Ax||_* непрерывна на нем. На замкнутом ограниченном множестве непрерывная функция ограничена и достигает точной верхней грани [V]. Значит, величина ||Ax||_i конечна, причем существует такой вектор у ∈ Rⁿ единичной нормы, что ||А||_i = ||Ау||_*.

Итак, соотношение (3.15) корректно задает функцию на линейном пространстве М_n(R). Покажем, что эта функция является нормой, т.е. верны три аксиомы нормы. Выполнение аксиомы а) очевидно. Проверим аксиому б):

Аксиома в) нормы также верна:

Норму, определенную соотношением (3.15), называют индуцированной (или подчиненной, операторной) и используют для нее то же обозначение, что и для порождающей ее исходной нормы в Rⁿ:

Индуцированная норма всегда согласована с исходной нормой в Rⁿ, так как для любой матрицы А и любого x ≠ 0

что эквивалентно (3.14) при ||А||_m = ||A||_*. Индуцированная норма является наименьшей из всех норм, согласованных с данной нормой в Rⁿ. Действительно, пусть задана норма ||•|| в линейном пространстве матриц М_n(R), согласованная с нормой ||•||_* в Rⁿ. Выберем произвольную матрицу А, а в качестве вектора х выберем тот, на котором функция ||Аx||_* достигает наибольшего значения на множестве {||x|| = 1} всех векторов единичной нормы. Тогда

||A||_* = ||Ax||_* ≤ ||A||||x||_* = ||A||,

так как норма ||•||согласована с нормой ||•||_*.

Говорят, что норма ||•|| в линейном пространстве матриц M_n(R) является матричной, или кольцевой, если

||AB||≤||A||||B||.

Первый термин не совсем удачен, так как более естественно назвать матричной любую норму, заданную в линейном пространстве матриц. Отметим, что любая индуцированная норма является кольцевой, так как

для любого ненулевого столбца x в силу согласованности индуцированной нормы. Поэтому

Задавая различные нормы в Rⁿ, мы получаем индуцированные нормы в линейном пространстве матриц М_n(R). Выберем в Rⁿ евклидову норму ||•||₂:

||x||₂ = √(x²₁ + ... + x²_n)

где х = (x₁, ... , х_n). Индуцированную ею норму в линейном пространстве матриц М_n(R) называют спектральной нормой. Это название вызвано тем, что спектральная норма ||A||₂ матрицы А равна √λ, где λ - максимальное собственное значение матрицы А^TА.

Задав в Rⁿ l₁ - норму

||x||₁ = |x₁| + ... + |x_n|,

в качестве индуцированной получим следующую норму:

т.е. нормой матрицы А = (а_ij) ∈ М_n(R) является максимальная из l₁ - норм столбцов этой матрицы. Поэтому ее называют максимальной столбцевой или октаэдрической.

В качестве нормы в Rⁿ выберем l∞-норму

||x||_∞ = max{|x₁|,...,|x_n|}.

Тогда индуцированной нормой будет функция

т.е. нормой матрицы А = (a_ij) ∈ М_n(R) будет максимальная из l₁-норм строк этой матрицы. Поэтому ее называют максимальной строчной или кубической.

Особо стоит евклидова норма матриц ||A||₂, которая не является индуцированной. Действительно, непосредственно из определения (3.15) индуцированной нормы следует, что, какова бы ни была норма в Rⁿ, индуцированная норма единичной матрицы всегда равна единице. Однако нетрудно убедиться, что евклидова норма единичной матрицы Е ∈ М_n(R) равна √n > 1 (при n > 1).

Евклидова норма матриц является кольцевой. Действительно, пусть даны квадратные матрицы А = (a_ij) и В = (b_jk) порядка n. Их произведением будет матрица С = (с_ikx) с элементами c_ik = а_i1b_1k + а_i2b_2k + ... +а_inb_nk. Так как, согласно неравенству Коши,

c²_ik ≤ (а²_i1+ ... + а²_in)(b²_1k+ ... + b²_nk),

заключаем, что

В линейном пространстве матриц М_n(R), интерпретируя его как линейное арифметическое пространство Rⁿ , можно задать l₁-норму

и l_∞ -норму

где А = (a_ij) ∈ M_n(R). В приложениях теории матриц первая норма заметного интереса не представляет. Вторая норма оце-нивает величину матрицы по максимальному из абсолютных значений ее элементов и необходима при изучении свойств различных методов вычислений. Можно показать, что l_∞-норма в М_n(R) не является кольцевой, а потому она не согласована ни с какой нормой в Rⁿ. Этот недостаток можно нейтрализовать, модифицировав эту норму. Новая норма

отличающаяся от старой корректирующим множителем n, равным порядку матрицы, уже является кольцевой и согласована с тремя основными нормами в Rⁿ: евклидовой, l₁-нормой и l_∞-нормой.

Дополнение 3.2. Метод наименьших квадратов

Постановка задачи. Рассмотрим систему из n линейных алгебраических уравнений (СЛАУ) относительно к неизвестных

или в матричной записи

Ax = b. (3.17)

Каждому набору значений неизвестных сопоставим числа

d_i = b_i - (a_1ix₁ + ... + a_kix_k), i = 1,n,

которые называют невязками уравнений системы для задан-ного набора значений неизвестных. Очевидно, что набор зна-чений неизвестных является решением системы тогда и только тогда, когда соответствующие ему невязки всех уравнений си-стемы равны нулю.

Отметим, что функция

на решениях системы равна нулю и положительна в остальных случаях. Поэтому ее можно рассматривать как оценку отклоне-ния набора значений неизвестных от точного решения системы. Если система несовместна, то часто возникает задача найти вместо отсутствующих решений такой набор значений неизвестных, который приводит к наименьшему значению функции f. Такой подход в решении некорректной (т.е. не имеющей решений) задачи называют методом наименьших квадратов, поскольку ищется минимум функции, являющейся суммой квадратов.

Сформулированная задача по своему типу относится к классу задач минимизации функций многих переменных [V] и мо-жет быть решена общими методами поиска минимума. Однако ей можно придать алгебро-геометрическую интерпретацию и полностью решить методами линейной алгебры. Для придания задаче такой интерпретации будем трактовать столбцы коэф-фициентов при неизвестных, столбец правых частей уравнений (3.16) как столбцы координат векторов a₁, ..., а_k;, b евклидова арифметического пространства Rⁿ в стандартном базисе, отождествляя при этом векторы с их столбцами координат (см. замечание 1.4). Тогда и набор невязок уравнений системы мож-но рассматривать как вектор d = (d₁, ..., d_n) ∈ Rⁿ, который, согласно определению невязок, определяется соотношением

d = b - (x₁a₁ + ... + x_ka_k).

Число ||d|| назовем невязкой СЛАУ (3.17). Вычислив скалярный квадрат вектора d, находим

||d||² = f (x₁, ... , x_k)

Следовательно, задача сводится к определению таких действи-тельных коэффициентов х₁, ..., x_k при которых величина ||d|| имеет наименьшее значение.

Решение задачи. Введем линейное подпространство H = span{a₁,...,a_k} и его ортогональное дополнение H^⊥. Разложим вектор b на его ортогональную проекцию на линейное подпространство Н и соответствующую ортогональную составляющую:

b = h + h^⊥, h ∈ H, h^⊥ ∈ H^⊥.

Тогда

d = h + h^⊥ - (x₁a₁ + ... + x_ka_k) = h^⊥ + (h - x₁a₁ - ... - x_ka_k) = h^⊥ + d₀,

где

d₀ = h - x₁a₁ - ... - x_ka_k ∈ H.

Так как d₀ ⊥ h^⊥,то по теореме Пифагора заключаем, что

||d||² = ||d₀||² + ||h^⊥||²

Ортогональная составляющая h^⊥ вектора невязок постоянна и от выбора коэффициентов х_i не зависит. Поэтому минимизация величины ||d||² сводится к поиску минимума величины ||d₀||². Эта величина является неотрицательной и достигает минимума, если обращается в нуль, т.е. при условии, что d₀ = 0. А это равносильно тому, что d = h^⊥, т.е. вектор невязок принадлежит ортогональному дополнению H^⊥ и поэтому является решением системы

(a_j, d) = 0, j = 1,k, (3.18)

или

(а_j, b - x₁a₁ - ... - х_kа_k) = 0, j = 1,k,

(см. 3.9). После преобразований получаем СЛАУ

относительно неизвестных х₁, ..., х_k. Матрица этой системы Г = ((а_i,а_j)) - это квадратная матрица порядка k, представляющая собой матрицу Грама для системы векторов a₁, ..., a_k.

Теорема 3.7. Если система векторов а₁, ..., а_k линейно независима, то ее матрица Грама является невырожденной.

◄ Докажем равносильное утверждение, что если матрица Грама системы векторов а₁, ..., а_k вырождена, то эта система векторов линейно зависима. Вырожденность матрицы Грама означает, что ее столбцы линейно зависимы и один из них, например первый, является линейной комбинацией остальных [III]:

Следовательно, вектор f принадлежит ортогональному дополнению линейного подпространства span{a₁,...,a_k}, а поскольку f ∈ span{a₁,...,a_k}, то f = 0, т.е.

Это равенство означает, что векторы a₁, ... , a_k линейно зависимы, так как коэффициент при a₁ не равен нулю. ►

Отметим, что система линейных алгебраических уравнений (3.19) всегда совместна: ее решениями являются коэффициенты разложения вектора h ∈ H = span{a₁,... ,a_k} по системе векторов a₁, ..., а_k, так как в этом случае вектор d = b - h = h^⊥ - решение системы (3.18). Если система векторов a₁, ..., а_k линейно независима, то, согласно доказанной теореме, матрица СЛАУ (3.19) невырождена и эта система имеет единственное решение, которое дает решение исходной задачи. Если же указанная система векторов линейно зависима, то матрица СЛАУ (3.19) вырождена. В этом случае квадратная СЛАУ (3.19), будучи совместной, имеет бесконечно много решений и каждое из них дает решение исходной задачи. Среди этих решений можно выбирать те, которые удовлетворяют каким-то дополнительным условиям.

Дополнение 3.3. Псевдорешения и псевдообратная матрица

Рассмотрим систему линейных алгебраических уравнений (СЛАУ) Ах = b, вообще говоря, несовместную, с матрицей А типа n × k. Мы остановимся на тех столбцах x, которые для рассматриваемой системы дают минимальную невязку. Если СЛАУ Ах = b совместна, то такие столбцы представляют собой ее решения. Если же СЛАУ несовместна, то столбцы, дающие минимальную невязку, можно находить при помощи метода наименьших квадратов. В этом разделе изложим другой метод их нахождения, используя отождествление векторов евклидова арифметического пространства Rⁿ с матрицами-столбцами их координат в стандартном базисе.

СЛАУ Ах = b соответствует СЛАУ А^TАх = А^Tb, которую называют нормальной.

Пусть a₁, ..., a_k ∈ Rⁿ - столбцы матрицы А. СЛАУ Ах = b может быть записана в векторной форме:

x₁a₁ + ... + x_kа_k = b.

Совместность СЛАУ Ах = b означает, что вектор b ∈ Rⁿ попадает в линейную оболочку H системы векторов a₁, ..., а_k. Пусть b ∉ Н. Разложим вектор b в сумму b = h + h^⊥, где h - ортогональная проекция вектора b на линейное подпространство H, a h^⊥ - ортогональная составляющая этого вектора. Введенные обозначения используем в формулировках и доказательстве следующих трех теорем.

Теорема 3.8. Для любой СЛАУ Ах = b следующие множества совпадают:

- множество столбцов, дающих минимальную невязку для этой СЛАУ;

- множество решений СЛАУ Ах = h;

- множество решений нормальной СЛАУ А^TАх = А^Tb.

◄ Норма вектора h^⊥ представляет собой минимальную невязку СЛАУ Ах = b (см. Д.3.2), а множество векторов, дающих такую невязку, представляют собой решения СЛАУ Ах = h.

Условие h^⊥ ∈ Н^⊥ равносильно тому, что вектор h^⊥ ортогонален каждому из векторов a₁, ..., a_k, т.е.

(a_i,h^⊥) = 0, i = 1,k.

Мы имеем СЛАУ относительно компонент столбца h^⊥, которая в матричной форме имеет вид A^Th^⊥ = 0.

Умножим СЛАУ Ах = h, решения которой дают для си-стемы Ах = b минимальную невязку, на матрицу А^T слева. Учитывая, что А^TА = 0, получим

А^TАх = A^Th = A^Th + A^Th^⊥ = А^⊥b.

Значит, все векторы х, дающие для СЛАУ Ах = b минимальную невязку, являются решениями СЛАУ А^TАх = А^Tb. Верно и обратное: если вектор х является решением системы A^TАх = А^Tb, то для СЛАУ Ах = b он дает минимальную невязку. Действительно, если А^TАх = А^Tb, то А^T(b - Ах) = 0, а это означает, что вектор b' = b - Ах ортогонален векторам a₁, ..., а_k и, следовательно, принадлежит линейному пространству, Н^T. Поскольку b" = Ах ∈ Н, то b = b" + b'. Согласно следствию 3.1, последнее равенство совпадает с разложением b = h + h^⊥. Поэтому b' = h^⊥, а норма вектора b', представляющая собой невязку, будет минимальной. ►

Теорема 3.9. Нормальная система линейных алгебраических уравнений всегда совместна.

◄ СЛАУ Ах = b соответствует нормальная СЛАУ А^TАх = А^Tb. Решениями нормальной СЛАУ являются векторы х, дающие минимальную невязку для исходной СЛАУ Ах = b и являющиеся решениями СЛАУ Ах = h. Последняя же система всегда имеет решения, так как в векторной форме она имеет вид x₁a₁ + ... + x_ka_k = h, где h ∈ H = span{a₁,... ,a_k}. ►

Теорема 3.10. Для того чтобы нормальная СЛАУ А^TАх = А^Tb имела единственное решение, необходимо и достаточно, чтобы:

- однородная СЛАУ Ах = 0 была определенной;

- ранг матрицы А совпадал с количеством ее столбцов;

- векторы a₁, ..., а_k были линейно независимы.

◄ Так как множества решений систем Ах = h и А^TАх = А^Tb совпадают, то из теоремы о структуре общего решения СЛАУ [III] следует, что тогда совпадают и множества решений соответствующих однородных систем Ах = 0 и А^T Ах = 0. Если эти однородные системы определенны, т.е. имеют единственное решение, то СЛАУ Ах = b имеет единственный вектор с минимальной невязкой и наоборот. Для того чтобы однородная система Ах = 0 имела единственное решение, необходимо и достаточно, чтобы ранг матрицы А был равен количеству столбцов в ней, или, другими словами, чтобы столбцы матрицы были линейно независимы [III]. ►

Псевдорешения и их свойства. Если для системы Ах = b бесконечное количество векторов х дает минимальную невязку, то обычно выбор останавливают на том из них, который имеет минимальную норму. Такой вектор называют нормальным псевдорешением (или просто псевдорешением) СЛАУ Ах = b. Таким образом, псевдорешение системы линейных ал-гебраических уравнений - это такой вектор, который дает минимальную невязку в этой системе и среди таких векторов имеет минимальную норму.

Теорема 3.11. Любая СЛАУ имеет псевдорешение, и притом единственное.

◄ Множество всех векторов х, дающих минимальную невязку для СЛАУ Ах = b, описывается формулой

x = x_x + x_о, (3.20)

где х_ч - некоторое частное решение соответствующей нормальной СЛАУ; х_о - общее решение однородной СЛАУ А^TАх = 0, которое является общим решением и однородной СЛАУ Ах = 0 (см. доказательство теоремы 3.10).

Обозначим через K линейное подпространство всех решений однородной СЛАУ Ах = 0. Тогда имеет место представление х_ч = х^⊥_ч + х°_ч, где х°_ч ∈ K, х^⊥_ч ∈ K^⊥, и поскольку х°_ч + х_о ∈ K, то для любого x вида (3.20), согласно теореме Пифагора, имеем

||x||² = ||x_ч + x_о||² = ||x^⊥_ч + (x^о_ч + x_о)||² + ||x^⊥_ч||² + ||x^о_ч + x^о||² ≥ ||x^⊥_ч||²

Равенство ||x|| = ||x^⊥_ч||² возможно и притом лишь в единственном случае, когда x°_ч + х_o = 0, или х = х 1/ч. Следовательно, среди векторов, дающих минимальную невязку СЛАУ Ах = b, минимальную норму будет иметь вектор и только он. Этот вектор является ортогональной составляющей (любого) частного решения нормальной СЛАУ относительно линейного подпространства K всех решений соответствующей однородной СЛАУ Ах = 0. ►

Оказывается, что для любой СЛАУ можно построить такую другую СЛАУ, единственным решением которой является псевдорешение исходной СЛАУ. Для нахождения такой СЛАУ воспользуемся тем, что, согласно доказательству теоремы 3.11, условие минимальности нормы псевдорешения СЛАУ Ах = b означает его ортогональность всем векторам линейного подпространства K решений соответствующей однородной системы Ах = 0. Ортогональность линейному подпространству K равносильна тому, что псевдорешение ортогонально каждому из векторов произвольно выбранной фундаментальной системы решений СЛАУ Ах = 0. Условия ортогональности представляют собой линейные уравнения, добавив которые к нормальной СЛАУ, мы и получим такую СЛАУ, единственным решением которой будет псевдорешение системы Ах = b.

Пример 3.17. Если матрица А нулевая, то псевдорешением СЛАУ Ах = b является нулевой вектор. Действительно,в этом случае невязка не зависит от выбора вектора х и равна ||b||. Минимальную же норму среди всех векторов линейного арифметического пространства имеет нулевой вектор.

Пример 3.18. Если матрица А является квадратной и невырожденной, то псевдорешение СЛАУ Ах = b совпадает с ее обычным решением, так как минимальная невязка, равная нулю, будет достигаться на единственном векторе, являющемся решением этой системы. Псевдорешение совпадет с решением и в случае, когда матрица А не является квадратной, но имеет ранг, совпадающий с количеством столбцов. Это возможно в том случае, когда число строк превышает число столбцов. Такую систему можно заменить эквивалентной ей квадратной, отбрасывая лишние уравнения.

Пример 3.19. Рассмотрим простейшую систему

двух уравнений с двумя неизвестными. Видно, что эта система несовместна. Последовательно вычисляем

Таким образом, нормальная СЛАУ в этом случае состоит из двух одинаковых уравнений:

Множество решений нормальной системы, т.е. множество пар х, у, дающих минимальную невязку в исходной системе, на плоскости изображается прямой х + у = 0,5 (рис. 3.7), а псевдорешением будет точка этой прямой, ближайшая к началу координат, т.е. точка с координатами х = 0,25, у = 0,25. Этой точке соответствует радиус-вектор с наименьшей нормой среди всех радиус-векторов точек прямой х + у = 0,5.

Если одно из уравнений исходной системы умножить на ко-эффициент, то и множество решений нормальной системы, и псевдорешение данной системы изменятся. Это достаточно очевидно, так как умножение уравнения на коэффициент изме-няет, вообще говоря, его невязку. Например, умножив второе уравнение рассматриваемой системы на 2:

и вычислив

находим, что нормальная СЛАУ и в этом случае будет состоять из двух идентичных уравнений 5х + 5у = 4, но они уже другие. Псевдорешением рассматриваемой системы будет х = 0,4, y = 0,4.

Пример 3.20. Рассмотрим на плоскости треугольник с вершинами (1; 1), (2;2), (3;1) (рис. 3.8). Прямые, на которых лежат стороны этого треугольника, опишем при помощи нормальных уравнений и составим из них систему

Полученная система несовместна, так как три прямых не имеют общей точки.

Определим для полученной системы нормальную СЛАУ. Для этого последовательно находим:

Нормальная СЛАУ A^T Ax = A^Tb имеет единственное решение х = 2, у = 1,5, являющееся (в силу единственности) псевдорешением исходной системы.

Так как прямые плоскости заданы нормальными уравнени-ями, квадрат невязки системы для вектора (х₀, у₀) будет равен сумме квадратов расстояний от точки (x₀;y₀) до трех прямых. Найденному псевдорешению на плоскости соответствует точка (2;1,5), сумма квадратов расстояний от которой до трех сторон треугольника является минимальной. #

Псевдорешения сохраняют линейные свойства решений ли-нейных систем.

Теорема 3.12. Если х₁ - псевдорешение системы Ах = b₁, x₂ - псевдорешение системы Ах = b₁, то λ₁x₁ + λ₂x₂ - псевдорешение системы Ах = λ₁b₁ + λ₂b₂.

◄ Из условий теоремы вытекает, что x_i является решением нормальной СЛАУ А^TАх = A^Tb_i, i = 1,2. Значит, λ₁x₁ + λ₂x₂ является решением нормальной СЛАУ А^TАх = А^Tλ₁b₁ + А^Tλ₂b₂, и нам остается показать, что при этом λ₁x₁ + λ₂x₂ имеет минимальную норму или, что то же самое, λ₁x₁ + λ₂x₂ и любое решение у однородной СЛАУ Ау = 0 ортогональны.

Отметим, что псевдорешения x_i ортогональны всем решениям СЛАУ Ау = 0 как псевдорешения систем, различающихся лишь правыми частями. Это значит, что (у, x_i) = 0, если Ау = 0. Поэтому

(у, λ₁x₁ + λ₂x₂) = λ₁(у, x₁) + λ₂ (у, x₂) = 0,

если Ау = 0. ►

Псевдообратная матрица. Решение СЛАУ Ах = b с квадратной невырожденной матрицей А может быть записано с помощью обратной матрицы в виде x = А^-1b [III]. Обратная матрица А^-1 является решением матричного уравнения АХ = Е, где Е - единичная матрица, а столбцы с_i обратной матрицы являются решениями систем Ag_i = е_i, i = 1,n, где е₁, ..., е_n - стандартный базис в линейном пространстве Rⁿ (столбец е_i является также i-м столбцом единичной матрицы). Для b = (b₁ ... b_n)^T справедливо разложение b = b₁e₁ + ... + b_ne_n, и поэтому формула x = А^-1b в векторной форме записывается в виде x = b₁g₁ + ... + b_ng_n т.е. в виде линейной комбинации решений g_i, коэффициентами в которой служат правые части b_i уравнений системы.

Этот подход позволяет обобщить понятие обратной матрицы и использовать это обобщение для нахождения псевдорешений примерно так же, как обратную матрицу для построения обычных решений.

Рассмотрим СЛАУ Ах = b с произвольной матрицей А типа n × k. Пусть g_i - псевдорешение системы Ах = е_i, где е₁, ..., е_n - стандартный базис в Rⁿ. Матрицу А⁺ = (g₁ ... g_n), составленную из столбцов g_i, называют псевдообратной к матрице А. Отметим, что матрица А⁺ имеет тип k×n, т.е. тот же, что и транспонированная матрица А^T.

Теорема 3.13. Псевдорешением СЛАУ Ах = b является вектор х = А⁺b.

◄ Действительно, если g_i - псевдорешение системы Ах = е_i, i = 1,n, то, согласно теореме 3.12, х = b₁g₁ +... + b_ng_n является псевдорешением системы с той же матрицей и правой частью b₁e₁ +... + b_nе_n = b , т.е. рассматриваемой системы Аx = b. ►

Как вытекает из изложенного, любая матрица имеет псевдообратную. Если матрица А квадратная невырожденная, то ее псевдообратная матрица А⁺ совпадает с обратной А^-1, так как в этом случае псевдорешения g_i систем Аx = е_i будут совпадать с обычными решениями и, следовательно, будут столбцами обратной матрицы.

Пример 3.21. Если А - нулевая матрица типа n × k, то А⁺ - также нулевая, но типа k × n. В этом случае псевдорешением системы Аx = е_i, i = 1,n, будет нулевой столбец высоты k (см. пример 3.17).

Пример 3.22. Рассмотрим матрицу

Эта матрица имеет ранг 2, а соответствующая СЛАУ при любой правой части, согласно теореме Кронекера - Капелли, будет совместна, так как ранг расширенной матрицы не может превышать двух и потому совпадает с рангом матрицы системы. Поэтому псевдорешение СЛАУ Аx = b является одним и

1. Линейные операции над векторами

2. Базис. Cкалярное произведение

3. Векторное и смешанное произведения векторов

4. Декартова система координат. прямая на плоскости

5. Плоскость в пространстве

6. Прямая в пространстве

7. Кривые второго порядка — I

8. Кривые второго порядка — II

9. Поверхности второго порядка

10. Матрицы и операции с ними

11. Обратная матрица

12. Ранг матрицы

13. Системы линейных алгебраических уравнений

14. Свойства решений однородных и неоднородных СЛАУ