Наименьших квадратов метод

Значение слова "Наименьших квадратов метод" в Большой Советской Энциклопедии

ошибки. Наименьших квадратов метод применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при наблюдений обработке. Наименьших квадратов метод предложен К. Гауссом (1794—95) и А. Лежандром (1805—06). Первоначально Наименьших квадратов метод использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости Наименьших квадратов метод даны А. А. Марковым (старшим) и А. Н. Колмогоровым. Ныне Наименьших квадратов метод представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.   Сущность обоснования Наименьших квадратов метод (по Гауссу) заключается в допущении, что «убыток» от замены точного (неизвестного) значения физической величины и её приближённым значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки: (X - m)2. В этих условиях оптимальной оценкой естественно признать такую лишённую систематической ошибки величину X, для которой среднее значение «убытка» минимально. Именно это требование и составляет основу Наименьших квадратов метод В общем случае отыскание оптимальной в смысле Наименьших квадратов метод оценки Х — задача весьма сложная, поэтому практически эту задачу сужают и в качестве Х выбирают линейную функцию от результатов наблюдений, лишённую систематической ошибки, и такую, для которой среднее значение «убытка» минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина m зависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Наименьших квадратов метод), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Х также подчиняется нормальному распределению со средним значением m и, следовательно, плотность вероятности случайной величины Х при х = Х достигает максимума в точке m = Х (это свойство и выражает точное содержание распространённого в теории ошибок утверждения «оценка X, вычисленная согласно Наименьших квадратов метод, — наиболее вероятное значение неизвестного параметра m»).   Случай одного неизвестного. Пусть для оценки значения неизвестной величины m произведено n независимых наблюдений, давших результаты Y1, Y2,..., Yin, т. е. Y1 = m + d1, Y2 = m + d2,..., Yin = m + dn, где d1, d2,..., dn — случайные ошибки (по определению, принятому в классической теории ошибок, случайные ошибки — независимые случайные величины с нулевым математическим ожиданием: Еdi = 0; если же Edi ¹ 0, то Еdi, называются систематическими ошибками). Согласно Наименьших квадратов метод, в качестве оценки величины m принимают такое X, для которого будет наименьшей сумма квадратов (отсюда и само название метода):   где pi = k/si2 и si2 = Ddi = Edi2 (коэффициент k > 0 можно выбирать произвольно). Величину pi называют весом, a si — квадратичным отклонением измерения с номером i. В частности, если все измерения равноточны, то s1 = s2 =... = sn, и в этом случае можно положить p1 = p2 =... = pn = 1; если же каждое Yii, — арифметическое среднее из ni, равноточных измерений, то полагают pi = ni.   Сумма S (X) будет наименьшей, если в качестве Х выбрать взвешенное среднее: Оценка  величины m лишена систематической ошибки, имеет вес Р и дисперсию В частности, если все измерения равноточны, то Y — арифметическое среднее результатов измерений:   При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то распределение оценки  мало отличается от нормального с математическим ожиданием m и дисперсией k/P. В этом случае абсолютная погрешность приближённого равенства меньше с вероятностью, близкой к значению интеграла [напр., I (1,96) = 0,950; I (2,58) = 0,990; I (3,00) = 0,997].   Если веса измерений pi заданы, а множитель k до наблюдений остаётся неопределённым, то этот множитель и дисперсия оценки  могут быть приближённо оценены по формулам: и (обе оценки лишены систематических ошибок).   В том практически важном случае, когда ошибки di подчиняются нормальному распределению, можно найти точное значение вероятности, с которой абсолютная погрешность приближённого равенства окажется меньше ts (t — произвольное положительное число). Эту вероятность, как функцию от t, называют функцией распределения Стьюдента с n - 1 степенями свободы и вычисляют по формуле где постоянная Cnn-1 выбрана таким образом, чтобы выполнялось условие: Inn-1(¥) = 1. При больших n формулу (2) можно заменить формулой (1). Однако применение формулы (1) при небольших n привело бы к грубым ошибкам. Так, например, согласно (1), значению I = 0,99 соответствует t = 2,58; истинные значения t, определяемые при малых n как решения соответствующих уравнений ln-1(t) = 0,99, приведены в таблице: n 2 3 4 5 10 20 30 t 63,66 9,92 5,84 4,60 3,25 2,86 2,76 Пример. Для определения массы некоторого тела произведено 10 независимых равноточных взвешиваний, давших результаты Yii (в г): Yi 18,41 18,42 18,43 18,44 18,45 18,46 ni 1 3 3 1 1 1 (здесь ni — число случаев, в которых наблюдался вес Yii, причём n = Sni, = 10). Так как все взвешивания равноточные, то следует положить pi = ni и в качестве оценки для неизвестного веса m, выбрать величину Задавая, например, I9 = 0,95, по таблицам распределения Стьюдента с девятью степенями свободы можно найти, что t = 2,262, и поэтому в качестве предельной абсолютной погрешности приближённого равенства m » 18,431 следует принять величину   Т. о. 18,420 < m < 18,442.   Случай нескольких неизвестных (линейные связи). Пусть n результатов измерений Y1, Y2,..., Yin связаны с m неизвестными величинами x1, x2,..., хm (m < n) независимыми линейными отношениями где aij — известные коэффициенты, а di — независимые случайные ошибки измерений. Требуется оценить неизвестные величины xj (эту задачу можно рассматривать как обобщение предыдущей, в которой m = x1 и m = ai1 = 1; i = 1,2,..., n).   Так как Еdi = 0, то средние значения результатов измерений yi, = Eyi. связаны с неизвестными величинами x1, x2,..., хm линейными уравнениями (линейные связи):   Следовательно, искомые величины xj представляют собой решение системы (4), уравнения которой предполагаются совместными. Точные значения измеряемых величин yi и случайные ошибки di обычно неизвестны, поэтому вместо систем (3) и (4) принято записывать так называемые условные уравнения   Согласно Наименьших квадратов метод, качестве оценок для неизвестных xj применяют такие величины Xj, для которых сумма квадратов отклонений будет наименьшей (как и в предыдущем случае, pi — вес измерения Yii, — величина, обратно пропорциональная дисперсии случайной ошибки di). Условные уравнения, как правило, несовместны, т. е. при любых значениях Xj разности не могут, вообще говоря, все обратиться в нуль, и в этом случае также не может обратиться в нуль. Наименьших квадратов метод предписывает в качестве оценок выбрать такие значения Xj, которые минимизируют сумму S. В тех исключительных случаях, когда условные уравнения совместны и, значит, обладают решением, это решение совпадает с оценками, полученными согласно Наименьших квадратов метод   Сумма квадратов S представляет собой квадратичный многочлен относительно переменных Xj; этот многочлен достигает минимума при таких значениях X1, X2,..., Хm, при которых обращаются в нуль все первые частные производные: Отсюда следует, что оценки Xj, полученные согласно Наименьших квадратов метод, должны удовлетворять системе так называемых нормальных уравнений, которая в обозначениях, предложенных Гауссом, имеет вид: где   Оценки Xj, получающиеся в результате решения системы нормальных уравнений, лишены систематических ошибок (Exj = xj); дисперсии Dxj; величин Xj равны kdjj/d, где d — определитель системы (5), а djj — минор, соответствующий диагональному элементу [раjaj] (иными словами, djj/d — вес оценки Xj). Если множитель пропорциональности k (k называется дисперсией на единицу веса) заранее неизвестен, то для его оценки, а также для оценки дисперсии Dxj служат формулы:   k » S/(n - m) и Dxj » s2j = Sdjj/d (n - m) (S — минимальное значение исходной суммы квадратов). При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то абсолютная погрешность приближённого равенства xi » Xj меньше tsj с вероятностью, близкой к значению интеграла (1). Если случайные ошибки наблюдений di подчиняются нормальному распределению, то все отношения (Xj - xj)/sj распределены по закону Стьюдента с n - m степенями свободы [точная оценка абсолютной погрешности приближённого равенства производится здесь с помощью интеграла (2) так же, как в случае одного неизвестного]. Кроме того, минимальное значение суммы S в вероятностном смысле не зависит от X1, X2,..., Xm и поэтому приближённые значения дисперсий оценок Dxj » s2j не зависят от самих оценок Xj.   Один из наиболее типичных случаев применения Наименьших квадратов метод — «выравнивание» таких результатов наблюдений Yii, для которых в уравнениях (3) aij = aj (ti), где aj (t) — известные функции некоторого параметра t (если t — время, то t1, t2,... — те моменты времени, в которые производились наблюдения). Особенно часто встречается в приложениях случай так называемой параболической интерполяции, когда aj (t) — многочлены [например, a1(t) = 1, a2(t) = t, a3(t) = t2,... и т.д.]; если t2 — t1 = t3 — t2 =... = tn — tn-1, a наблюдения равноточные, то для вычисления оценок Xj можно воспользоваться таблицами ортогональных многочленов, имеющимися во многих руководствах по современной вычислительной математике. Другой важный для приложения случай — так называемая гармоническая интерполяция, когда в качестве aj (t) выбирают тригонометрические функции [например, aj (t) = cos (j - 1) t, j = 1, 2,..., m].   Пример. Для оценки точности одного из методов химического анализа этим методом определялась концентрация CaO в десяти эталонных пробах заранее известного состава. Результаты равноточных наблюдений указаны в таблице (i — номер эксперимента, ti — истинная концентрация CaO, Ti — концентрация CaO. определённая в результате химического анализа, Yii = Ti - ti — ошибка химического анализа): i 1 2 3 4 5 6 7 8 9 10 ti 4 8 12,5 16 20 25 31 36 40 40 Yi - 0,3 - 0,2 - 0,4 - 0,4 - 0,2 - 0,5 + 0,1 - 0,5 -0,6 -0,5   Если результаты химического анализа не имеют систематических ошибок, то Eyi = 0. Если же такие ошибки имеются, то в первом приближении их можно представить в виде: Eyi = a + bti (a называется постоянной ошибкой, а bti — методической ошибкой) или, что то же самое, где   Для отыскания оценок a и b достаточно оценить коэффициенты Условные уравнения в данном случае имеют вид: поэтому ai1 = 1, ai2 = ti - t (согласно предположению о равноточности наблюдений, все pi = 1). Так как то система нормальных уравнений записывается особенно просто: [a1a1] X1 = [Ya1]; [a2a2] X2 = [Ya2], где   Дисперсии компонент решения этой системы суть где k — неизвестная дисперсия на единицу веса (в данном случае k — дисперсия любой из величин Yi). Так как в этом примере компоненты решения принимают значения X1 = -0,35 и X2 = -0,00524, то   Dx1 » s12 = 0,00427,   Dx2 » s22 = 0,0000272,   s1 = 0,065, s2 = 0,00522.   Если случайные ошибки наблюдений подчиняются нормальному распределению, то отношения |Xj – xjl/sj (j = 1, 2) распределены по закону Стьюдента. В частности, если результаты наблюдений лишены систематических ошибок, то x1 = x2 = 0 и, значит, закону Стьюдента должны подчиняться отношения |X1|/s1 и |X2|/s2. С помощью таблиц распределения Стьюдента с n – m = 8 степенями свободы можно убедиться, что если действительно x1 = x2 = 0, то с вероятностью 0,999 каждое из этих отношений не должно превосходить 5,04 и с вероятностью 0,95 не должно превосходить 2,31. В данном случае |X1|/s1 = 5,38 > 5,04, поэтому гипотезу отсутствия систематических ошибок целесообразно отвергнуть; в то же время следует признать, что гипотеза об отсутствии методической ошибки (x2 = 0) не противоречит результатам наблюдений, так как |X2|/s2 = 1,004 < 2,31. Т. о., можно заключить, что для определения t по результату наблюдения Т целесообразно пользоваться приближённой формулой t = Т + 0,35.   Во многих практически важных случаях (и в частности, при оценке сложных нелинейных связей) количество неизвестных параметров бывает весьма большим и поэтому реализация Наименьших квадратов метод оказывается эффективной лишь при использовании современной вычислительной техники.     Лит.: Марков А. А., Исчисление вероятностей, 4 изд., М., 1924; Колмогоров А. Н., К обоснованию метода наименьших квадратов, «Успехи математических наук», 1946, т. 1, в. 1; Линник Ю. В., Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений, 2 изд., М., 1962; Helmert F. R., Die Ausgieichungsrechnung nach der Methode der kleinsten Quadrate..., 2 Aufl., Lpz., 1907.   Л. Н. Большев.     В Большой Советской Энциклопедии рядом со словом "Наименьших квадратов метод" Наименьшей кривизны принцип | Буква "Н" | В начало | Буквосочетание "НА" | Атиг Статья про слово "Наименьших квадратов метод" в Большой Советской Энциклопедии была прочитана 18495 раз

Интересное - TOP 200 - Темпы роста - Реализм (в литературе и искусстве) - Просвещение (эпоха) - Естествознание - Материализм - Евразия - Трактор - Классицизм - Тригонометрические функции - Матрица (в математике)