Varför använder man minsta kvadratmetoden

Minstakvadratmetoden (även minsta-kvadrat-metoden alternativt minsta kvadrat-metoden) används bland annat nära regressionsanalys på grund av för att minimera felet inom enstaka funktion likt bör anpassas utifrån observerade värden. modell vid tillämpningar existerar

• Utifrån gjorda folkräkningar önskar man förutsäga befolkningsökningen inom en enhet genom för att utföra folkmängden mot enstaka funktion från tiden.
• Inom hydrologi önskar man beräkna hur stort skyfall liksom inträffar ett gång fanns hundrade kalenderår, mot modell på grund av för att behärska dimensionera enstaka mindre damm (se även frekvensanalys). inom detta fall görs regnmängden mot ett funktion från återkomsttiden.

Minstakvadratmetoden besitter enstaka linjär samt ett icke-linjär variant beroende vid ifall residualerna (”felen”) existerar raka alternativt ej tillsammans med avseende vid varenda obekanta. Den raka varianten tillämpas inom regressionsanalys samt äger enstaka sluten form eller gestalt. Den icke-linjära bygger vanligen vid iterativa metoder. nära varenda iteration approximeras lösningen tillsammans med enstaka linjär svar, varför dem primär beräkningarna existerar snarlika inom båda fallen.

Historik

[redigera | redigera wikitext]

På nyårsdagen 1801 upptäckte den italienske astronomen Giuseppe PiazzidvärgplanetenCeres. beneath 40 dagar kunde denne följa dess väg, tills Ceres försvann på baksidan solen. beneath året ägde flera vetenskapsman utan succé försökt för att beräkna banan baserat vid Piazzis iakttagelser - beneath antagandet för att banan plats cirkulär, eftersom endast sådana bandelar kunde bestämmas matematiskt utifrån dem observerade positionerna nära denna tidpunkt. Den 24-årige Carl Friedrich Gauss kunde dock beräkna elliptiska banor utifrån tre olika observationer. tillsammans med ingång mot betydligt fler spårpunkter, använde han sin minstakvadratmetod på grund av för att öka noggrannheten. då småplaneterna vid nytt observerades från Franz Xaver von Zach samt Heinrich Wilhelm Olbers inom månad 1801, inom detaljerad dem positioner vilket förutsagts från Gauss, fanns detta ej bara enstaka massiv succé på grund av Gauss teknik, utan ledde även mot en återupprättande från Piazzis rykte, vilket skadats vid bas från konflikten tillsammans med omloppsbanor beräknade beneath antagandet för att banorna fanns cirkulära^[1]. Minstakvadratmetoden blev snabbt standardförfarandet nära behandlingen från astronomiska samt geodetiska mätresultat.

Minstakvadratmetoden tillskrivs vanligen Carl Friedrich Gauss (1795),^[2] dock publicerades inledningsvis från Adrien-Marie Legendre.^[3]

Anpassning från enstaka funktion mot observerade data

[redigera | redigera wikitext]

En vanlig modell till för att företräda ett mätserie

i form eller gestalt från enstaka funktion, existerar enstaka linjärkombination från m kända (valda) funktioner

där koefficienternac₁, c₂, ... , c_m skall bestämmas till för att inom minstakvadratmetodens fras bäst justera kurvan f mot mätserien, vilket innebär för att summan

skall minimeras.

För ett svar konstrueras ursprunglig den således kallade designmatrisen

Med

kan en linjärt ekvationssystem (vanligen överbestämt, normalt existerar n betydligt större än m) inom m obekanta tecknas

Att åtgärda detta ekvationssystem inom minstakvadratmetodens fras existerar likvärdig tillsammans med för att åtgärda normalekvationen

där A^T existerar transponatet mot A.

Om A samt y äger identisk antal rader samt ifall kolumnvektorerna inom A existerar linjärt oberoende, äger normalekvationen ett entydig svar c_min, till vilken gäller

det önskar yttra, c_min existerar minimumpunkten mot funktionen

Det kvadratiska medelfelet beräknas liksom

Anpassning från polynom

[redigera | redigera wikitext]

För för att justera en polynom från grad m

till datamängden

sätts polynomets monom (med varenda c_i = 1) tillsammans beräknade värden in såsom rader inom designmatrisen

De sökta koefficienterna c samt samtliga y-värden bildar kolumnvektorerna

Därefter löses vanligen normalekvationen

Val från polynomets grad

[redigera | redigera wikitext]

Givet värdet från datamängdens storlek, n, hur skall detta approximerande polynomets grad m väljas? Grundantagandet är^[4] för att m < n, alternativt åtminstone för att datamängden tillsammans tillräcklig noggrannhet kunna approximeras från en sådant polynom. angående m ≥ n förbättras ej approximationen. existerar m = n - 1 existerar lösningen detaljerad, dock inom detta fall missa enstaka vanligen önskvärd egenskap hos polynomet, nämligen förmågan för att sålla försvunnen specifikation orsakade från mätfel samt andra störningar (till modell numeriska fel).

Normalekvationen

[redigera | redigera wikitext]

Som enstaka orientering beskrivs kortfattat enstaka bakgrund mot normalekvationen

i form eller gestalt från en specialfall (illustrerbart) tillsammans tre raka ekvationer samt numeriskt värde obekanta koefficienter. Antag för att

och för att kolonnvektorernau samt v inom A spänner upp vektorrummetV (här, en strategi inom R³). inom allmänhet tillhör ej b vektorrummet V, varför ekvationen A c - b = 0 inom allmänhet saknar svar. detta existerar emellertid möjligt för att söka ett approximativ svar, mot modell inom minstakvadratmetodens fras, alltså enstaka svar mot minimumproblemet

Detta minimum föreligger då A c - b existerar ortogonal mot vektorerna inom V, detta önskar yttra då skalärprodukterna från A c - b samt varenda vektor inom V existerar noll. dock raderna inom A:s transponat tillhör V samt då matrisprodukten från A:s transponat samt A c - b existerar definierad, ger detta

och detta sökta värdet vid c, c_min, måste således satisfiera detta ekvationssystem. angående matrisen A^TA existerar inverterbar (om samt endast ifall, kolonnerna inom A existerar linjärt oberoende) existerar lösningen

och detta går för att visa för att c_min möter

Dessa utfall existerar inom huvudsak tillämpbara vid allmänna rektangulära matriser A.

Lösningar ifall designmatrisens kolonner existerar ortogonala

[redigera | redigera wikitext]

Sök enstaka svar mot ekvationen ifall

Eftersom kolonnerna inom A existerar ortogonala () ges den ortogonala projektionen från b vid A:s kolonnrum från

Då den ortogonala projektionen existerar känd går detta för att åtgärda . i enlighet med (1) existerar , vilket inom minstakvadratmetodens fras även existerar lösningen mot .

Matriser var kolonnerna existerar ortogonala förekommer relativt ofta inom bekymmer inom linjär regression^[5].

Exempel

[redigera | redigera wikitext]

Anpassning från ett rät linje

[redigera | redigera wikitext]

Vilken rät linje

ger bästa anpassningen mot mätserien

I detta fall blir designmatrisen

och y-värdena samt dem sökta koefficienterna placeras inom

Därefter löses

med avseende vid c.

Anpassning från en andragradspolynom

[redigera | redigera wikitext]

Givet datapunkterna (1,10), (2,8), (3,11), (4,17), (5,24) söks dem koefficienter mot andragradspolynomet

som i enlighet med minstakvadratmetoden existerar bäst anpassade mot observationerna.

Designmatrisen samt vektorn till y-värdena existerar

Normalekvationen löses tillsammans med avseende vid c

och detta anpassade andragradspolynomet existerar således

x	uppmätt y	anpassat y	felet	felet inom kvadrat
1	10	9,6	-0,4	0,16
2	8	8,8	0,8	0,64
3	11	11,0	0,0	0,00
4	17	16,2	-0,8	0,64
5	24	24,4	0,4	0,16
Summa:				1,60

Av varenda tänkbara andragradspolynom besitter inget enstaka summa från felen inom kvadrat liksom understiger 1,6.

Anpassning från ellips

[redigera | redigera wikitext]

Kan datapunkterna (-9, 2), (-2, 5), (3, 6), (7, 4), (9, 1), (8, -4), (1, -5), (-4, -5), (-8, -3), (-9, -1) vid en meningsfullt sätt beskrivas från ett ellips? Minstakvadratmetoden kunna användas till för att justera enstaka ellips mot datamängden. Ekvationen på grund av ett ellips existerar

där a, b existerar ellipsaxlarnas längder.

De beräknade värdena till ellipsekvationens begrepp (med a samt b = 1) sätts in inom designmatrisens rader samt värdena inom ellipsekvationens högerled sätts in inom kolumnvektorn b:

Normalekvationen löses

och därmed existerar

Anpassning från ett yta

[redigera | redigera wikitext]

Anpassning från ett yta inom R³,

till datapunkterna (x, y, z-koordinater inom R³)

(2, 4, 33), (-1, 1, 2), (1, -3, 7), (4, 4, 88), (-2, -3, 26), (-3, 1, 13), (-1, -1, 4), (4, 1, 36)

Designmatrisen A konstrueras samt datapunkternas z-värden placeras inom kolonnvektorn z:

Normalekvationen kunna för tillfället ställas upp samt lösas: