Quina és la diferència bàsica entre la carena i la menys regressió quadrada?


Resposta 1:

A Mínims quadrats, només heu d’informar la solució que proporciona la menor quantitat d’errors quadrats.

A Ridge, minimitzeu la suma dels errors al quadrat més una "penalització" que és la suma dels coeficients de regressió, multiplicats per un factor d'escalat de penalització. La conseqüència d'això és que Ridge "reduirà" els coeficients cap a zero, és a dir, té preferència per a coeficients propers a zero.


Resposta 2:

Regressió Lineal

La regressió és una tècnica emprada per modelar i analitzar les relacions entre variables i, de vegades, com contribueixen i es relacionen amb la producció d'un resultat particular.

Una regressió lineal fa referència a un model de regressió completament format per variables lineals. Començant pel cas simple, la regressió lineal de variable única és una tècnica utilitzada per modelar la relació entre una variable independent d’entrada única (variable de característica) i una variable depenent de la sortida mitjançant un model lineal, és a dir, una línia.

El cas més general és la regressió lineal multi-variable on es crea un model per a la relació entre diverses variables d’entrada independents (variables de funció) i una variable depenent de la sortida. El model continua essent lineal en tant que la sortida és una combinació lineal de les variables d’entrada. Es pot modelar una regressió lineal multi-variable de la manera següent:

Y = a_1 * X_1 + a_2 * X_2 + a_3 * X_3 ....... a_n * X_n + b

On a_n són els coeficients, X_n són les variables i b és el biaix. Com podem veure, aquesta funció no inclou cap no-linealitat, per la qual cosa només s’adapta per modelar dades separables linealment. És bastant fàcil d'entendre, ja que simplement estem pesant la importància de cada variable de funció X_n mitjançant els coeficients pesos a_n. Determinem aquests pesos a_n i el biaix que obre un descens de degradats estocàstics (SGD). Consulteu la il·lustració següent per obtenir una imatge més visual.

Il·lustració de com es troba el descens en gradient dels paràmetres òptims per a una regressió lineal

Alguns punts clau sobre la regressió lineal:

  • Ràpid i fàcil de modelar i és particularment útil quan la relació que cal modelar no és extremadament complexa i si no es tenen moltes dades. Molt intuïtiu per comprendre i interpretar. La regressió lineal és molt sensible als valors superiors.

Regressió Ridge

Una regressió lineal o polinòmica està fallada en el cas que hi hagi una colinearitat elevada entre les variables de característiques. La colinearitat és l’existència de relacions gairebé lineals entre les variables independents. La presència d'una alta colinealitat es pot determinar de diverses maneres:

  • Un coeficient de regressió no és significatiu, tot i que, teòricament, aquesta variable hauria d'estar correlacionada amb Y. Quan afegiu o suprimiu una variable de característica X, els coeficients de regressió canvien dramàticament. Les vostres variables de característica X tenen correlacions de parella elevada (comproveu la matriu de correlació) .

Primer punt podem mirar la funció d’optimització d’una regressió lineal estàndard per obtenir una mica de coneixement de com pot ajudar la regressió de cresta:

min || Xw - i || ²

On X representa les variables de característiques, w representa els pesos i representa la veritat fonamental. Ridge Regression és una mesura de remei que es pren per pal·liar la colinearitat entre les variables de predicció de regressió en un model. La colinearitat és un fenomen en què una variable de característiques en un model de regressió múltiple es pot predir linealment de les altres amb un grau de precisió substancial. Atès que les variables de característiques estan correlacionades d'aquesta manera, el model de regressió final és força restringit i rígid en la seva aproximació, és a dir, presenta una gran diferència.

Per alleujar aquest problema, Ridge Regression afegeix un petit factor de biaix quadrat a les variables:

min || Xw - y || ² + z || en ||²

Aquest factor de biaix quadrat elimina aquesta rigidesa els coeficients variables de la característica, introduint una petita quantitat de biaix en el model, però reduint considerablement la variància.

Alguns punts clau sobre Ridge Regression:

  • Els supòsits d'aquesta regressió són els mateixos que la regressió al mínim quadrat, tret que no es pugui suposar la normalitat, sinó que es redueix el valor dels coeficients, però no arriba a zero, cosa que suggereix que no hi ha cap característica de selecció