Onthoud dat nokregressie geen coëfficiënten kan op nul zetten; dus uiteindelijk neem je alle coëfficiënten in het model op, of geen van hen. De LASSO daarentegen doet automatisch zowel parameterkrimp als variabele selectie. Als sommige van je covariaten sterk gecorreleerd zijn, wil je misschien kijken naar het Elastic Net [3] in plaats van naar de LASSO.

Ik zou persoonlijk aanraden om de Non-Negative Garotte (NNG) [1] te gebruiken. omdat het consistent is in termen van schatting en variabeleselectie [2]. In tegenstelling tot LASSO en nokregressie, vereist NNG een eerste schatting die vervolgens wordt verkleind naar de oorsprong. In het originele artikel beveelt Breiman de kleinste-kwadraten-oplossing aan voor de initiële schatting (u kunt de zoekopdracht echter starten vanaf een nokregressie-oplossing en zoiets als GCV gebruiken om de penaltyparameter te selecteren).

In termen van beschikbare software, heb ik de originele NNG geïmplementeerd in MATLAB (gebaseerd op de originele FORTRAN-code van Breiman). Je kunt het downloaden van:

http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip

Trouwens, als je de voorkeur geeft aan een Bayesiaanse oplossing, ga dan naar [4,5].

Referenties:

[1] Breiman, L. Betere subsetregressie met behulp van de niet-negatieve Garrote-techniek , 1995, 37, 373-384

[2] Yuan, M. & Lin, Y. On the non-negative garrotte Estimator Journal of the Royal Statistical Society (Series B), 2007, 69, 143 -161

[3] Zou, H. & Hastie, T. Regularisatie en variabele selectie via het elastische net Journal of the Royal Statistical Society (Series B), 2005, 67, 301-320

[4] Park, T. & Casella, G. The Bayesian Lasso Journal of the American Statistical Association, 2008, 103, 681-686

[5] Kyung, M .; Gill, J .; Ghosh, M.& Casella, G. Bestrafte regressie, standaardfouten en Bayesiaanse Lassos Bayesiaanse analyse, 2010, 5, 369-412

Ridge of lasso zijn vormen van geregulariseerde lineaire regressies. De regularisatie kan ook worden geïnterpreteerd als prior in een maximale a posteriori schattingsmethode. Volgens deze interpretatie maken de rand en de lasso verschillende aannames over de klasse van lineaire transformatie die ze afleiden om input- en outputgegevens te relateren. In de nok zijn de coëfficiënten van de lineaire transformatie normaal verdeeld en in de lasso zijn ze Laplace-verdeeld. In de lasso maakt dit het gemakkelijker voor de coëfficiënten om nul te zijn en daarom gemakkelijker om een ​​deel van je invoervariabele te elimineren omdat ze niet bijdragen aan de uitvoer.

Er zijn ook enkele praktische overwegingen. De rand is een beetje gemakkelijker te implementeren en sneller te berekenen, wat van belang kan zijn, afhankelijk van het type gegevens dat je hebt.

Als je beide hebt geïmplementeerd, gebruik dan subsets van je gegevens om de rand en de lasso te vinden en vergelijk hoe goed ze werken op de weggelaten gegevens. De fouten zouden u een idee moeten geven welke u moet gebruiken.

Over het algemeen, als je veel kleine / middelgrote effecten hebt, moet je met ridge gaan. Als je maar een paar variabelen hebt met een gemiddeld / groot effect, ga dan voor lasso. Hastie, Tibshirani, Friedman