Vraag:
Waarom hebben robuuste (en resistente) statistieken de klassieke technieken niet vervangen?
doug
2010-08-03 12:49:34 UTC
view on stackexchange narkive permalink

Bij het oplossen van zakelijke problemen met behulp van gegevens, is het gebruikelijk dat ten minste één belangrijke aanname dat klassieke statistieken onder de pinnen vallen, ongeldig is. Meestal neemt niemand de moeite om die aannames te controleren, zodat je het nooit echt weet.

Bijvoorbeeld, dat zoveel van de algemene webstatistieken "langstaartig" zijn (ten opzichte van de normale distributie), is inmiddels zo goed gedocumenteerd dat we het als vanzelfsprekend beschouwen. Een ander voorbeeld, online communities - zelfs in communities met duizenden leden is goed gedocumenteerd dat verreweg het grootste deel van de bijdrage aan / deelname in veel van deze community's toe te schrijven is aan een minuscule groep 'superbijdragers'. (Een paar maanden geleden, net nadat de SO API in bèta beschikbaar was, publiceerde een StackOverflow -lid een korte analyse van gegevens die hij via de API had verzameld; zijn conclusie - minder dan één procent van de SO-leden is verantwoordelijk voor het grootste deel van de activiteiten op SO (vermoedelijk vragen stellen en beantwoorden), nog eens 1-2% was verantwoordelijk voor de rest, en de overgrote meerderheid van de leden doet niets). / p>

Dat soort distributies - ook vaker de regel dan de uitzondering - kunnen vaak het beste worden gemodelleerd met een machtswet dichtheidsfunctie. Voor dit soort verdelingen is zelfs de centrale limietstelling problematisch om toe te passen.

Gezien de overvloed aan populaties zoals deze die interessant zijn voor analisten, en gezien het feit dat klassieke modellen aantoonbaar slecht presteren op deze gegevens, en gegeven dat robuuste en resistente methoden al een tijdje bestaan ​​(tenminste 20 jaar, geloof ik) - waarom worden ze niet vaker gebruikt? (Ik vraag me ook af waarom ik ze niet vaker gebruik, maar dat is niet echt een vraag voor CrossValidated. )

Ja dat weet ik er zijn leerboekhoofdstukken die volledig zijn gewijd aan robuuste statistieken en ik weet dat er (een paar) R-pakketten zijn ( robustbase is degene die ik ken en gebruik), enz.

En toch, gezien de voor de hand liggende voordelen van deze technieken, zijn ze vaak duidelijk de betere tools voor de klus - waarom worden ze niet veel vaker gebruikt ? Moeten we niet verwachten dat robuuste (en resistente) statistieken veel vaker (misschien zelfs vermoedelijk) worden gebruikt in vergelijking met de klassieke analogen?

De enige inhoudelijke (dwz technische) verklaring die ik heb gehoord, is dat robuuste technieken (eveneens voor resistente methoden) missen de kracht / gevoeligheid van klassieke technieken. Ik weet niet of dit in sommige gevallen inderdaad waar is, maar ik weet wel dat het in veel gevallen niet waar is.

Een laatste woord van voorrang: ja ik weet dat deze vraag geen enkele aantoonbare goed antwoord; zeer weinig vragen op deze site doen dat. Bovendien is deze vraag een echte vraag; het is geen voorwendsel om een ​​standpunt naar voren te brengen - ik heb hier geen standpunt, alleen een vraag waarop ik hoop op inzichtelijke antwoorden.

The Black Swann van Nassim Nicholas Taleb legt uit waarom in de financiële wereld eenvoudige modellen zijn gebruikt en tot welke gevaren dit heeft geleid. Een bepaalde fout is het gelijkstellen van zeer lage waarschijnlijkheden aan nul en het blindelings toepassen van de normale verdeling in risicobeheer!
Tests die op veel aannames berusten, zijn krachtiger als aan die aannames wordt voldaan. We kunnen de significantie van deviatie testen door aan te nemen dat waarnemingen IID Gaussiaans zijn, wat het gemiddelde als statistiek geeft. Een minder beperkende reeks aannames vertelt ons om mediaan te gebruiken. We kunnen verder gaan en aannemen dat waarnemingen gecorreleerd zijn om nog meer robuustheid te krijgen. Maar elke stap vermindert de kracht van onze test, en als we helemaal geen aannames doen, is onze test nutteloos. Robuuste tests doen impliciet aannames over gegevens en zijn alleen beter dan klassiek als die aannames beter overeenkomen met de werkelijkheid
Veertien antwoorden:
#1
+69
John D. Cook
2010-08-03 17:22:58 UTC
view on stackexchange narkive permalink

Onderzoekers willen kleine p-waarden, en u kunt kleinere p-waarden krijgen als u methoden gebruikt die sterkere verdelingsaannames maken. Met andere woorden, met niet-robuuste methoden kunt u meer artikelen publiceren. Natuurlijk kunnen meer van deze papers false positives zijn, maar een publicatie is een publicatie. Dat is een cynische verklaring, maar het is soms geldig.

"soms" is een understatement ... de logica van de auteur is niet vaak zo direct, maar het stimulus / beloningsscenario is zodanig dat mensen dit zullen doen als een kwestie van conditionering
Ik ben niet zozeer dat onderzoekers oneerlijk zijn, maar uit onwetendheid handelen. Ze begrijpen niet wat statistieken betekenen of welke aannames ze vereisen, maar zoals je zei begrijpen ze duidelijk de stimulus / beloning: p> 0,05 => geen publicatie.
U moet ook iets presenteren dat degenen "aan de macht" (besluitvormers, supervisors, beoordelaars) begrijpen. Daarom moet het in de gemeenschappelijke taal zijn die vrij langzaam evolueert, aangezien die mensen de neiging hebben ouder te zijn en meer weerstand bieden aan verandering, grotendeels omdat het hun carrière tot dusver ongeldig kan maken!
Goed punt. 'Ik begrijp p-waarden. Geef me gewoon een p-waarde.' Ironisch genoeg begrijpen ze waarschijnlijk * niet * p-waarden, maar dat is een andere zaak.
Ik geloof niet dat dit categorisch waar is. Ik heb tenminste gehoord dat moderne niet-parametrische gegevens vaak heel weinig of geen kracht opofferen. AFAIK is vermogensverlies het meest uitgesproken bij tests met rangtransformaties, die nauwelijks alomtegenwoordig zijn onder robuuste methoden.
#2
+43
conjugateprior
2010-10-28 23:14:53 UTC
view on stackexchange narkive permalink

Dus 'klassieke modellen' (wat ze ook zijn - ik neem aan dat je zoiets bedoelt als eenvoudige modellen die in leerboeken worden onderwezen en door ML worden geschat) schieten tekort op sommige, misschien wel vele, gegevenssets uit de echte wereld.

Als een model faalt, zijn er twee basisbenaderingen om het te repareren:

  1. Doe minder aannames (minder model)
  2. Doe meer aannames (meer model)

Robuuste statistieken, quasi-waarschijnlijkheid en GEE-benaderingen nemen de eerste benadering door de schattingsstrategie te veranderen in een strategie waarbij het model niet voor alle gegevenspunten geldt (robuust) of niet hoeft karakteriseer alle aspecten van de data (QL en GEE).

Het alternatief is om te proberen een model te bouwen dat expliciet de bron van vervuilende datapunten modelleert, of de aspecten van het oorspronkelijke model die onjuist lijken te zijn, terwijl de schattingsmethode hetzelfde blijft als voorheen.

Sommigen geven intuïtief de voorkeur aan het eerste (het is vooral populair in de economie), en anderen geven intuïtief de voorkeur aan het laatste (het is vooral populair onder Bayesianen, die meestal gelukkiger zijn met complexere modellen, vooral als ze beseffen dat ze om toch simulatietools te hebben voor inferentie).

Verdelingsveronderstellingen met dikke staart, bijv. het gebruik van de negatieve binominale in plaats van poisson of t in plaats van normaal, behoren tot de tweede strategie. De meeste dingen die met 'robuuste statistieken' worden aangeduid, behoren tot de eerste strategie.

In de praktijk lijkt het afleiden van schatters voor de eerste strategie voor realistisch complexe problemen vrij moeilijk. Niet dat dat een reden is om dit niet te doen, maar het is misschien een verklaring waarom het niet vaak wordt gedaan.

+1. Zeer goede uitleg. Ik denk ook dat sommige 'robuuste' methoden nogal ad hoc zijn (afgekapte middelen), en dat 'robuust' verband houdt met een bepaald aspect van een methode en geen algemene kwaliteit is, maar veel mensen interpreteren 'robuust' als 'ik doe Ik hoef me geen zorgen te maken over mijn gegevens, aangezien mijn methode robuust is ".
Goed antwoord. Het stoort me dat zoveel antwoorden zich richten op de moeilijkheid om robuuste statistieken te begrijpen of op de prikkels om het schenden van aannames te negeren. Ze negeren de [mensen daarbuiten] (http://www.tandfonline.com/doi/abs/10.1198/000313006X152207) die weten dat er gevallen zijn waarin robuuste statistieken nodig zijn en wanneer dat niet het geval is.
#3
+29
csgillespie
2010-08-03 22:03:59 UTC
view on stackexchange narkive permalink

Ik zou willen voorstellen dat het een vertraging is bij het lesgeven. De meeste mensen leren statistieken op de universiteit of op de universiteit. Als statistiek niet uw eerste graad is en in plaats daarvan een graad in wiskunde of informatica hebt gedaan, behandelt u waarschijnlijk alleen de fundamentele statistiekmodules:

  1. Waarschijnlijkheid
  2. Hypothesetesten
  3. Regressie

Dit betekent dat wanneer je met een probleem wordt geconfronteerd, je probeert om het probleem op te lossen wat je weet.

  • Gegevens zijn niet normaal - neem logboeken.
  • Gegevens hebben vervelende uitschieters - verwijder ze.

Tenzij je ergens tegenaan loopt anders is het moeilijk om iets beters te doen. Het is echt moeilijk om Google te gebruiken om iets te vinden als je niet weet hoe het heet!

Ik denk dat het met alle technieken even zal duren voordat de nieuwere technieken wegfilteren. Hoe lang duurde het voordat standaardhypothesetesten deel uitmaakten van een standaard statistiekcurriculum?

Trouwens, met een statistiekdiploma zal er nog steeds een vertraging zijn in het lesgeven - alleen een kortere!

Maar dit werpt een interessant pedagogisch probleem op, althans in de psychologie, omdat voor zover ik weet de meeste inleidende statistiekenboeken die in mijn vakgebied worden gebruikt, niet echt robuuste maatregelen bespreken, behalve terzijde.
Dat is heel waar, en ook in de psychologie is er een vervelende verwarring tussen niet-parametrisch en niet-normaal, wat het begrip lijkt te belemmeren.
Sommigen van ons psychologen zijn gewoon in de war over alles wat statistisch is! :)
#4
+21
Wesley Burr
2010-08-06 08:06:42 UTC
view on stackexchange narkive permalink

Iedereen die is opgeleid in statistische gegevensanalyse op een redelijk niveau, gebruikt regelmatig de concepten van robuuste statistieken. De meeste onderzoekers weten genoeg om te zoeken naar ernstige uitschieters en fouten bij het vastleggen van gegevens; Het beleid om verdachte gegevenspunten te verwijderen gaat tot ver in de 19e eeuw terug met Lord Rayleigh, G.G. Stokes en anderen van hun leeftijd. Als de vraag is:

Waarom gebruiken onderzoekers niet de modernere methoden voor het berekenen van locatie-, schaal-, regressie-, enz. Schattingen?

dan is de antwoord is hierboven gegeven - de methoden zijn grotendeels ontwikkeld in de afgelopen 25 jaar, zeg 1985 - 2010. De vertraging bij het leren van nieuwe methoden speelt een rol in, evenals traagheid verergerd door de 'mythe' dat er niets mis is met het blindelings gebruiken klassieke methoden. John Tukey merkt op dat precies welke robuuste / resistente methoden u gebruikt niet belangrijk is - wat wel belangrijk is, is dat u er enkele gebruikt. Het is volkomen juist om zowel klassieke als robuuste / resistente methoden routinematig te gebruiken en je alleen zorgen te maken als ze voldoende verschillen om er toe te doen. Maar als ze verschillen , zou je moeten denken hard.

Als in plaats daarvan de vraag is:

Waarom stoppen onderzoekers niet en stellen vragen over hun gegevens, in plaats van blindelings zeer onstabiele schattingen toe te passen?

dan komt het antwoord echt neer op training. Er zijn veel te veel onderzoekers die nooit goed zijn opgeleid in statistiek, samengevat door de algemene afhankelijkheid van p-waarden als het allerbelangrijkste en laatste van 'statistische significantie'.

@Kwak: Huber's schattingen uit de jaren 70 zijn robuust, in de klassieke zin van het woord: ze zijn bestand tegen uitschieters. En herindalende schatters dateren eigenlijk al van ver vóór de jaren tachtig: de Princeton-robuustheidsstudie (uit 1971) omvatte de tweevierkante schatting van de locatie, een herindalende schatting.

http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1043351251 Vrij beschikbaar document geschreven door Peter Huber over John Tukey's bijdragen aan robuuste statistieken. Redelijk gemakkelijk te lezen, licht op de formules.
#5
+20
Carlos Accioly
2010-08-04 01:26:23 UTC
view on stackexchange narkive permalink

Statistiek is een hulpmiddel voor niet-statistisch ingestelde onderzoekers, en het kan ze gewoon niet schelen.

Ik heb ooit geprobeerd te helpen met een medicijnartikel dat mijn ex-vrouw co-auteur was. Ik schreef verschillende pagina's met een beschrijving van de gegevens, wat ze suggereerden, waarom bepaalde observaties waren uitgesloten van het onderzoek ... en de hoofdonderzoeker, een arts, gooide het allemaal weg en vroeg iemand om een ​​p-waarde te berekenen, en dat is alles wat ze (en zo ongeveer iedereen die het artikel zou lezen) gaf om.

#6
+12
robin girard
2010-08-03 14:05:57 UTC
view on stackexchange narkive permalink

Ik geef een antwoord in twee richtingen:

  1. dingen die robuust zijn, worden niet noodzakelijk als robuust bestempeld. Als je gelooft dat robuustheid tegen alles bestaat, dan ben je naïef.
  2. Statistische benaderingen die het probleem van robuustheid apart laten, zijn soms niet aangepast aan de echte wereld, maar zijn vaak waardevoller (als concept) dan een algoritme dat eruitziet als koken.

ontwikkeling

Ten eerste denk ik dat er veel goede benaderingen zijn in statistiek (je vindt ze in R-pakketten, niet noodzakelijk met robuust ergens genoemd) die van nature robuust zijn en getest op echte data en het feit dat je geen algoritme vindt met ergens "robuust" genoemd, betekent niet dat het niet robuust is. Hoe dan ook, als u denkt dat robuust zijn universeel betekent, dan zult u nooit een robuuste procedure vinden (geen gratis lunch). U moet enige kennis / expertise hebben over de gegevens die u analyseert om een ​​aangepast instrument te gebruiken of om een ​​aangepast model te maken. / p>

Aan de andere kant zijn sommige benaderingen in statistiek niet robuust omdat ze zijn toegewijd aan één enkel type model. Ik denk dat het goed is om eens in een laboratorium te werken om dingen te proberen te begrijpen. Het is ook goed om het probleem apart te behandelen om te begrijpen voor welk probleem onze oplossing is ... dit is hoe wiskundigen werken. Het voorbeeld van het Gaussiaanse model elocant: wordt zo bekritiseerd omdat de Gauss-aanname nooit vervuld is, maar 75% van de ideeën heeft opgeleverd die tegenwoordig praktisch in de statistiek worden gebruikt. Denk je echt dat dit allemaal gaat over het schrijven van papier om de publish or perish-regel te volgen (wat ik niet leuk vind, ben het ermee eens)?

#7
+11
JoFrhwld
2010-08-04 23:12:24 UTC
view on stackexchange narkive permalink

Als iemand die voor mijn eigen onderzoek een beetje statistiek heeft geleerd, denk ik dat de redenen pedagogisch en traag zijn.

Ik heb in mijn eigen vakgebied waargenomen dat de volgorde waarin onderwerpen die worden onderwezen weerspiegelt de geschiedenis van het vakgebied. De ideeën die het eerst kwamen, worden het eerst onderwezen, enzovoort. Voor mensen die alleen in statistieken duiken voor vluchtige instructies, betekent dit dat ze eerst klassieke statistieken leren, en waarschijnlijk als laatste. Dan, zelfs als ze meer leren, blijven de klassieke dingen beter bij hen vanwege primacy-effecten.

Ook weet iedereen wat een twee-steekproef t-test is. Minder dan iedereen weet wat een Mann-Whitney- of Wilcoxon Rank Sum-test is. Dit betekent dat ik maar een klein beetje energie moet steken in het uitleggen wat mijn robuuste test is, in plaats van dat ik er geen hoef te doen met een klassieke test. Dergelijke omstandigheden zullen er uiteraard toe leiden dat minder mensen robuuste methoden gebruiken dan zou moeten.

#8
+9
David Rebelo
2011-01-04 05:00:02 UTC
view on stackexchange narkive permalink

Wooldridge "Introductory Econometrics - A Modern Approach" 2E p.261.

Als heteroskedasticity-robuuste standaardfouten vaker geldig zijn dan de gebruikelijke OLS-standaardfouten, waarom zouden we dan de gebruikelijke standaardfouten maken? überhaupt? ... Een reden waarom ze nog steeds worden gebruikt in dwarsdoorsnedewerk is dat, als de homoskedasticiteitsaanname klopt en de erros normaal verdeeld zijn, de gebruikelijke t-statistieken exacte t-verdelingen hebben, ongeacht de steekproefomvang. De robuuste standaardfouten en robuuste t-statistieken zijn alleen gerechtvaardigd als de steekproefomvang groot wordt. Met kleine steekproeven kunnen de robuuste t-statistieken verdelingen hebben die niet erg dicht bij de t-verdeling liggen, en dat zou onze gevolgtrekking kunnen afwerpen. In grote steekproeven kunnen we pleiten voor het altijd rapporteren van alleen de heteroskedasticiteit-robuuste standaardfouten in transversale toepassingen, en deze praktijk wordt steeds meer gevolgd in toegepast werk.

Slecht nieuws hier: http://pan.oxfordjournals.org/content/23/2/159
#9
+7
Joe
2010-08-30 19:11:06 UTC
view on stackexchange narkive permalink

Hoewel ze elkaar niet uitsluiten, denk ik dat de groeiende populariteit van Bayesiaanse statistieken er deel van uitmaakt. Bayesiaanse statistieken kunnen veel van dezelfde doelen bereiken door middel van priors en modelgemiddelden, en zijn in de praktijk meestal wat robuuster.

#10
+6
mirror2image
2011-05-12 13:12:00 UTC
view on stackexchange narkive permalink

Ik ben geen statisticus, mijn ervaring met statistiek is vrij beperkt, ik gebruik alleen robuuste statistieken bij computervisie / 3D-reconstructie / pose-inschatting. Hier is mijn kijk op het probleem vanuit het oogpunt van de gebruiker:

Ten eerste worden robuuste statistieken veel gebruikt in techniek en wetenschap zonder het "robuuste statistieken" te noemen. Veel mensen gebruiken het intuïtief en komen eraan tijdens het aanpassen van een specifieke methode aan het echte probleem. Bijvoorbeeld iteratieve herwogen kleinste kwadraten en getrimde gemiddelden / getrimde kleinste kwadraten die vaak worden gebruikt, waarvan de gebruiker niet weet dat ze robuuste statistieken hebben gebruikt - ze maken de methode gewoon bruikbaar voor echte, niet-synthetische gegevens.

Ten tweede, zowel "intuïtieve" als bewust robuuste statistieken worden praktisch altijd gebruikt in het geval dat de resultaten verifieerbaar zijn, of waar duidelijk zichtbare foutmeldingen bestaan. Als het resultaat verkregen met normale distributie duidelijk niet geldig of onjuist is, beginnen mensen te sleutelen aan gewichten, bijsnijden, bemonstering, wat papier lezen en uiteindelijk robuuste schatters gebruiken, of ze de term nu kennen of niet. Aan de andere kant, als het eindresultaat van onderzoek slechts enkele grafische afbeeldingen en diagrammen is, en er geen ongevoeligheid is om resultaten te verifiëren, of als normale statistische resultaten goed genoeg zijn - mensen maken zich gewoon niet druk.

En als laatste, over het nut van robuuste statistieken als theorie - hoewel de theorie zelf erg interessant is, geeft ze niet vaak praktische voordelen. De meeste robuuste schatters zijn tamelijk triviaal en intuïtief, vaak vinden mensen ze opnieuw uit zonder enige statistische kennis. Theorie, zoals het schatten van het doorslagpunt, asymptotiek, gegevensdiepte, heterositeit enz. Laten een beter begrip van gegevens toe, maar in de meeste gevallen is het gewoon niet nodig. Een grote uitzondering is de kruising van robuuste statistieken en compressieve detectie, die een aantal nieuwe praktische methoden opleveren, zoals "cross-and-bouquet".

#11
+5
Andy W
2011-01-05 01:39:25 UTC
view on stackexchange narkive permalink

Mijn kennis van robuuste schatters heeft uitsluitend betrekking op robuuste standaardfouten voor regressieparameters, dus mijn opmerking zal alleen betrekking hebben op die. Ik zou mensen aanraden dit artikel te lezen,

Over de zogenaamde "Huber Sandwich Estimator" en "Robust Standard Fouten" door: Freedman, A. David The American Statistician, Vol. 60, nr. 4. (november 2006), blz. 299-302. doi: 10.1198 / 000313006X152207 ( PDF-versie)

Het bijzondere waar ik me zorgen over maak bij deze benaderingen is niet dat ze fout zijn, maar ze zijn gewoon afleiden van grotere problemen. Ik ben het dus volledig eens met het antwoord van Robin Girard en zijn vermelding van "geen gratis lunch".

#12
+3
JohnRos
2011-11-07 23:15:35 UTC
view on stackexchange narkive permalink

De calculus en waarschijnlijkheid die nodig zijn voor robuuste statistieken is (meestal) moeilijker, dus (a) er is minder theorie en (b) het is moeilijker te begrijpen.

#13
+2
Christoph Hanck
2015-04-13 16:48:44 UTC
view on stackexchange narkive permalink

Het verbaast me te zien dat de stelling van Gauss-Markov niet wordt genoemd in deze lange lijst met antwoorden, afaics:

In een lineair model met sferische fouten (die langs de manier omvat een aanname van geen uitbijters, via een eindige foutvariantie), OLS is efficiënt in een klasse van lineaire zuivere schatters - er zijn (beperkende, om zeker te zijn) voorwaarden waaronder "je niet beter kunt doen dan OLS".

Ik beweer niet dat dit het gebruik van OLS bijna altijd zou moeten rechtvaardigen, maar het draagt ​​zeker bij aan waarom (vooral omdat het een goed excuus is om tijdens het lesgeven zo veel op OLS te focussen).

Ja, maar dat veronderstelt dat het minimaliseren van variantie het relevante criterium is, en met zware staarten is dat misschien niet zo!
Zeker.Ik wilde gewoon toevoegen wat volgens mij misschien wel de meest bekende reden is om te denken dat OLS een nuttige techniek is, aan de lijst met begrijpelijke redenen waarom robuuste technieken het niet * hebben * vervangen *: er zijn gevallen waarin je het niet zou moeten vervangen.
#14
  0
ayorgo
2018-04-19 15:20:00 UTC
view on stackexchange narkive permalink

Ik vermoed dat robuuste statistieken nooit voldoende zijn, d.w.z. om robuust te zijn, slaan deze statistieken een deel van de informatie over de distributie over.En ik vermoed dat het niet altijd een goede zaak is. Met andere woorden, er is een afweging tussen robuustheid en verlies van informatie.

Bijv.de mediaan is robuust omdat het (in tegenstelling tot het gemiddelde) slechts informatie gebruikt over de helft van de elementen (in discrete gevallen): $$ median (\ {1, 2, 3, 4, 5 \}) = 3 = mediaan (\ {0.1, 0.2, 3, 4000, 5000 \}) $$

Zie https://stats.stackexchange.com/questions/74113/when-is-the-median-more-affected-by-sampling-error-than-the-mean voor een situatie waarin de mediaan zeer kwetsbaar is en de gemiddeldegedraagt zich heel braaf.


Deze Q&A is automatisch vertaald vanuit de Engelse taal.De originele inhoud is beschikbaar op stackexchange, waarvoor we bedanken voor de cc by-sa 2.0-licentie waaronder het wordt gedistribueerd.
Loading...