Hier is hoe ik het fundamentele verschil aan mijn oma zou uitleggen:

Ik ben mijn telefoon ergens in huis kwijtgeraakt. Ik kan de telefoonzoeker aan de onderkant van het instrument gebruiken om de telefoon te lokaliseren en wanneer ik op de telefoonzoeker druk, begint de telefoon te piepen.

Probleem: welk deel van mijn huis moet ik doorzoeken?

Frequentistisch redeneren

Ik hoor de telefoon piepen. Ik heb ook een mentaal model dat me helpt het gebied te identificeren waar het geluid vandaan komt. Daarom, bij het horen van de piep, leid ik het gebied van mijn huis af dat ik moet zoeken om de telefoon te lokaliseren.

Bayesian Reasoning

Ik kan de telefoon horen piepen. Nu, afgezien van een mentaal model dat me helpt het gebied te identificeren waar het geluid vandaan komt, ken ik ook de locaties waar ik de telefoon in het verleden ben kwijtgeraakt. Dus combineer ik mijn gevolgtrekkingen met behulp van de pieptonen en mijn eerdere informatie over de locaties waar ik de telefoon in het verleden ben kwijtgeraakt om een ​​gebied te identificeren dat ik moet doorzoeken om de telefoon te vinden.

Tong stevig in de wang:

Een Bayesiaan definieert een "waarschijnlijkheid" op precies dezelfde manier als de meeste niet-statistici - namelijk een indicatie van de plausibiliteit van een voorstel of een situatie. Als je hem een ​​vraag stelt, zal hij je een direct antwoord geven door kansen toe te kennen en de aannemelijkheid van de mogelijke uitkomsten voor de specifieke situatie te beschrijven (en zijn eerdere aannames te noemen).

Een Frequentist is iemand die gelooft dat waarschijnlijkheden vertegenwoordigen frequenties op lange termijn waarmee gebeurtenissen plaatsvinden; indien nodig bedenkt hij een fictieve populatie waaruit uw specifieke situatie als een willekeurige steekproef kan worden beschouwd, zodat hij zinvol kan praten over lange termijn frequenties. Als je hem een ​​vraag stelt over een bepaalde situatie, zal hij geen direct antwoord geven, maar in plaats daarvan een uitspraak doen over deze (mogelijk denkbeeldige) populatie. Veel niet-frequentistische statistici zullen gemakkelijk in de war raken door het antwoord en het interpreteren als een Bayesiaanse waarschijnlijkheid over de specifieke situatie.

Het is echter belangrijk op te merken dat de meeste frequentistische methoden een Bayesiaans equivalent hebben dat in de meeste omstandigheden geven in wezen hetzelfde resultaat, het verschil is grotendeels een kwestie van filosofie, en in de praktijk is het een kwestie van "paarden voor cursussen".

Zoals je misschien al geraden hebt, ben ik een Bayesiaan en een ingenieur. ; o)

Heel grofweg zou ik zeggen dat:

Frequentist: Sampling is oneindig en beslissingsregels kunnen scherp zijn. Gegevens zijn een herhaalbare willekeurige steekproef - er is een frequentie. De onderliggende parameters zijn vast, d.w.z. ze blijven constant tijdens dit herhaalbare bemonsteringsproces.

Bayesiaans: Onbekende grootheden worden probabilistisch behandeld en de toestand van de wereld kan altijd worden bijgewerkt. Gegevens worden geobserveerd uit de gerealiseerde steekproef. Parameters zijn onbekend en probabilistisch beschreven. Het zijn de gegevens die worden opgelost.

Er is een briljante blogpost die een diepgaand voorbeeld geeft van hoe een Bayesian en Frequentist hetzelfde probleem zouden aanpakken. Waarom beantwoordt u het probleem niet voor uzelf en controleert u het dan?

Het probleem (overgenomen uit de blog van Panos Ipeirotis):

Je hebt een munt die bij het omdraaien eindigt met kans $ p $ en eindigt met kans $ 1-p $ . (De waarde van $ p $ is onbekend.)

Proberen te schatten $ p $ span>, draai je de munt 100 keer om. Het eindigt 71 keer.

Dan moet je beslissen over het volgende evenement: "In de volgende twee worpen krijgen we twee koppen op een rij."

Zou je wedden dat het evenement zal plaatsvinden of dat het niet zal gebeuren?

Laten we zeggen dat een man een zeszijdige dobbelsteen gooit en het resultaat 1, 2, 3, 4, 5 of 6 heeft. Verder zegt hij dat als het op een 3 landt, hij je een vrije tekst zal geven boek.

Vervolgens informeel:

De Frequentist zou zeggen dat elke uitkomst een gelijke kans van 1 op 6 heeft om te voorkomen. Ze beschouwt waarschijnlijkheid als afgeleid van frequentieverdelingen op lange termijn.

De Bayesian zou echter zeggen: wacht even, ik ken die man, hij is David Blaine, een beroemde bedrieger! Ik heb het gevoel dat hij iets van plan is. Ik ga zeggen dat er maar 1% kans is dat het op een 3 terechtkomt MAAR Ik zal die overtuiging opnieuw evalueren en veranderen naarmate hij vaker met de dobbelsteen gooit. Als ik de andere cijfers even vaak zie verschijnen, dan vergroot ik iteratief de kans van 1% naar iets hoger, anders verklein ik deze nog verder. Ze beschouwt waarschijnlijkheid als graden van geloof in een voorstel.

Gewoon een beetje plezier ...

Een Bayesiaan is iemand die, vaag een paard verwachtend en een glimp van een ezel opvangt, er sterk van overtuigd is dat hij een muilezel heeft gezien.

Van deze site:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

en van dezelfde site, een mooi essay ...

"An Intuitive Explanation of Bayes 'Theorem"

http://yudkowsky.net/rational/bayes

De Bayesiaan wordt gevraagd om weddenschappen te sluiten, waaronder alles waarvan vliegen sneller een muur opkruipen waar medicijnen de meeste levens kunnen redden, of welke gevangenen de gevangenis in moeten. Hij heeft een grote doos met een handvat. Hij weet dat als hij absoluut alles wat hij weet in de doos stopt, inclusief zijn persoonlijke mening, en de hendel omdraait, dit de best mogelijke beslissing voor hem zal nemen.

De bezoeker wordt gevraagd om rapporten te schrijven. Hij heeft een groot zwart boek met regels. Als de situatie waarover hij gevraagd wordt een rapport te maken onder zijn rulebook valt, kan hij de regels volgen en een rapport schrijven dat zo zorgvuldig is geformuleerd dat het in het slechtste geval één keer per 100 (of één keer per 20 of één keer fout is). tijd in wat de specificatie van zijn rapport ook zegt).

De frequentist weet (omdat hij er rapporten over heeft geschreven) dat de Bayesiaan soms weddenschappen sluit die, in het ergste geval, wanneer zijn persoonlijke mening onjuist is, kan slecht aflopen. De frequentist weet ook (om dezelfde reden) dat als hij tegen de Bayesian wedt elke keer dat hij van hem verschilt, hij op de lange termijn zal verliezen.

In gewoon Engels zou ik zeggen dat Bayesiaanse en frequentistische redeneringen zich onderscheiden door twee verschillende manieren om de vraag te beantwoorden:

Wat is waarschijnlijkheid?

De meeste verschillen zullen in wezen neerkomen op hoe elk deze vraag beantwoordt, want het definieert in feite het domein van geldige toepassingen van de theorie. Nu kun je geen van beide antwoorden echt geven in termen van "gewoon Engels", zonder verder vragen te genereren. Voor mij is het antwoord (zoals je waarschijnlijk wel kunt raden)

waarschijnlijkheid is logisch

Mijn "niet-gewone Engelse" reden hiervoor is dat de calculus van proposities een speciaal geval is van de calculus of probabiliteiten, als we de waarheid vertegenwoordigen met $ 1 $ en onwaarheid met $ 0 $. Bovendien kan de kansrekening worden afgeleid uit de calculus van proposities. Dit komt het meest overeen met de "bayesiaanse" redenering - hoewel het ook de bayesiaanse redenering in toepassingen uitbreidt door principes te verschaffen om kansen toe te kennen, naast principes om ze te manipuleren. Dit leidt natuurlijk tot de vervolgvraag "wat is logica?" voor mij is het dichtsbijzijnde dat ik als antwoord op deze vraag zou kunnen geven: "logica is het gezond verstand van een rationeel persoon, met een bepaalde reeks aannames" (wat is een rationeel persoon? enz. enz.). Logica heeft dezelfde kenmerken als de Bayesiaanse redenering. Logica vertelt u bijvoorbeeld niet wat u moet aannemen of wat "absoluut waar" is. Het vertelt je alleen hoe de waarheid van de ene stelling verband houdt met de waarheid van een andere. Je moet altijd een logisch systeem met "axioma's" aanleveren om aan de conclusies te kunnen beginnen. Ze hebben ook dezelfde beperkingen: je kunt willekeurige resultaten krijgen van tegenstrijdige axioma's. Maar "axioma's" zijn niets anders dan eerdere waarschijnlijkheden die zijn vastgesteld op $ 1 $. Voor mij is het afwijzen van de Bayesiaanse redenering een afwijzing van de logica. Want als je logica accepteert, dan moet je, omdat Bayesiaanse redenering "logisch voortkomt uit logica" (hoe is dat voor gewoon Engels: P), ook Bayesiaanse redenering accepteren.

Voor de frequentistische redenering hebben we het antwoord:

waarschijnlijkheid is frequentie

hoewel ik niet zeker weet of "frequentie" een gewone Engelse term is zoals het hier wordt gebruikt - misschien "proportie" is een beter woord. Ik wilde aan het frequentistische antwoord toevoegen dat de waarschijnlijkheid van een gebeurtenis wordt beschouwd als een reële, meetbare (waarneembare?) Grootheid, die onafhankelijk bestaat van de persoon / het object die het berekent. Maar ik kon dit niet op een "gewone Engelse" manier doen.

Dus misschien is een "gewone Engelse" versie van een daarvan het verschil dat frequentistisch redeneren een poging is om te redeneren vanuit "absolute" waarschijnlijkheden, terwijl Bayesiaanse redenering een poging is om te redeneren vanuit "relatieve" waarschijnlijkheden.

Een ander verschil is dat frequentistische grondslagen vager zijn in hoe je het echte wereldprobleem vertaalt in de abstracte wiskunde van de theorie. Een goed voorbeeld is het gebruik van 'willekeurige variabelen' in de theorie - ze hebben een precieze definitie in de abstracte wereld van de wiskunde, maar er is geen eenduidige procedure die men kan gebruiken om te beslissen of een bepaalde waargenomen grootheid al dan niet een 'willekeurige' is. variabele ".

De bayesiaanse manier van redeneren, de notie van een" willekeurige variabele "is niet nodig. Een kansverdeling wordt aan een grootheid toegewezen omdat deze onbekend is - wat betekent dat het niet logisch kan worden afgeleid uit de informatie die we hebben. Dit zorgt meteen voor een eenvoudig verband tussen de waarneembare grootheid en de theorie - aangezien "onbekend zijn" ondubbelzinnig is.

Je kunt in het bovenstaande voorbeeld ook een ander verschil zien in deze twee manieren van denken - "willekeurig" versus "onbekend". "willekeur" wordt zo geformuleerd dat de "willekeur" een eigenschap lijkt te zijn van de werkelijke hoeveelheid. Omgekeerd hangt ‘onbekend zijn’ af van de persoon die u naar die hoeveelheid vraagt ​​- daarom is het een eigenschap van de statisticus die de analyse uitvoert. Dit geeft aanleiding tot de "objectieve" versus "subjectieve" bijvoeglijke naamwoorden die vaak aan elke theorie worden gehecht. Het is gemakkelijk aan te tonen dat "willekeur" geen eigenschap kan zijn van sommige standaardvoorbeelden, door simpelweg twee frequentisten die verschillende informatie krijgen over dezelfde hoeveelheid te vragen om te beslissen of het "willekeurig" is. Een daarvan is de gebruikelijke Bernoulli Urn: frequentist 1 wordt geblinddoekt tijdens het tekenen, terwijl frequentist 2 boven de urn staat en kijkt hoe frequentist 1 de ballen uit de urn trekt. Als de verklaring van "willekeur" een eigenschap is van de ballen in de urn, dan kan deze niet afhangen van de verschillende kennis van frequentist 1 en 2 - en daarom moeten de twee frequentisten dezelfde verklaring geven van "willekeurig" of "niet willekeurig" .

In werkelijkheid denk ik dat veel van de filosofie rond de kwestie gewoon groots is. Dat is niet om het debat te verwerpen, maar het is een waarschuwing. Soms hebben praktische zaken prioriteit - ik zal hieronder een voorbeeld geven.

Ook zou je net zo goed kunnen zeggen dat er meer dan twee benaderingen zijn:

• Neyman- Pearson ('frequentist')
• Op waarschijnlijkheid gebaseerde benaderingen
• Volledig Bayesiaans

Een senior collega herinnerde me er onlangs aan dat 'veel mensen met een gemeenschappelijke taal praten over frequentist en Bayesiaans. Ik denk dat een meer geldig onderscheid op waarschijnlijkheid gebaseerd en frequent is. Zowel maximale waarschijnlijkheid als Bayesiaanse methoden volgen het likelihood-principe, terwijl frequentistische methoden dat niet doen. "

Ik zal beginnen met een heel eenvoudig praktisch voorbeeld:

We hebben een patiënt. De patiënt is óf gezond (H) óf ziek (S). We zullen een test op de patiënt uitvoeren en het resultaat is positief (+) of negatief (-). Als de patiënt ziek is, krijgt hij altijd een positief resultaat. We noemen dit het juiste (C) resultaat en zeggen dat $$ P (+ | S) = 1 $$ of $$ P (Correct | S) = 1 $$ Als de patiënt gezond is, zal de test negatief zijn 95% van de tijd, maar er zullen enkele fout-positieven zijn. $$ P (- | H) = 0,95 $$$$ P (+ | H) = 0,05 $$ In andere werken is de kans dat de test correct is, voor gezonde mensen, is 95%.

De test is dus ofwel 100% nauwkeurig of 95% nauwkeurig, afhankelijk van of de patiënt gezond of ziek is. Bij elkaar genomen betekent dit dat de test voor minstens 95% nauwkeurig is.

Tot dusverre goed. Dat zijn de uitspraken die een frequentist zou doen. Deze uitspraken zijn vrij eenvoudig te begrijpen en zijn waar. Het is niet nodig om te twijfelen over een 'frequentistische interpretatie'.

Maar dingen worden interessant als je dingen probeert te veranderen. Wat kunt u, gezien het testresultaat, leren over de gezondheid van de patiënt? Bij een negatief testresultaat is de patiënt duidelijk gezond, aangezien er geen fout-negatieven zijn.

Maar we moeten ook kijken naar het geval waarin de test positief is. Was de test positief omdat de patiënt werkelijk ziek was, of was het vals positief? Dit is waar de frequentist en Bayesian uiteenlopen. Iedereen zal het erover eens zijn dat dit op dit moment niet beantwoord kan worden. De frequentist weigert te antwoorden. De Bayesiaan zal bereid zijn u een antwoord te geven, maar u moet de Bayesiaan eerst een voorafgaande geven - dwz vertellen welk deel van de patiënten ziek is.

Samenvattend zijn de volgende uitspraken waar :

• Voor gezonde patiënten is de test zeer nauwkeurig.
• Voor zieke patiënten is de test zeer nauwkeurig.

Als bent u tevreden met dergelijke uitspraken, dan gebruikt u frequentistische interpretaties. Dit kan van project tot project verschillen, afhankelijk van het soort problemen waar u naar kijkt.

Maar misschien wilt u andere uitspraken doen en de volgende vraag beantwoorden:

• Voor die patiënten die een positief testresultaat hebben, hoe nauwkeurig is de test?

Dit vereist een voorafgaande en een Bayesiaanse benadering. Merk ook op dat dit de enige vraag is die van belang is voor de arts. De dokter zal zeggen "Ik weet dat de patiënten ofwel een positief ofwel een negatief resultaat zullen krijgen. Ik ook nu dat het negatieve resultaat betekent dat de patiënt gezond is en naar huis kan worden gestuurd. De enige patiënten die me nu interesseren zijn degenen die een positief resultaat hebben - zijn ze ziek ?. "

Samenvattend: in voorbeelden zoals deze zal de Bayesian het eens zijn met alles wat de frequentist zegt. Maar de Bayesian zal beweren dat de uitspraken van de frequentist, hoewel waar, niet erg nuttig zijn; en zal beweren dat de nuttige vragen alleen kunnen worden beantwoord met een voorafgaande.

Een frequentist zal om beurten elke mogelijke waarde van de parameter (H of S) bekijken en vragen 'of de parameter gelijk is aan deze waarde , wat is de kans dat mijn test correct is? "

Een Bayesiaan zal in plaats daarvan elke mogelijke waargenomen waarde (+ of -) om beurten overwegen en vragen: "Als ik me voorstel dat ik die waarde zojuist heb waargenomen, wat zegt dat me dan over de voorwaardelijke waarschijnlijkheid van H-versus-S?"

Bayesiaanse en frequentistische statistieken zijn compatibel in die zin dat ze kunnen worden opgevat als twee beperkende gevallen van het beoordelen van de waarschijnlijkheid van toekomstige gebeurtenissen op basis van gebeurtenissen in het verleden en een verondersteld model, als men toegeeft dat binnen de limiet van een zeer groot aantal waarnemingen, er blijft geen onzekerheid over het systeem, en dat in die zin een zeer groot aantal waarnemingen gelijk staat aan het kennen van de parameters van het model.

Veronderstel dat we enkele waarnemingen hebben gedaan, bijv. uitkomst van 10 coinflips. In Bayesiaanse statistieken ga je uit van wat je hebt waargenomen en bepaal je vervolgens de waarschijnlijkheid van toekomstige waarnemingen of modelparameters. In frequentistische statistieken ga je uit van een idee (hypothese) van wat waar is door scenario's aan te nemen van een groot aantal waarnemingen die zijn gedaan, bijvoorbeeld munt is onbevooroordeeld en geeft 50% heads-up, als je het vaak gooit. Op basis van deze scenario's van een groot aantal waarnemingen (= hypothese), beoordeelt u de frequentie van het maken van waarnemingen zoals u deed, d.w.z. frequentie van verschillende uitkomsten van 10 coinflips. Pas dan neemt u uw werkelijke uitkomst, vergelijkt u deze met de frequentie van mogelijke uitkomsten en besluit u of de uitkomst behoort tot de uitkomsten die naar verwachting met hoge frequentie zullen optreden. Als dit het geval is, concludeer je dat de gemaakte observatie niet in tegenspraak is met je scenario's (= hypothese). Anders concludeer je dat de gemaakte observatie onverenigbaar is met je scenario's, en je verwerpt de hypothese.

Bayesiaanse statistieken gaan dus uit van wat is waargenomen en beoordelen mogelijke toekomstige resultaten. Frequentistische statistiek begint met een abstract experiment van wat er zou worden waargenomen als men iets aanneemt, en vergelijkt dan pas de uitkomsten van het abstracte experiment met wat werkelijk werd waargenomen. Anders zijn de twee benaderingen compatibel. Beiden beoordelen de waarschijnlijkheid van toekomstige waarnemingen op basis van enkele gemaakte of veronderstelde waarnemingen.

Ik begon dit op een meer formele manier op te schrijven:

Bayesiaanse inferentie positioneren als een specifieke toepassing van frequentistische inferentie en vice versa. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Het manuscript is nieuw. Laat het me weten als je het leest en opmerkingen hebt.

Ik zou zeggen dat ze op verschillende manieren naar waarschijnlijkheid kijken. De Bayesiaanse is subjectief en gebruikt a priori overtuigingen om een ​​eerdere kansverdeling te definiëren op de mogelijke waarden van de onbekende parameters. Hij vertrouwt dus op een waarschijnlijkheidstheorie zoals die van deFinetti. De frequentist ziet waarschijnlijkheid als iets dat te maken heeft met een beperkende frequentie gebaseerd op een waargenomen proportie. Dit is in overeenstemming met de waarschijnlijkheidstheorie zoals ontwikkeld door Kolmogorov en Von Mises.
Een frequentist doet parametrische inferentie met alleen de waarschijnlijkheidsfunctie. Een Bayesiaan neemt dat en vermenigvuldigt zich met een prior en normaliseert het om de posterieure distributie te krijgen die hij gebruikt voor gevolgtrekking.

De manier waarop ik deze vraag beantwoord, is dat frequentists de gegevens die ze zien, vergelijkt met wat ze verwachtten.Dat wil zeggen, ze hebben een mentaal model over hoe frequent iets zou moeten gebeuren, en vervolgens gegevens zien en hoe vaak het gebeurde.d.w.z. hoe waarschijnlijk zijn de gegevens die ze hebben gezien, gegeven het model dat ze hebben gekozen.

Bayesian-mensen, aan de andere kant, combineren hun mentale modellen.Dat wil zeggen, ze hebben een model op basis van hun eerdere ervaringen dat hen vertelt hoe ze denken dat de gegevens eruit moeten zien, en vervolgens combineren ze dit met de gegevens die ze observeren om tot een besluit te komen over een '' posterior '' geloof.d.w.z. ze vinden de kans dat het model dat ze proberen te kiezen geldig is gezien de gegevens die ze hebben waargenomen.

Frequentist: de ware staat van de natuur is.Als ik gewoonlijk dergelijke analyses doe, is 95% van mijn antwoorden correct.

Bayesiaans: er is een kans van 95% dat het echte antwoord is ... Ik baseer dat op een combinatie van de gegevens die ugaf mij en onze eerdere gissingen van wat de waarheid is.

Frequentist: wedden op dobbelstenen. Alleen de waarde van de dobbelstenen bepaalt de uitkomst: u wint uw weddenschap of niet. Alleen afhankelijk van de kans.

Bayesian: Texas Hold'em poker spelen. U bent de enige die uw twee kaarten ziet. Je hebt enige kennis over de andere spelers aan de tafel. Je moet je kans om te winnen aanpassen op de flop, turn en river en mogelijk afhankelijk van welke spelers er nog over zijn. Bluffen ze vaak? Zijn het agressieve of passieve spelers? Dit alles zal beslissen wat u doet. Het is niet alleen de waarschijnlijkheid van die eerste twee handkaarten die je hebt, die zal beslissen of je wint of niet.

Als je regelmatig poker speelt, zou dat betekenen dat elke speler zijn handen aan het begin laat zien en dan inzet of fold voor de flop, turn en river kaarten worden getoond. Nu hangt het alleen weer van de kans af of je wint of niet.

Stel, als u hoofdpijn heeft, ga dan naar een dokter. Stel dat er bij de beslissing van de arts twee oorzaken zijn voor hoofdpijn, # 1 voor hersentumor (een oorzaak die 99% van de tijd hoofdpijn veroorzaakt) en # 2 verkoudheid (een oorzaak die bij zeer weinig patiënten hoofdpijn kan veroorzaken) .

Dan zouden de beslissingen van een arts op basis van de frequentistische benadering zijn: je hebt een hersentumor.

De beslissing van de arts op basis van de Bayesiaanse benadering zou je vertellen dat je verkouden bent (zelfs als slechts 1% van de verkoudheid hoofdpijn veroorzaakt)

Een kater en een poes worden opgesloten in een stalen kamer, samen met voldoende voedsel en water voor 70 dagen.

Een Frequentist zou zeggen dat de gemiddelde draagtijd voor katachtigen 66 dagen is, het vrouwtje was krols toen de katten opgesloten werden, en als ze krols is, zal ze herhaaldelijk paren gedurende 4 tot 7 dagen. Aangezien er waarschijnlijk veel voortplantingshandelingen waren en daarna genoeg tijd voor de zwangerschap, is de kans groot dat wanneer de doos op dag 70 wordt geopend, er een nest pasgeboren kittens is.

Een Bayesiaan zou zeggen, ik heb er een paar gehoord serieuze Marvin Gaye kwam op dag 1 uit de doos en vanmorgen hoorde ik veel kittenachtige geluiden uit de doos komen. Dus zonder veel te weten over de voortplanting van katten, is de kans groot dat wanneer de doos op dag 70 wordt geopend, er een nest pasgeboren kittens is.