Vraag:
Bayesiaanse en frequentistische redenering in gewoon Engels
Daniel Vassallo
2010-07-20 00:25:39 UTC
view on stackexchange narkive permalink

Hoe zou u in gewoon Engels de kenmerken beschrijven die Bayesiaanse redenering onderscheiden van frequentistisch redeneren?

Misschien kunnen sommigen van jullie, goede mensen, ook een antwoord geven op een vraag over Bayesiaanse en frequentistische interpretaties die wordt gesteld op [Philosophy.stackexchange.com] (http://philosophy.stackexchange.com/questions/8275/interpret-bayesian- probability-as-frequentist-probability).
[Deze vraag] (https://stats.stackexchange.com/questions/21439/estimating-probability-of-success-given-a-reference-population) over het trekken van gevolgtrekkingen over een individuele bowl-speler als je twee datasets hebt -De resultaten van andere spelers en de resultaten van de nieuwe speler zijn een goed spontaan voorbeeld van het verschil dat mijn antwoord in gewoon Engels probeert aan te pakken.
Vijftien antwoorden:
#1
+230
user28
2010-07-20 00:42:28 UTC
view on stackexchange narkive permalink

Hier is hoe ik het fundamentele verschil aan mijn oma zou uitleggen:

Ik ben mijn telefoon ergens in huis kwijtgeraakt. Ik kan de telefoonzoeker aan de onderkant van het instrument gebruiken om de telefoon te lokaliseren en wanneer ik op de telefoonzoeker druk, begint de telefoon te piepen.

Probleem: welk deel van mijn huis moet ik doorzoeken?

Frequentistisch redeneren

Ik hoor de telefoon piepen. Ik heb ook een mentaal model dat me helpt het gebied te identificeren waar het geluid vandaan komt. Daarom, bij het horen van de piep, leid ik het gebied van mijn huis af dat ik moet zoeken om de telefoon te lokaliseren.

Bayesian Reasoning

Ik kan de telefoon horen piepen. Nu, afgezien van een mentaal model dat me helpt het gebied te identificeren waar het geluid vandaan komt, ken ik ook de locaties waar ik de telefoon in het verleden ben kwijtgeraakt. Dus combineer ik mijn gevolgtrekkingen met behulp van de pieptonen en mijn eerdere informatie over de locaties waar ik de telefoon in het verleden ben kwijtgeraakt om een ​​gebied te identificeren dat ik moet doorzoeken om de telefoon te vinden.

Ik hou van de analogie. Ik zou het erg handig vinden als er een gedefinieerde vraag was (gebaseerd op een dataset) waarin een antwoord werd afgeleid met behulp van frequentistisch redeneren en een antwoord werd afgeleid met behulp van Bayesian - bij voorkeur met R-script om beide redeneringen af ​​te handelen. Vraag ik teveel?
Het eenvoudigste dat ik kan bedenken is dat je n keer een munt opgooit en de kans op kop schatten (aangegeven met p). Stel dat we k hoofden observeren. Dan is de kans om k koppen te krijgen: P (k koppen in n proeven) = (n, k) p ^ k (1-p) ^ (nk) Frequentistische gevolgtrekking zou het bovenstaande maximaliseren om tot een schatting van p = k te komen / n.Bayesian zou zeggen: Hey, ik weet dat p ~ Beta (1,1) (wat overeenkomt met aannemen dat p uniform is op [0,1]). De bijgewerkte gevolgtrekking zou dus zijn: p ~ Beta (1 + k, 1 + n-k) en dus zou de bayesiaanse schatting van p p = 1 + k / (2 + n) zijn. Ik weet het niet R, sorry.
Er moet op worden gewezen dat er vanuit het oogpunt van frequentisten geen reden is dat u de voorkennis * niet in * het model kunt opnemen. In die zin is de frequentistische weergave eenvoudiger, u hebt alleen een model en enkele gegevens. Het is niet nodig om de eerdere informatie van het model te scheiden.
@user28 Als een opmerking bij uw opmerking, als $ n = 3 $, dan zou de bezoeker $ p = 0 $ (respectievelijk $ p = 1 $) schatten bij het zien van een resultaat van $ k = 0 $ heads (respectievelijk $ k = 3 $ heads), dat wil zeggen, de munt is tweekoppig of tweezijdig. De Bayesian schat dat respectievelijk $ 1/5 $ en $ 4/5 $ rekening houdt met de mogelijkheid dat het een wat minder bevooroordeelde munt is.
@Farrel - de recente vraag op http://stats.stackexchange.com/questions/21439/estimating-probability-of-success-given-a-reference-population/21466#21466 en mijn antwoord in twee delen (onbedoeld) is een mooi eenvoudig voorbeeld hiervan. Het zou vrij eenvoudig zijn om een ​​voorbeelddataset en een R-script samen te voegen met de twee benaderingen.
@user28 - als u zegt "Ik weet R niet", waar verwijst u dan naar met de letter 'R'?
@BYS2 De programmeertaal genaamd R.
Ik heb onlangs een vraag gepost over een Bayesiaans voorbeeld dat lijkt op dit, maar op een interessante manier enigszins verschilt.Een visser is verdwaald op zee en de kustwacht zoekt hem met een model en werkt het model vervolgens bij terwijl ze zoekopdrachten uitvoeren ... dus combineren ze wat hun model voorspelt op basis van zeestromingen / wind met de 'voorafgaande informatie' van waarze hebben al gezocht.http://stats.stackexchange.com/q/119952/25734
Het voorbeeld is mooi maar zou eigenlijk bij het begin moeten beginnen;Stel dat u geen gegevens heeft ("geen piepjes"), zou u dan een probabilistische conclusie kunnen trekken?Ja, dat kan, zegt de Bayesian, omdat je al weet waar je je telefoon gewoonlijk laat (zeer waarschijnlijk) - maar nee, dat kan niet als je een frequente bezoeker bent, aangezien alleen de gegevens willekeurig zijn.- Het is hier (vind ik) dat men de "schoonheid" en consistentie van Bayesiaanse redenering ziet, omdat probabilistische gevolgtrekking zonder nieuwe gegevens natuurlijk IS en de Bayesiaanse manier mooi integreert hoe nieuwe gegevens (piepjes) de gevolgtrekking zouden moeten beïnvloeden.
Zoals al in 2010 werd opgemerkt, is er vanuit het standpunt van de frequentisten geen reden waarom je de voorkennis niet in het model kunt opnemen.Hier een voorbeeld van het expliciet gebruiken van informatieve priors in ferquentistische redeneringen: gebruik van voorkennis in frequentistische tests.figshare. https://doi.org/10.6084/m9.figshare.4819597.v3 Zie ook alternatieve definities in andere antwoorden hieronder.
Welk model wordt gekozen, hangt af van de toepassing.Als een strikte nauwkeurigheid gewenst is, zonder rekening te houden met bijwerkingen, moet het Bayesiaanse model worden gebruikt.Als je een 'eerlijke' verdeling wilt houden bij het nemen van acties op basis van inferentie, dan kan het frequentistische model nodig zijn.Het kan bijvoorbeeld waar zijn dat het in aanmerking nemen van ras om iemands schuld aan een misdaad vast te stellen, de nauwkeurigheid van een probabilistische schatting kan vergroten, het kan ook leiden tot grotere fout-negatieven en fout-positieven voor verschillende rassen.Effecten van ondernomen acties zullen de distributie beïnvloeden.
#2
+119
Dikran Marsupial
2010-08-12 19:53:36 UTC
view on stackexchange narkive permalink

Tong stevig in de wang:

Een Bayesiaan definieert een "waarschijnlijkheid" op precies dezelfde manier als de meeste niet-statistici - namelijk een indicatie van de plausibiliteit van een voorstel of een situatie. Als je hem een ​​vraag stelt, zal hij je een direct antwoord geven door kansen toe te kennen en de aannemelijkheid van de mogelijke uitkomsten voor de specifieke situatie te beschrijven (en zijn eerdere aannames te noemen).

Een Frequentist is iemand die gelooft dat waarschijnlijkheden vertegenwoordigen frequenties op lange termijn waarmee gebeurtenissen plaatsvinden; indien nodig bedenkt hij een fictieve populatie waaruit uw specifieke situatie als een willekeurige steekproef kan worden beschouwd, zodat hij zinvol kan praten over lange termijn frequenties. Als je hem een ​​vraag stelt over een bepaalde situatie, zal hij geen direct antwoord geven, maar in plaats daarvan een uitspraak doen over deze (mogelijk denkbeeldige) populatie. Veel niet-frequentistische statistici zullen gemakkelijk in de war raken door het antwoord en het interpreteren als een Bayesiaanse waarschijnlijkheid over de specifieke situatie.

Het is echter belangrijk op te merken dat de meeste frequentistische methoden een Bayesiaans equivalent hebben dat in de meeste omstandigheden geven in wezen hetzelfde resultaat, het verschil is grotendeels een kwestie van filosofie, en in de praktijk is het een kwestie van "paarden voor cursussen".

Zoals je misschien al geraden hebt, ben ik een Bayesiaan en een ingenieur. ; o)

Als niet-expert denk ik dat de sleutel tot het hele debat is dat mensen eigenlijk redeneren zoals Bayesianen. Je moet worden opgeleid om te denken als een frequentist, en zelfs dan is het gemakkelijk om een ​​foutje te maken en te redeneren of je redenering te presenteren alsof het Bayesiaans is. "Er is een kans van 95% dat de waarde binnen dit betrouwbaarheidsinterval valt." Genoeg gezegd.
De sleutel is ook om na te denken over wat voor soort lobbyen de statistieken van de 20e eeuw 'klassiek' noemen, terwijl de statistieken die Laplace en Gauss in de 19e eeuw zijn gaan gebruiken niet ...
Misschien heb ik te lang regelmatig werk gedaan, maar ik ben er niet zo zeker van dat het Bayesiaanse standpunt altijd intuïtief is.Stel dat ik geïnteresseerd ben in een relevante parameter uit de echte wereld, zoals de gemiddelde lengte van een populatie.Als ik je vertel "er is een kans van 95% dat de parameter van belang is in het mijn geloofwaardige interval", en vervolgens de vraag "Als we 100 van dergelijke intervallen voor verschillende parameters zouden hebben gemaakt, welk deel van deze zouden we dan verwachten te bevattende echte waarden van de parameter? ", het feit dat het antwoord ** niet ** 95 is, moet voor sommige mensen verwarrend zijn.
@CliffAB maar waarom zou je de tweede vraag stellen?Het punt is dat het verschillende vragen zijn, dus het is niet verwonderlijk dat ze verschillende antwoorden hebben.De Baysian kan beide vragen beantwoorden, maar het antwoord kan anders zijn (wat mij redelijk lijkt).De frequentist kan slechts één van de vragen beantwoorden (vanwege de restrictieve definitie van waarschijnlijkheid) en gebruikt dus (impliciet) hetzelfde antwoord voor beide vragen, wat de problemen veroorzaakt.Een geloofwaardig interval is geen betrouwbaarheidsinterval, maar een Bayesiaan kan * zowel * een geloofwaardig interval als een betrouwbaarheidsinterval construeren.
Mijn opmerking was in reactie op Wayne's;het idee dat mensen 'van nature' denken in een Bayesiaanse context, omdat het gemakkelijker is om een geloofwaardig interval te interpreteren.Mijn punt is dat hoewel het eenvoudiger is om de juiste interpretatie van een geloofwaardig interval (d.w.z. minder van een woordsoep) te construeren, ik denk dat de niet-statisticus net zo goed in de war is over wat dat * echt * betekent.
@CliffAB, ah, ik begrijp het wel, maar als je op die manier denkt omdat je te lang regelmatig werk doet, suggereert dat eerder dat je manier van denken over waarschijnlijkheid niet je natuurlijke is, maar een die je hebt geleerd en waaraan je gewend bent.Ik denk niet dat ik het eens ben met de conclusie, het gebruikelijke misverstand van een betrouwbaarheidsinterval is precies dat van het interpreteren als een geloofwaardig interval, d.w.z. een interval dat waarschijnlijk de ware waarde bevat met een bepaald vertrouwen.Evenzo komt de p-waarde-denkfout voort uit het interpreteren van een frequentistische test op een Bayesiaanse manier.
Mijn punt is meer dat ik denk dat alleen een statisticus (Frequentist of Bayesiaan) zou denken dat de uitspraken "als X 1 op de 100 keer voorkomt, de kans dat X gebeurt 1/100 is" en "waarschijnlijkheid is een maat voor onzekerheid" niet compatibel zijn.verklaringen.Het wordt dus erg moeilijk om te zeggen dat de ene interpretatie 'natuurlijker' is dan de andere.Ik denk dat de meeste mensen van nature niet denken dat er een onderscheid is.
In feite hoef je niet te ver te zoeken om een hardcore (de moeilijkste kern?) Bayesian te vinden [die per ongeluk een Frequentistische visie zegt, maakt het gemakkelijker om te begrijpen wat "willekeurig" betekent.] (Http: //www.bayesianphilosophy.com / trick-for-making-of-statistiek /)
@CliffAB de twee uitspraken zijn niet onverenigbaar binnen een Bayesiaanse definitie (langsloopfrequentie is een redelijke manier om een onzekere mate van overtuiging weer te geven waar een langetermijnfrequentie bestaat), maar ze zijn onder een frequentistische, wat eerder mijn punt maakt dat de Bayesiaansekader is natuurlijker.Merk op dat ik een man ben van "paarden voor cursussen", dus er zijn sommige dingen gemakkelijker in frequentistische termen uit te leggen dan Bayesiaanse.
#3
+73
Graham Cookson
2010-07-21 20:50:43 UTC
view on stackexchange narkive permalink

Heel grofweg zou ik zeggen dat:

Frequentist: Sampling is oneindig en beslissingsregels kunnen scherp zijn. Gegevens zijn een herhaalbare willekeurige steekproef - er is een frequentie. De onderliggende parameters zijn vast, d.w.z. ze blijven constant tijdens dit herhaalbare bemonsteringsproces.

Bayesiaans: Onbekende grootheden worden probabilistisch behandeld en de toestand van de wereld kan altijd worden bijgewerkt. Gegevens worden geobserveerd uit de gerealiseerde steekproef. Parameters zijn onbekend en probabilistisch beschreven. Het zijn de gegevens die worden opgelost.

Er is een briljante blogpost die een diepgaand voorbeeld geeft van hoe een Bayesian en Frequentist hetzelfde probleem zouden aanpakken. Waarom beantwoordt u het probleem niet voor uzelf en controleert u het dan?

Het probleem (overgenomen uit de blog van Panos Ipeirotis):

Je hebt een munt die bij het omdraaien eindigt met kans $ p $ en eindigt met kans $ 1-p $ . (De waarde van $ p $ is onbekend.)

Proberen te schatten $ p $ span>, draai je de munt 100 keer om. Het eindigt 71 keer.

Dan moet je beslissen over het volgende evenement: "In de volgende twee worpen krijgen we twee koppen op een rij."

Zou je wedden dat het evenement zal plaatsvinden of dat het niet zal gebeuren?

Aangezien $ 0,71 ^ 2 = $ 0,5041, zou ik dit beschouwen als dicht genoeg bij een even weddenschap om voorbereid te zijn om bescheiden beide kanten op te gaan, alleen voor de lol (en om eventuele problemen met betrekking tot de vorm van de prior te negeren). Ik koop soms verzekerings- en loten met veel slechtere kansen.
Aan het einde van dat blogbericht staat "in plaats van de uniforme distributie als prior te gebruiken, kunnen we zelfs nog agnostischer zijn. In dit geval kunnen we de Beta (0,0) -distributie als prior gebruiken. Zo'n distributie komt overeen naar het geval waarin elk gemiddelde van de verdeling even waarschijnlijk is. In dit geval geven de twee benaderingen, Bayesian en frequentist, dezelfde resultaten. " wat het eigenlijk samenvat!
Het * grote * probleem met die blogpost is dat het niet voldoende karakteriseert wat een niet-Bayesiaanse (maar rationele) besluitvormer zou doen. Het is weinig meer dan een stroman.
@tdc: de Bayesiaanse (Jeffreys) prior is Beta (0,5, 0,5) en sommigen zouden zeggen dat dit de enige gerechtvaardigde prior is.
Wat betekent 'scherp'?
@mcb - nauwkeurig.
[Beta (.5, .5)] (https://en.wikipedia.org/wiki/Beta_distribution) lijkt helemaal niet op een geschikte prior voor de _p_ van een munt.(Ik denk dat dat een ["niet-informatief" prior zou moeten zijn] (https://en.wikipedia.org/wiki/Prior_probability#Uninformative_priors) maar het is niet oninformatie in de alledaagse zin, het is eerder "eigenwijs" dat p in de buurt van 0 isof 1, een mening die verkeerd lijkt.)
#4
+45
Tony Breyal
2010-07-20 04:40:01 UTC
view on stackexchange narkive permalink

Laten we zeggen dat een man een zeszijdige dobbelsteen gooit en het resultaat 1, 2, 3, 4, 5 of 6 heeft. Verder zegt hij dat als het op een 3 landt, hij je een vrije tekst zal geven boek.

Vervolgens informeel:

De Frequentist zou zeggen dat elke uitkomst een gelijke kans van 1 op 6 heeft om te voorkomen. Ze beschouwt waarschijnlijkheid als afgeleid van frequentieverdelingen op lange termijn.

De Bayesian zou echter zeggen: wacht even, ik ken die man, hij is David Blaine, een beroemde bedrieger! Ik heb het gevoel dat hij iets van plan is. Ik ga zeggen dat er maar 1% kans is dat het op een 3 terechtkomt MAAR Ik zal die overtuiging opnieuw evalueren en veranderen naarmate hij vaker met de dobbelsteen gooit. Als ik de andere cijfers even vaak zie verschijnen, dan vergroot ik iteratief de kans van 1% naar iets hoger, anders verklein ik deze nog verder. Ze beschouwt waarschijnlijkheid als graden van geloof in een voorstel.

Ik denk dat de frequentist (verbaal) op zijn veronderstellingen zou wijzen en geen bruikbare voorspelling zou doen. Misschien zou hij zeggen: "Ervan uitgaande dat de dobbelsteen eerlijk is, heeft elke uitkomst een gelijke kans van 1 op 6. Bovendien, als de dobbelstenen eerlijk zijn en David Blaine de dobbelsteen 17 keer gooit, is er slechts een kans van 5% dat het zal nooit op 3 landen, dus een dergelijke uitkomst zou me doen twijfelen of de dobbelsteen eerlijk is. "
Dus zou "waarschijnlijkheid" (zoals in MLE) de "waarschijnlijkheid" van de frequentist zijn?
Zou de frequente gebruiker niet een hypothetisch David Blaine-dobbelsteenmodel kunnen gebruiken en niet noodzakelijk een uniform eerlijk dobbelsteenmodel?
#5
+43
Brett
2010-12-04 09:06:01 UTC
view on stackexchange narkive permalink

Gewoon een beetje plezier ...

Een Bayesiaan is iemand die, vaag een paard verwachtend en een glimp van een ezel opvangt, er sterk van overtuigd is dat hij een muilezel heeft gezien.

Van deze site:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

en van dezelfde site, een mooi essay ...

"An Intuitive Explanation of Bayes 'Theorem"

http://yudkowsky.net/rational/bayes

In dat geval zou de frequentist niet iemand zijn die de verhouding van ezel-, muilezel- en paardenpopulaties kent, en bij het observeren van een stel muilezels de p-waarde begint te berekenen om te weten of er een statistisch significante toename is geweest in de populatieverhouding van muilezels.
Dit geeft helemaal geen antwoord op de vraag.
#6
+30
mcdowella
2010-12-04 12:54:30 UTC
view on stackexchange narkive permalink

De Bayesiaan wordt gevraagd om weddenschappen te sluiten, waaronder alles waarvan vliegen sneller een muur opkruipen waar medicijnen de meeste levens kunnen redden, of welke gevangenen de gevangenis in moeten. Hij heeft een grote doos met een handvat. Hij weet dat als hij absoluut alles wat hij weet in de doos stopt, inclusief zijn persoonlijke mening, en de hendel omdraait, dit de best mogelijke beslissing voor hem zal nemen.

De bezoeker wordt gevraagd om rapporten te schrijven. Hij heeft een groot zwart boek met regels. Als de situatie waarover hij gevraagd wordt een rapport te maken onder zijn rulebook valt, kan hij de regels volgen en een rapport schrijven dat zo zorgvuldig is geformuleerd dat het in het slechtste geval één keer per 100 (of één keer per 20 of één keer fout is). tijd in wat de specificatie van zijn rapport ook zegt).

De frequentist weet (omdat hij er rapporten over heeft geschreven) dat de Bayesiaan soms weddenschappen sluit die, in het ergste geval, wanneer zijn persoonlijke mening onjuist is, kan slecht aflopen. De frequentist weet ook (om dezelfde reden) dat als hij tegen de Bayesian wedt elke keer dat hij van hem verschilt, hij op de lange termijn zal verliezen.

"op de lange termijn zal hij verliezen" is dubbelzinnig.Ik neem aan dat 'hij' hier de bayesiër is?Zouden ze het op de lange termijn niet gelijk krijgen - de bayesiaan zou zijn persoonlijke mening kunnen leren en veranderen totdat het overeenkomt met de feitelijke (maar onbekende) feiten.
Wat is het fundamentele verschil tussen een grote doos en een groot regelboek?Ik kan de analogie niet begrijpen.
#7
+28
probabilityislogic
2011-08-28 20:51:24 UTC
view on stackexchange narkive permalink

In gewoon Engels zou ik zeggen dat Bayesiaanse en frequentistische redeneringen zich onderscheiden door twee verschillende manieren om de vraag te beantwoorden:

Wat is waarschijnlijkheid?

De meeste verschillen zullen in wezen neerkomen op hoe elk deze vraag beantwoordt, want het definieert in feite het domein van geldige toepassingen van de theorie. Nu kun je geen van beide antwoorden echt geven in termen van "gewoon Engels", zonder verder vragen te genereren. Voor mij is het antwoord (zoals je waarschijnlijk wel kunt raden)

waarschijnlijkheid is logisch

Mijn "niet-gewone Engelse" reden hiervoor is dat de calculus van proposities een speciaal geval is van de calculus of probabiliteiten, als we de waarheid vertegenwoordigen met $ 1 $ en onwaarheid met $ 0 $. Bovendien kan de kansrekening worden afgeleid uit de calculus van proposities. Dit komt het meest overeen met de "bayesiaanse" redenering - hoewel het ook de bayesiaanse redenering in toepassingen uitbreidt door principes te verschaffen om kansen toe te kennen, naast principes om ze te manipuleren. Dit leidt natuurlijk tot de vervolgvraag "wat is logica?" voor mij is het dichtsbijzijnde dat ik als antwoord op deze vraag zou kunnen geven: "logica is het gezond verstand van een rationeel persoon, met een bepaalde reeks aannames" (wat is een rationeel persoon? enz. enz.). Logica heeft dezelfde kenmerken als de Bayesiaanse redenering. Logica vertelt u bijvoorbeeld niet wat u moet aannemen of wat "absoluut waar" is. Het vertelt je alleen hoe de waarheid van de ene stelling verband houdt met de waarheid van een andere. Je moet altijd een logisch systeem met "axioma's" aanleveren om aan de conclusies te kunnen beginnen. Ze hebben ook dezelfde beperkingen: je kunt willekeurige resultaten krijgen van tegenstrijdige axioma's. Maar "axioma's" zijn niets anders dan eerdere waarschijnlijkheden die zijn vastgesteld op $ 1 $. Voor mij is het afwijzen van de Bayesiaanse redenering een afwijzing van de logica. Want als je logica accepteert, dan moet je, omdat Bayesiaanse redenering "logisch voortkomt uit logica" (hoe is dat voor gewoon Engels: P), ook Bayesiaanse redenering accepteren.

Voor de frequentistische redenering hebben we het antwoord:

waarschijnlijkheid is frequentie

hoewel ik niet zeker weet of "frequentie" een gewone Engelse term is zoals het hier wordt gebruikt - misschien "proportie" is een beter woord. Ik wilde aan het frequentistische antwoord toevoegen dat de waarschijnlijkheid van een gebeurtenis wordt beschouwd als een reële, meetbare (waarneembare?) Grootheid, die onafhankelijk bestaat van de persoon / het object die het berekent. Maar ik kon dit niet op een "gewone Engelse" manier doen.

Dus misschien is een "gewone Engelse" versie van een daarvan het verschil dat frequentistisch redeneren een poging is om te redeneren vanuit "absolute" waarschijnlijkheden, terwijl Bayesiaanse redenering een poging is om te redeneren vanuit "relatieve" waarschijnlijkheden.

Een ander verschil is dat frequentistische grondslagen vager zijn in hoe je het echte wereldprobleem vertaalt in de abstracte wiskunde van de theorie. Een goed voorbeeld is het gebruik van 'willekeurige variabelen' in de theorie - ze hebben een precieze definitie in de abstracte wereld van de wiskunde, maar er is geen eenduidige procedure die men kan gebruiken om te beslissen of een bepaalde waargenomen grootheid al dan niet een 'willekeurige' is. variabele ".

De bayesiaanse manier van redeneren, de notie van een" willekeurige variabele "is niet nodig. Een kansverdeling wordt aan een grootheid toegewezen omdat deze onbekend is - wat betekent dat het niet logisch kan worden afgeleid uit de informatie die we hebben. Dit zorgt meteen voor een eenvoudig verband tussen de waarneembare grootheid en de theorie - aangezien "onbekend zijn" ondubbelzinnig is.

Je kunt in het bovenstaande voorbeeld ook een ander verschil zien in deze twee manieren van denken - "willekeurig" versus "onbekend". "willekeur" wordt zo geformuleerd dat de "willekeur" een eigenschap lijkt te zijn van de werkelijke hoeveelheid. Omgekeerd hangt ‘onbekend zijn’ af van de persoon die u naar die hoeveelheid vraagt ​​- daarom is het een eigenschap van de statisticus die de analyse uitvoert. Dit geeft aanleiding tot de "objectieve" versus "subjectieve" bijvoeglijke naamwoorden die vaak aan elke theorie worden gehecht. Het is gemakkelijk aan te tonen dat "willekeur" geen eigenschap kan zijn van sommige standaardvoorbeelden, door simpelweg twee frequentisten die verschillende informatie krijgen over dezelfde hoeveelheid te vragen om te beslissen of het "willekeurig" is. Een daarvan is de gebruikelijke Bernoulli Urn: frequentist 1 wordt geblinddoekt tijdens het tekenen, terwijl frequentist 2 boven de urn staat en kijkt hoe frequentist 1 de ballen uit de urn trekt. Als de verklaring van "willekeur" een eigenschap is van de ballen in de urn, dan kan deze niet afhangen van de verschillende kennis van frequentist 1 en 2 - en daarom moeten de twee frequentisten dezelfde verklaring geven van "willekeurig" of "niet willekeurig" .

Ik zou geïnteresseerd zijn als je dit zou kunnen herschrijven zonder de verwijzing naar gezond verstand.
@PeterEllis - Wat is er mis met gezond verstand? We hebben het allemaal, en het is meestal dwaas om het niet te gebruiken ...
Het is te omstreden wat het werkelijk is, en te cultureel specifiek. 'Gezond verstand' is een korte hand voor wat dan ook de waargenomen verstandige manier is om dingen te doen in deze specifieke cultuur (die maar al te vaak verre van zinnig lijkt naar een andere cultuur in tijd en ruimte), dus als je ernaar verwijst in een definitie, worden de belangrijkste vragen ontweken . Het is vooral niet nuttig als onderdeel van een definitie van logica (en dus, zou ik zeggen, is het concept van een 'rationeel persoon' in die specifieke context - vooral omdat ik vermoed dat jouw definitie van een 'rationeel persoon' een logische persoon zou zijn wie heeft gezond verstand!)
Ik begrijp niet waarom gezond verstand gebruiken slecht is. gebruikmakend van uw definitie ervan, waarom zouden we niet willen doen wat op dat moment verstandig is? En wat zijn de "belangrijkste vragen" die worden ontweken? u zegt dat gezond verstand geen goed gedefinieerde betekenis heeft, en ga er dan een geven!
Hij kan er geen geven, zijn argument is dat _ er geen universele definitie is_, alleen cultureel specifieke. Twee mensen met verschillende culturele achtergronden (en dat geldt ook voor verschillende stijlen van statistisch onderwijs) zullen heel goed mogelijk twee verschillende opvattingen hebben over wat verstandig is om te doen in een bepaalde situatie.
Dit antwoord heeft klompjes van goedheid (hoe is dat voor gewoon Engels?), Maar ik geloof niet (hoe is dat voor een Bayesiaans!) Dat de volgende bewering waar is: "Want als je logica accepteert ... moet je ook accepterenBayesiaanse redenering ".Als je bijvoorbeeld nadenkt in plaats van de abstracte theorie van de wiskunde in de echte wereld te vertalen, zul je ontdekken dat de axiomatische benadering consistent kan zijn met zowel de frequentistische als de Bayesiaanse redenering!Ongetwijfeld Kolmogorov in het eerste geval en, laten we zeggen, Jeffreys in het tweede.In wezen is het de waarschijnlijkheidstheorie die logisch is;niet de interpretatie ervan.
Ik hou van de laatste 3 alinea, vooral de laatste alinea.Dit is ook hoe ik mezelf er uiteindelijk van overtuig dat waarschijnlijkheid een subjectieve overtuiging is, d.w.z. dat verschillende mensen verschillende informatie hebben over een gebeurtenis en daarom kunnen ze een andere mening hebben over de waarschijnlijkheid dat die gebeurtenis plaatsvindt.Ik gebruikte datzelfde voorbeeld, de ball draw van urn met twee personen
Dit antwoord impliceert dat de Kolmogorov-waarschijnlijkheid noodzakelijkerwijs Bayesiaans is, maar dat is niet noodzakelijk.
#8
+22
Aaron McDaid
2012-06-26 23:36:44 UTC
view on stackexchange narkive permalink

In werkelijkheid denk ik dat veel van de filosofie rond de kwestie gewoon groots is. Dat is niet om het debat te verwerpen, maar het is een waarschuwing. Soms hebben praktische zaken prioriteit - ik zal hieronder een voorbeeld geven.

Ook zou je net zo goed kunnen zeggen dat er meer dan twee benaderingen zijn:

  • Neyman- Pearson ('frequentist')
  • Op waarschijnlijkheid gebaseerde benaderingen
  • Volledig Bayesiaans

Een senior collega herinnerde me er onlangs aan dat 'veel mensen met een gemeenschappelijke taal praten over frequentist en Bayesiaans. Ik denk dat een meer geldig onderscheid op waarschijnlijkheid gebaseerd en frequent is. Zowel maximale waarschijnlijkheid als Bayesiaanse methoden volgen het likelihood-principe, terwijl frequentistische methoden dat niet doen. "

Ik zal beginnen met een heel eenvoudig praktisch voorbeeld:

We hebben een patiënt. De patiënt is óf gezond (H) óf ziek (S). We zullen een test op de patiënt uitvoeren en het resultaat is positief (+) of negatief (-). Als de patiënt ziek is, krijgt hij altijd een positief resultaat. We noemen dit het juiste (C) resultaat en zeggen dat $$ P (+ | S) = 1 $$ of $$ P (Correct | S) = 1 $$ Als de patiënt gezond is, zal de test negatief zijn 95% van de tijd, maar er zullen enkele fout-positieven zijn. $$ P (- | H) = 0,95 $$$$ P (+ | H) = 0,05 $$ In andere werken is de kans dat de test correct is, voor gezonde mensen, is 95%.

De test is dus ofwel 100% nauwkeurig of 95% nauwkeurig, afhankelijk van of de patiënt gezond of ziek is. Bij elkaar genomen betekent dit dat de test voor minstens 95% nauwkeurig is.

Tot dusverre goed. Dat zijn de uitspraken die een frequentist zou doen. Deze uitspraken zijn vrij eenvoudig te begrijpen en zijn waar. Het is niet nodig om te twijfelen over een 'frequentistische interpretatie'.

Maar dingen worden interessant als je dingen probeert te veranderen. Wat kunt u, gezien het testresultaat, leren over de gezondheid van de patiënt? Bij een negatief testresultaat is de patiënt duidelijk gezond, aangezien er geen fout-negatieven zijn.

Maar we moeten ook kijken naar het geval waarin de test positief is. Was de test positief omdat de patiënt werkelijk ziek was, of was het vals positief? Dit is waar de frequentist en Bayesian uiteenlopen. Iedereen zal het erover eens zijn dat dit op dit moment niet beantwoord kan worden. De frequentist weigert te antwoorden. De Bayesiaan zal bereid zijn u een antwoord te geven, maar u moet de Bayesiaan eerst een voorafgaande geven - dwz vertellen welk deel van de patiënten ziek is.

Samenvattend zijn de volgende uitspraken waar :

  • Voor gezonde patiënten is de test zeer nauwkeurig.
  • Voor zieke patiënten is de test zeer nauwkeurig.

Als bent u tevreden met dergelijke uitspraken, dan gebruikt u frequentistische interpretaties. Dit kan van project tot project verschillen, afhankelijk van het soort problemen waar u naar kijkt.

Maar misschien wilt u andere uitspraken doen en de volgende vraag beantwoorden:

  • Voor die patiënten die een positief testresultaat hebben, hoe nauwkeurig is de test?

Dit vereist een voorafgaande en een Bayesiaanse benadering. Merk ook op dat dit de enige vraag is die van belang is voor de arts. De dokter zal zeggen "Ik weet dat de patiënten ofwel een positief ofwel een negatief resultaat zullen krijgen. Ik ook nu dat het negatieve resultaat betekent dat de patiënt gezond is en naar huis kan worden gestuurd. De enige patiënten die me nu interesseren zijn degenen die een positief resultaat hebben - zijn ze ziek ?. "

Samenvattend: in voorbeelden zoals deze zal de Bayesian het eens zijn met alles wat de frequentist zegt. Maar de Bayesian zal beweren dat de uitspraken van de frequentist, hoewel waar, niet erg nuttig zijn; en zal beweren dat de nuttige vragen alleen kunnen worden beantwoord met een voorafgaande.

Een frequentist zal om beurten elke mogelijke waarde van de parameter (H of S) bekijken en vragen 'of de parameter gelijk is aan deze waarde , wat is de kans dat mijn test correct is? "

Een Bayesiaan zal in plaats daarvan elke mogelijke waargenomen waarde (+ of -) om beurten overwegen en vragen: "Als ik me voorstel dat ik die waarde zojuist heb waargenomen, wat zegt dat me dan over de voorwaardelijke waarschijnlijkheid van H-versus-S?"

Bedoel je "Voor zieke patiënten is de test NIET erg nauwkeurig", vergeet je de NOT?
Het is in beide gevallen zeer nauwkeurig, dus nee, ik ben geen woord vergeten. Voor gezonde mensen is het resultaat 95% van de tijd correct (d.w.z. 'negatief'). En voor zieke mensen is het resultaat 95% van de tijd correct (d.w.z. 'positief').
Ik denk dat de "zwakte" in de maximale waarschijnlijkheid is dat het uitgaat van een uniforme prior op de gegevens, terwijl "volledig Bayesian" flexibeler is in de prior die u kunt kiezen.
Om het voorbeeld compleet te maken, stel dat 0,1% van de bevolking ziek is met de ziekte D waarop we testen: dit is niet onze prior.Waarschijnlijker is dat ongeveer 30% van de patiënten die naar de dokter komen en symptomen hebben die overeenkomen met D, daadwerkelijk D hebben (dit kan min of meer zijn afhankelijk van details zoals hoe vaak een andere ziekte zich presenteert met dezelfde symptomen).Dus 70% van de deelnemers aan de test is gezond, 66,5% krijgt een negatief resultaat en 30% / 33,5% is ziek.Dus bij een positief resultaat is onze posterieure kans dat een patiënt ziek is 89,6%.Volgende puzzel: hoe wisten we dat 70% van de testpersonen D heeft?
#9
+8
user36160
2013-12-14 00:37:46 UTC
view on stackexchange narkive permalink

Bayesiaanse en frequentistische statistieken zijn compatibel in die zin dat ze kunnen worden opgevat als twee beperkende gevallen van het beoordelen van de waarschijnlijkheid van toekomstige gebeurtenissen op basis van gebeurtenissen in het verleden en een verondersteld model, als men toegeeft dat binnen de limiet van een zeer groot aantal waarnemingen, er blijft geen onzekerheid over het systeem, en dat in die zin een zeer groot aantal waarnemingen gelijk staat aan het kennen van de parameters van het model.

Veronderstel dat we enkele waarnemingen hebben gedaan, bijv. uitkomst van 10 coinflips. In Bayesiaanse statistieken ga je uit van wat je hebt waargenomen en bepaal je vervolgens de waarschijnlijkheid van toekomstige waarnemingen of modelparameters. In frequentistische statistieken ga je uit van een idee (hypothese) van wat waar is door scenario's aan te nemen van een groot aantal waarnemingen die zijn gedaan, bijvoorbeeld munt is onbevooroordeeld en geeft 50% heads-up, als je het vaak gooit. Op basis van deze scenario's van een groot aantal waarnemingen (= hypothese), beoordeelt u de frequentie van het maken van waarnemingen zoals u deed, d.w.z. frequentie van verschillende uitkomsten van 10 coinflips. Pas dan neemt u uw werkelijke uitkomst, vergelijkt u deze met de frequentie van mogelijke uitkomsten en besluit u of de uitkomst behoort tot de uitkomsten die naar verwachting met hoge frequentie zullen optreden. Als dit het geval is, concludeer je dat de gemaakte observatie niet in tegenspraak is met je scenario's (= hypothese). Anders concludeer je dat de gemaakte observatie onverenigbaar is met je scenario's, en je verwerpt de hypothese.

Bayesiaanse statistieken gaan dus uit van wat is waargenomen en beoordelen mogelijke toekomstige resultaten. Frequentistische statistiek begint met een abstract experiment van wat er zou worden waargenomen als men iets aanneemt, en vergelijkt dan pas de uitkomsten van het abstracte experiment met wat werkelijk werd waargenomen. Anders zijn de twee benaderingen compatibel. Beiden beoordelen de waarschijnlijkheid van toekomstige waarnemingen op basis van enkele gemaakte of veronderstelde waarnemingen.

Ik begon dit op een meer formele manier op te schrijven:

Bayesiaanse inferentie positioneren als een specifieke toepassing van frequentistische inferentie en vice versa. figshare.

http://dx.doi.org/10.6084/m9.figshare.867707

Het manuscript is nieuw. Laat het me weten als je het leest en opmerkingen hebt.

#10
+6
Michael R. Chernick
2012-05-05 03:03:19 UTC
view on stackexchange narkive permalink

Ik zou zeggen dat ze op verschillende manieren naar waarschijnlijkheid kijken. De Bayesiaanse is subjectief en gebruikt a priori overtuigingen om een ​​eerdere kansverdeling te definiëren op de mogelijke waarden van de onbekende parameters. Hij vertrouwt dus op een waarschijnlijkheidstheorie zoals die van deFinetti. De frequentist ziet waarschijnlijkheid als iets dat te maken heeft met een beperkende frequentie gebaseerd op een waargenomen proportie. Dit is in overeenstemming met de waarschijnlijkheidstheorie zoals ontwikkeld door Kolmogorov en Von Mises.
Een frequentist doet parametrische inferentie met alleen de waarschijnlijkheidsfunctie. Een Bayesiaan neemt dat en vermenigvuldigt zich met een prior en normaliseert het om de posterieure distributie te krijgen die hij gebruikt voor gevolgtrekking.

+1 Goed antwoord, maar er moet worden benadrukt dat de Bayesiaanse benadering en de frequentiebenadering verschillen met betrekking tot hun _interpretatie_ van waarschijnlijkheid.Kolmogorov daarentegen verschaft een _axiomatische basis_ voor de waarschijnlijkheidstheorie, die _ geen interpretatie vereist_ (!) Zoals die gebruikt worden door de Bayesian of Frequentist.In zekere zin heeft het axiomatische systeem een eigen leven!Alleen al op basis van de zes axioma's van Kolmogorov denk ik niet dat het mogelijk is om te zeggen dat zijn axiomatisch systeem Bayesiaans of Frequentistisch is, en in feite met beide zou kunnen overeenstemmen.
#11
+2
Demetrios Papakostas
2018-04-07 19:03:53 UTC
view on stackexchange narkive permalink

De manier waarop ik deze vraag beantwoord, is dat frequentists de gegevens die ze zien, vergelijkt met wat ze verwachtten.Dat wil zeggen, ze hebben een mentaal model over hoe frequent iets zou moeten gebeuren, en vervolgens gegevens zien en hoe vaak het gebeurde.d.w.z. hoe waarschijnlijk zijn de gegevens die ze hebben gezien, gegeven het model dat ze hebben gekozen.

Bayesian-mensen, aan de andere kant, combineren hun mentale modellen.Dat wil zeggen, ze hebben een model op basis van hun eerdere ervaringen dat hen vertelt hoe ze denken dat de gegevens eruit moeten zien, en vervolgens combineren ze dit met de gegevens die ze observeren om tot een besluit te komen over een '' posterior '' geloof.d.w.z. ze vinden de kans dat het model dat ze proberen te kiezen geldig is gezien de gegevens die ze hebben waargenomen.

Met andere woorden, een frequentist kijkt naar $ P (data | model) $ terwijl een Bayesiaan kijkt naar $ P (model | data) $ ...?
sorta.Bayesianen doen in wezen een P (model | data) $ \ prop $ P (data | model) P (model), waarbij P (model) de prior is.Hoe meer ik hierover leer, hoe meer mijn antwoord ontoereikend aanvoelt.Een kenmerk van frequentistische statistieken is bijvoorbeeld de schatting van de maximale waarschijnlijkheid, die in wezen wordt gegeven aan de gegevens die ik heb gezien, welke modelparameters maken wat ik het meest waarschijnlijk heb gezien.Bayesianen willen dit ook, maar ze berekenen het model door over alle waarden van de parameter te integreren op basis van een eerdere distributie ervan.Frequentisten kiezen een modelparameter zodanig dat wat ze zagen het meest waarschijnlijk was.
#12
-2
Emil M Friedman
2017-01-25 02:51:47 UTC
view on stackexchange narkive permalink

Frequentist: de ware staat van de natuur is.Als ik gewoonlijk dergelijke analyses doe, is 95% van mijn antwoorden correct.

Bayesiaans: er is een kans van 95% dat het echte antwoord is ... Ik baseer dat op een combinatie van de gegevens die ugaf mij en onze eerdere gissingen van wat de waarheid is.

#13
-4
ccrider
2015-09-20 17:28:46 UTC
view on stackexchange narkive permalink

Frequentist: wedden op dobbelstenen. Alleen de waarde van de dobbelstenen bepaalt de uitkomst: u wint uw weddenschap of niet. Alleen afhankelijk van de kans.

Bayesian: Texas Hold'em poker spelen. U bent de enige die uw twee kaarten ziet. Je hebt enige kennis over de andere spelers aan de tafel. Je moet je kans om te winnen aanpassen op de flop, turn en river en mogelijk afhankelijk van welke spelers er nog over zijn. Bluffen ze vaak? Zijn het agressieve of passieve spelers? Dit alles zal beslissen wat u doet. Het is niet alleen de waarschijnlijkheid van die eerste twee handkaarten die je hebt, die zal beslissen of je wint of niet.

Als je regelmatig poker speelt, zou dat betekenen dat elke speler zijn handen aan het begin laat zien en dan inzet of fold voor de flop, turn en river kaarten worden getoond. Nu hangt het alleen weer van de kans af of je wint of niet.

#14
-7
Yang Fu
2016-03-13 16:04:32 UTC
view on stackexchange narkive permalink

Stel, als u hoofdpijn heeft, ga dan naar een dokter. Stel dat er bij de beslissing van de arts twee oorzaken zijn voor hoofdpijn, # 1 voor hersentumor (een oorzaak die 99% van de tijd hoofdpijn veroorzaakt) en # 2 verkoudheid (een oorzaak die bij zeer weinig patiënten hoofdpijn kan veroorzaken) .

Dan zouden de beslissingen van een arts op basis van de frequentistische benadering zijn: je hebt een hersentumor.

De beslissing van de arts op basis van de Bayesiaanse benadering zou je vertellen dat je verkouden bent (zelfs als slechts 1% van de verkoudheid hoofdpijn veroorzaakt)

(-1) Het is onduidelijk wat het verschil is tussen "Frequentist doc" en "Bayesian doc".Ik zie geen reden waarom Frequentist-doc de gegevens over verkoudheid die hoofdpijn veroorzaakt * negeert *.Bayesiaanse docent lijkt hoe dan ook de stelling of priors van Bayes niet te gebruiken, dus ik zie niet in hoe hij Bayesiaan is?
Te onwaarschijnlijk om een bruikbare of zelfs vermakelijke analogie te zijn.
#15
-8
A Lion
2010-07-21 00:54:13 UTC
view on stackexchange narkive permalink

Een kater en een poes worden opgesloten in een stalen kamer, samen met voldoende voedsel en water voor 70 dagen.

Een Frequentist zou zeggen dat de gemiddelde draagtijd voor katachtigen 66 dagen is, het vrouwtje was krols toen de katten opgesloten werden, en als ze krols is, zal ze herhaaldelijk paren gedurende 4 tot 7 dagen. Aangezien er waarschijnlijk veel voortplantingshandelingen waren en daarna genoeg tijd voor de zwangerschap, is de kans groot dat wanneer de doos op dag 70 wordt geopend, er een nest pasgeboren kittens is.

Een Bayesiaan zou zeggen, ik heb er een paar gehoord serieuze Marvin Gaye kwam op dag 1 uit de doos en vanmorgen hoorde ik veel kittenachtige geluiden uit de doos komen. Dus zonder veel te weten over de voortplanting van katten, is de kans groot dat wanneer de doos op dag 70 wordt geopend, er een nest pasgeboren kittens is.

Zoals ik het opschreef, met name omdat de bayesiër niet veel wist over de voortplanting van katten, in het begin zou alleen de frequente gebruiker erop wedden dat er kittens waren. De relevante punten van mijn * zeer ruwe voorbeeld * waren meestal dat de frequentist zijn voorspelling deed op basis van de gegevens aan het begin, daarna achterover leunde zonder nieuwe aanvullende gegevens op te nemen, terwijl de bayesiaan aanvankelijk niet veel gegevens had, maar doorging om relevante gegevens op te nemen zodra deze beschikbaar komen.
... en waarom zou een niet-Bayesiaan ook geen gebruik maken van de aanvullende gegevens?


Deze Q&A is automatisch vertaald vanuit de Engelse taal.De originele inhoud is beschikbaar op stackexchange, waarvoor we bedanken voor de cc by-sa 2.0-licentie waaronder het wordt gedistribueerd.
Loading...