Je hebt iets gezegd dat een klassiek tegenargument is voor Bonferroni-correcties. Moet ik mijn alfacriterium niet aanpassen op basis van elke test die ik ooit zal maken? Dit soort ad absurdum implicaties is waarom sommige mensen helemaal niet in Bonferroni-stijlcorrecties geloven. Soms is het soort gegevens waarmee men in zijn carrière te maken heeft, zodanig dat dit geen probleem is. Voor rechters die één of heel weinig beslissingen nemen over elk nieuw bewijsstuk, is dit een zeer geldig argument. Maar hoe zit het met de rechter met 20 beklaagden en die zijn oordeel baseert op één grote set gegevens (bijv. Oorlogstribunalen)?

Je negeert de kicks in het blikgedeelte van het argument. Over het algemeen zijn wetenschappers op zoek naar iets - een p-waarde lager dan alfa. Elke poging om er een te vinden, is weer een schop tegen het blik. Je zult er uiteindelijk een vinden als je er genoeg foto's van maakt. Daarom zouden ze daarvoor gestraft moeten worden.

De manier waarop je deze twee argumenten harmoniseert, is door te beseffen dat ze allebei waar zijn. De eenvoudigste oplossing is om het testen van verschillen binnen een enkele dataset te beschouwen als een kick-off van het probleem, maar het uitbreiden van de correctie daarbuiten zou een gladde helling zijn.

Dit is een echt moeilijk probleem op een aantal gebieden, met name FMRI, waar duizenden datapunten worden vergeleken en er zullen er ongetwijfeld een aantal bij toeval als significant naar voren komen. Gezien het feit dat het veld historisch zeer verkennend is geweest, moet men iets doen om te corrigeren voor het feit dat honderden gebieden van de hersenen er puur door toeval significant zullen uitzien. Daarom zijn er op dat gebied veel methoden ontwikkeld om criteria aan te passen.

Aan de andere kant kan men in sommige velden hoogstens naar 3 tot 5 niveaus van een variabele kijken en altijd elke combinatie testen als er een significante ANOVA optreedt. Het is bekend dat dit enkele problemen heeft (type 1-fouten), maar het is niet bijzonder verschrikkelijk.

Het hangt af van uw standpunt. De FMRI-onderzoeker erkent een reële behoefte aan een criteriumverschuiving. De persoon die naar een kleine ANOVA kijkt, kan het gevoel hebben dat er duidelijk iets uit de test komt. Het juiste conservatieve standpunt over de meervoudige vergelijkingen is om er altijd iets aan te doen, maar alleen op basis van een enkele dataset. Alle nieuwe gegevens stellen het criterium opnieuw in ... tenzij je een Bayesiaan bent ...

Gerespecteerde statistici hebben een breed scala aan standpunten ingenomen over meerdere vergelijkingen. Het is een subtiel onderwerp. Als iemand denkt dat het eenvoudig is, vraag ik me af hoeveel ze erover hebben nagedacht.

Hier is een interessant Bayesiaans perspectief op meerdere tests van Andrew Gelman: waarom we ons (meestal) geen zorgen maken over meerdere vergelijkingen.

Met betrekking tot de eerdere opmerking, moet de fMRI-onderzoeker onthouden dat het om klinisch belangrijke resultaten gaat, niet om de dichtheidsverschuiving van een enkele pixel op een fMRI van de hersenen. Als het niet leidt tot een klinische verbetering / nadeel, maakt het niet uit. Dat is een manier om de bezorgdheid over meervoudige vergelijkingen te verminderen.

Zie ook:

1. Bauer, P. (1991). Meerdere testen in klinische onderzoeken. Stat Med, 10 (6), 871-89; discussie 889-90.
2. Proschan, M. A. & Waclawiw, M. A. (2000). Praktische richtlijnen voor multipliciteitsaanpassing in klinische onderzoeken. Control Clin Trials, 21 (6), 527-39.
3. Rothman, K. J. (1990). Er zijn geen aanpassingen nodig voor meerdere vergelijkingen. Epidemiology (Cambridge, Mass.), 1 (1), 43-6.
4. Perneger, T. V. (1998). Wat is er mis met bonferroni-aanpassingen. BMJ (Clinical Research Ed.), 316 (7139), 1236-8.

Om ideeën op te lossen: ik zal het geval nemen wanneer u $ n $ onafhankelijke willekeurige variabelen $ (X_i) _ {i = 1, \ dots, n} $ zodanig dat voor $ i = 1, \ dots, n $ $ X_i $ is afkomstig van $ \ mathcal {N} (\ theta_i, 1) $ . Ik neem aan dat je wilt weten welke een niet-nulgemiddelde heeft, formeel wil je testen:

$ H_ {0i}: \ theta_i = 0 $ span> Vs $ H_ {1i}: \ theta_i \ neq 0 $

Definitie van een drempel: U heeft $ n $ beslissingen die u moet nemen en wellicht heeft u een ander doel. Voor een bepaalde test $ i $ ga je zeker een drempel kiezen $ \ tau_i $ en besluit je niet om $ H_ {0i} $ te accepteren als $ | X_i | > \ tau_i $ .

Verschillende opties: je moet de drempels kiezen $ \ tau_i $ en daarvoor heb je twee opties :

1. kies dezelfde drempel voor iedereen

2. om een andere drempel te kiezen voor iedereen (meestal een datawise drempel, zie hieronder).

Verschillende doelen: Deze opties kunnen worden aangestuurd voor verschillende doelen zoals

• De kans beheersen om ten onrechte $ H_ {0i} $ te verwerpen of meer dan één $ i $ .

• De verwachting van de valse al controleren arm ratio (of False Discovery Rate)

  Wat je doel ook is, het is een goed idee om een ​​datawise-drempel te gebruiken.

Mijn antwoord op uw vraag: uw intuïtie is gerelateerd aan de belangrijkste heuristiek voor het kiezen van een datawise-drempel. Het is het volgende (aan de oorsprong van Holm's procedure die krachtiger is dan Bonferoni):

Stel je voor dat je al een beslissing hebt genomen voor de $ p $ span> laagste $ | X_ {i} | $ en de beslissing is om $ H_ {0i} $ span te accepteren > voor hen allemaal. Dan hoeft u alleen $ np $ vergelijkingen te maken en hebt u geen enkel risico genomen om $ H_ {0i} $ te weigeren ten onrechte! Aangezien u uw budget niet heeft gebruikt, neemt u misschien wat meer risico voor de resterende test en kiest u een grotere drempel.

In het geval van uw juryleden: neem ik aan ( en ik denk dat je hetzelfde zou moeten doen) dat beide rechters dezelfde budgetten van valse beschuldigingen hebben voor hun leven. De 60-jarige rechter is misschien minder conservatief als hij in het verleden niemand beschuldigde! Maar als hij al veel beschuldigingen heeft geuit, zal hij conservatiever zijn en misschien zelfs meer dan de jongste rechter.

Een illustratief (en grappig) artikel ( http://www.jsur.org/ar/jsur_ben102010.pdf) over de noodzaak om te corrigeren voor meerdere tests in een praktisch onderzoek waarbij veel variabelen worden ontwikkeld, bijv. functionele MRI (fMRI). Dit korte citaat bevat het grootste deel van de boodschap:

"[...] we voltooiden een fMRI-scansessie met een post-mortem Atlantische zalm als onderwerp. De zalm kreeg de dezelfde taak voor het nemen van sociaal perspectief die later aan een groep menselijke proefpersonen werd uitgevoerd. "

dat is, naar mijn ervaring, een geweldig argument om gebruikers aan te moedigen om meerdere tests te gebruiken correcties.