Vraag:
Hoe ROC-curven uitzetten in classificatie met meerdere klassen?
CLOCK
2010-08-27 06:56:43 UTC
view on stackexchange narkive permalink

Met andere woorden, in plaats van een probleem met twee klassen, heb ik te maken met 4 klassen en wil ik de prestaties nog steeds beoordelen met behulp van AUC.

Is verkleining van de afmetingen een optie?
we hebben 4 klassen, niet echt
[Weka] (http://www.cs.waikato.ac.nz/ml/weka) doet dit perfect en gebruikt de strategie tegen alle klassen.
Vier antwoorden:
#1
+59
chl
2010-08-27 13:12:13 UTC
view on stackexchange narkive permalink

Het lijkt erop dat u op zoek bent naar multi-class ROC-analyse, wat een soort multi-objectieve optimalisatie is die wordt behandeld in een tutorial op ICML'04. Zoals bij verschillende problemen met meerdere klassen, is het idee in het algemeen om paarsgewijze vergelijking uit te voeren (één klas versus alle andere klassen, één klas versus een andere klas, zie (1) of de Elementen van Statistisch Leren ), en er is een recent artikel van Landgrebe en Duin over dat onderwerp, Benaderen van de ROC van meerdere klassen door paarsgewijze analyse, Pattern Recognition Letters 2007 28: 1747-1758. Nu, voor visualisatiedoeleinden, heb ik enige tijd geleden enkele papers gezien, waarvan de meeste volume onder het ROC-oppervlak (VUS) of Cobweb-diagram omdraaien.

Ik weet echter niet of er een R-implementatie van deze methoden bestaat, hoewel ik denk dat de functie stars () kan worden gebruikt voor spinnenwebplots. Ik kwam zojuist een Matlab-toolbox tegen die ROC-analyse met meerdere klassen lijkt te bieden, PRSD Studio.

Andere artikelen die ook nuttig kunnen zijn als een eerste start voor visualisatie / berekening:

Referenties:
1. Allwein, E.L., Schapire, R.E. en Singer, Y. (2000). Multiklassen terugbrengen naar binair: een uniforme benadering voor margeclassificaties. Journal of Machine Learning Research , 1 : 113–141.

#2
+8
garak
2012-07-11 18:02:14 UTC
view on stackexchange narkive permalink

Ik heb onlangs dit pROC pakket in R gevonden dat een meerklasse ROC uitzet met behulp van de techniek gespecificeerd door Hand and Till (2001). U kunt de functie multiclass.roc gebruiken.

#3
+6
Alexey Grigorev
2014-08-04 13:49:58 UTC
view on stackexchange narkive permalink

De antwoorden hier zijn redelijk compleet, maar ik zou toch mijn 5 cent willen toevoegen. In deze vraag vindt u een voorbeeld van R-code voor het produceren van ROC-curven met behulp van de One-Vs-All-benadering en de ROCR R-bibliotheek.

Dit is de plot van dat antwoord:

ROC Curve

#4
+5
Andy W
2010-08-27 07:58:26 UTC
view on stackexchange narkive permalink

Hoewel de wiskunde mij een raadsel is, bevat dit algemene overzichtsartikel enkele referenties waarin u waarschijnlijk geïnteresseerd zult zijn, en bevat het een korte beschrijving van ROC-grafieken met meerdere klassen.

Een inleiding tot ROC-analyse door Tom FawcettPattern Recognition Letters Volume 27, Issue 8, June 2006, Pages 861-874

Link naar pdf zoals geleverd door gd047- bedankt

Ik zou hetzelfde zeggen met een andere link http://www.google.gr/url?sa=t&source=web&cd=1&ved=0CB8QFjAA&url=http%3A%2F%2Fciteseerx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi% 3D10.1.1.98.4088% 26rep% 3Drep1% 26type% 3Dpdf & ei = nlx3TIq-LJCk4Abn_Li3Bg & usg = AFQjCNHO-_yjWAJrRVnJms7MbcqaJkd8eg & sig2 = sqERq2v68UvOhvi
En hier is er nog een, direct gerelateerd aan multi-class probleem: Multi-class ROC-analyse vanuit een multi-objectief optimalisatieperspectief, Pattern Recognition Letters 2006 27 (8): 918-927 (http://j.mp/9AMgzq) .
Bedankt voor de andere links, blijkbaar is dat hele nummer populair, en het archief over science direct is hier te vinden http://www.sciencedirect.com/science? _Ob = PublicationURL & _tockey =% 23TOC% 235665% 232006% 23999729991% 23621242% 23FLA % 23 & _cdi = 5665 & _pubType = J & view = c & _auth = y & _acct = C000050221 & _version = 1 & _urlVersion = 0 & _userid = 10 & md5 = ece739626e7c50b228e85480cb2407e3


Deze Q&A is automatisch vertaald vanuit de Engelse taal.De originele inhoud is beschikbaar op stackexchange, waarvoor we bedanken voor de cc by-sa 2.0-licentie waaronder het wordt gedistribueerd.
Loading...