Met andere woorden, in plaats van een probleem met twee klassen, heb ik te maken met 4 klassen en wil ik de prestaties nog steeds beoordelen met behulp van AUC.
Het lijkt erop dat u op zoek bent naar multi-class ROC-analyse, wat een soort multi-objectieve optimalisatie is die wordt behandeld in een tutorial op ICML'04. Zoals bij verschillende problemen met meerdere klassen, is het idee in het algemeen om paarsgewijze vergelijking uit te voeren (één klas versus alle andere klassen, één klas versus een andere klas, zie (1) of de Elementen van Statistisch Leren ), en er is een recent artikel van Landgrebe en Duin over dat onderwerp, Benaderen van de ROC van meerdere klassen door paarsgewijze analyse, Pattern Recognition Letters 2007 28: 1747-1758. Nu, voor visualisatiedoeleinden, heb ik enige tijd geleden enkele papers gezien, waarvan de meeste volume onder het ROC-oppervlak (VUS) of Cobweb-diagram omdraaien.
Ik weet echter niet of er een R-implementatie van deze methoden bestaat, hoewel ik denk dat de functie stars () kan worden gebruikt voor spinnenwebplots. Ik kwam zojuist een Matlab-toolbox tegen die ROC-analyse met meerdere klassen lijkt te bieden, PRSD Studio.
Andere artikelen die ook nuttig kunnen zijn als een eerste start voor visualisatie / berekening:
Referenties:
1. Allwein, E.L., Schapire, R.E. en Singer, Y. (2000). Multiklassen terugbrengen naar binair: een uniforme benadering voor margeclassificaties. Journal of Machine Learning Research , 1 : 113–141.
Ik heb onlangs dit pROC pakket in R gevonden dat een meerklasse ROC uitzet met behulp van de techniek gespecificeerd door Hand and Till (2001). U kunt de functie multiclass.roc gebruiken.
De antwoorden hier zijn redelijk compleet, maar ik zou toch mijn 5 cent willen toevoegen. In deze vraag vindt u een voorbeeld van R-code voor het produceren van ROC-curven met behulp van de One-Vs-All-benadering en de ROCR R-bibliotheek.
Dit is de plot van dat antwoord:
Hoewel de wiskunde mij een raadsel is, bevat dit algemene overzichtsartikel enkele referenties waarin u waarschijnlijk geïnteresseerd zult zijn, en bevat het een korte beschrijving van ROC-grafieken met meerdere klassen.
Een inleiding tot ROC-analyse door Tom FawcettPattern Recognition Letters Volume 27, Issue 8, June 2006, Pages 861-874
Link naar pdf zoals geleverd door gd047- bedankt