Een veel voorkomende truc om dit te doen (bijvoorbeeld in connectionistische modellering) is om de hyperbolische tangens tanh als de 'squashfunctie' te gebruiken. Het past automatisch alle getallen in het interval tussen -1 en 1. Wat in jouw geval het bereik beperkt van 0 tot 1. In r en matlab krijg je het via tanh () .

Een andere squashfunctie is de logistieke functie (met dank aan Simon voor de naam), geleverd door $ f (x) = 1 / (1 + e ^ {- x}) $, die het bereik beperkt van 0 tot 1 (met 0 toegewezen aan .5). Je zou dus het resultaat met 2 moeten vermenigvuldigen en 1 aftrekken om je gegevens in het interval tussen 0 en 1 te passen.

Hier is een eenvoudige R-code die beide functies (tanh in rood, logistiek in blauw) zodat je kunt zien hoe beide squash:

  x <- seq (0,20,0.001) plot (x, tanh (x), pch = ".", col = "red", ylab = "y") punten (x, (1 / (1 + exp (-x))) * 2-1, pch = ".", col = "blue")  

Zoals zo vaak was mijn eerste vraag " waarom wil je dit doen", en ik zag dat je dit al beantwoord hebt in de commentaren op de vraag: " Ik meet inhoud in veel verschillende dimensies en ik wil vergelijkingen kunnen maken in termen van hoe relevant een bepaald stuk inhoud is. Daarnaast wil ik waarden weergeven over deze dimensies die verklaarbaar en gemakkelijk te begrijpen zijn. "

Er is geen reden om de gegevens te normaliseren zodat het maximum 1 is en het minimum nul om dit te bereiken, en mijn mening is dat dit in het algemeen een slecht idee zou zijn . De max- of min-waarden kunnen heel gemakkelijk uitschieters zijn die niet representatief zijn voor de verdeling van de populatie. @osknows afscheid opmerking over het gebruik van $ z $ -scores is een veel beter idee . $ z $ -scores (ook wel standaardscores genoemd) normaliseren elke variabele met behulp van zijn standaarddeviatie in plaats van zijn bereik. De standaarddeviatie wordt minder beïnvloed door uitschieters. Om $ z $ -scores te gebruiken, verdient het de voorkeur dat elke variabele een min of meer normale verdeling heeft, of op zijn minst een min of meer symmetrische verdeling heeft (dwz niet erg scheef is), maar indien nodig kun je een geschikte gegevenstransformatie toepassen om dit te bereiken; welke transformatie moet worden gebruikt, kan worden bepaald door de best passende Box-Cox-transformatie te vinden.

Elke sigmoïde functie zal werken:

• De bovenste helft van de logistieke functie (vermenigvuldig met 2, trek 1 af)
• De error function
• tanh, zoals voorgesteld door Henrik.

Naast de goede suggesties van Henrik en Simon Byrne, zou je f (x) = x / (x + 1) kunnen gebruiken. Ter vergelijking: de logistieke functie zal de verschillen overdrijven naarmate x groter wordt. Dat wil zeggen, het verschil tussen f (x) en f (x + 1) zal groter zijn met de logistieke functie dan met f (x) = x / (x + 1). Misschien wil je dat effect wel of niet.

Er zijn twee manieren om dit te implementeren die ik vaak gebruik. Ik werk altijd met realtime data, dus dit veronderstelt continue input. Hier is wat pseudo-code:

Met behulp van een trainbare minmax:

  definieer functie peak: // behoudt de hoogste waarde die het heeft ontvangen definieer functie via : // behoudt de laagste waarde die het heeft ontvangen define function calibrate: // schakelt tussen of peak () en trough () waarden ontvangen of niet define function scale: // wijst invoerbereik [trough.value () toe aan peak.value ()] to [0.0 to 1.0]  

Deze functie vereist dat u ofwel een initiële trainingsfase uitvoert (door calibrate () te gebruiken) of dat u ofwel opnieuw traint op bepaalde intervallen of volgens bepaalde voorwaarden. Stel je bijvoorbeeld een functie als deze voor:

  definieer functie outBounds (val, thresh): if val > (thresh * peak.value ()) || val < (trough.value () / thresh): calibrate ()  

piek en dal ontvangen normaal geen waarden, maar als outBounds () ontvangt een waarde die meer is dan 1,5 keer de huidige piek of minder dan het huidige dieptepunt gedeeld door 1,5, dan wordt calibrate () aangeroepen waardoor de functie automatisch opnieuw kan kalibreren.

Met een historische minmax:

  var arrayLength = 1000var histArray [arrayLength] definieer historyArray (f): histArray.pushFront (f) // voegt f toe aan het begin van de arraydefine max (array): // zoekt maximum element in histArray [] return maxdefine min (array): // zoekt minimum element in histArray [] retourneert mindefine functie scale: // kaarten invoerbereik [min (histArray) tot max (histArray)] tot [0,0 tot 1,0] main () historyArray (histArray) schaal (min (histArray), max (histArray), histArray [0]) // histArray [0] is het huidige element  

Mijn eerdere bericht bevat een methode om tussen 0 en 1 te rangschikken. Advies over correlatie van classificatorinvoer

De rangorde die ik heb gebruikt, Tmin / Tmax gebruikt echter het voorbeeld min / max, maar misschien vindt u de populatie min / max geschikter. Zoek ook z-scores op

Om aan de andere antwoorden toe te voegen die pnorm suggereren ...

Voor een potentieel optimale methode voor het selecteren van parameters stel ik deze benadering voor pnorm voor.

  1.0 / (1.0 + exp (-1.69897 * (x-mean (x)) / sd (x)))  

Dit is in wezen Softmax-normalisatie.

Referentie Pnorm in een mum van tijd

Een heel eenvoudige optie is om elk getal in uw gegevens te delen door het grootste getal in uw gegevens. Als u veel kleine getallen heeft en een paar zeer grote, kan dit de informatie mogelijk niet goed overbrengen. Maar het is relatief eenvoudig; als u denkt dat er zinvolle informatie verloren gaat wanneer u de gegevens op deze manier in kaart brengt, kunt u een van de meer geavanceerde technieken proberen die anderen hebben voorgesteld.