Wie Sie Ihre analytische Prognosen zu Ergebnis Akkurat
Wenn die Qualität eines Vorhersagemodells zu analysieren, werden Sie wollen ihre Genauigkeit zu messen. Je genauer eine Prognose das Modell, desto nützlicher macht, ist es für das Unternehmen, die ein Indiz für seine Qualität. Das ist alles gut - außer wenn die vorhergesagte Ereignis ist selten. In einem solchen Fall kann die hohe Genauigkeit des Vorhersagemodells bedeutungslos.
Zum Beispiel, wenn die Wahrscheinlichkeit eines seltenen Ereignis auftreten soll 5 Prozent, ein Modell, das "Nein" die ganze Zeit auf die Frage, ob das seltene Ereignis aufgetreten ist einfach beantwortet Recht 95 Prozent der Zeit wäre hat. Aber was wäre ein solches Modell sein?
Wenn also Ihr Unternehmen routinemäßig mit seltenen Ereignissen beschäftigen müssen (wenn es so etwas möglich ist), verlassen Sie sich nicht auf die Genauigkeit allein als Maß für Ihr Modell der Zuverlässigkeit.
In einem solchen Fall können Sie die Wirksamkeit und die Qualität eines prädiktiven Modells im Lichte der beurteilen, wie wahrscheinlich das seltene Ereignis stattfinden soll. Eine nützliche Metrik zu folgen ist, welche Arten von Fehlern geben Sie aus dem Modell übernehmen können und die Sie nicht können.
Hier ist eine kurze Liste von anderen Möglichkeiten, um Ihr Modell zu bewerten:
Überprüfen Sie, ob das Modell der Ausgabekriterien Ihre Bewertung entspricht.
Überlegen Sie sich eine Teststrategie, so dass Sie Ihr Modell wiederholt und konsequent zu testen.
Messen Sie, wie gut das Modell die Geschäftsziele für die trifft es gebaut wurde.
Bewerten Sie die Risiken leben das Modell einzusetzen.
Hilfe auszumerzen Überanpassung. Wenn ein Vorhersagemodell bauen, denken Sie daran, dass Ihre Daten-Set nur eine Probe der Gesamtbevölkerung ist. Es wird immer unbekannte Faktoren, die Ihre Daten können für die kein Konto, egal was passiert.
Nähern Sie sich die eine Analyse der prädiktiven Modells mit Sorgfalt, mit dieser kurzen Checkliste beginnen:
Bereiten Sie Ihre Daten mit größter Sorgfalt, bevor es mit Ihrem Modell zu trainieren.
Sorgfältig zu prüfen Ausreißer vor, einschließlich oder sie auszuschließen.
Bleiben Sie in wiederholten Prüfung und Bewertung wachsam.
Cross-Check-Beispieldaten und Testdaten zu steuern weg von Überanpassung.
Sprechen Sie mit Ihrem Fachwissen Experten oft und angemessen.