Zuletzt aktualisiert am 6. Mai 2020
Die Wahrscheinlichkeit quantifiziert die Unsicherheit der Ergebnisse einer Zufallsvariablen.
Es ist relativ einfach, die Wahrscheinlichkeit für eine einzelne Variable zu verstehen und zu berechnen. Dennoch haben wir beim maschinellen Lernen oft viele Zufallsvariablen, die auf oft komplexe und unbekannte Weise interagieren.,
Es gibt spezifische Techniken, mit denen die Wahrscheinlichkeit für mehrere Zufallsvariablen wie die gemeinsame, marginale und bedingte Wahrscheinlichkeit quantifiziert werden kann. Diese Techniken bieten die Grundlage für ein probabilistisches Verständnis der Anpassung eines Vorhersagemodells an Daten.
In diesem Beitrag finden Sie eine sanfte Einführung in die gemeinsame, marginale und bedingte Wahrscheinlichkeit für mehrere Zufallsvariablen.
Nachdem Sie diesen Beitrag gelesen haben, werden Sie wissen:
- Gemeinsame Wahrscheinlichkeit ist die Wahrscheinlichkeit, dass zwei Ereignisse gleichzeitig auftreten.,
- Marginale Wahrscheinlichkeit ist die Wahrscheinlichkeit eines Ereignisses unabhängig vom Ergebnis einer anderen Variablen.
- Bedingte Wahrscheinlichkeit ist die Wahrscheinlichkeit, dass ein Ereignis in Gegenwart eines zweiten Ereignisses auftritt.
Starten Sie Ihr Projekt mit meinem neuen Buch Wahrscheinlichkeit für maschinelles Lernen, einschließlich Schritt-für-Schritt-Tutorials und die Python-Quellcode-Dateien für alle Beispiele.
Los geht ‚ s.
- Update Okt / 2019: Kleiner Tippfehler behoben, danke Anna.
- Update Nov/2019: Beschrieben wird die symmetrische Berechnung der gemeinsame Wahrscheinlichkeit.,
Eine Sanfte Einführung Gemeinsamer, Marginale und Bedingte Wahrscheinlichkeit
Foto von Masterbutler, einige Rechte vorbehalten.
Übersicht
Dieses Tutorial gliedert sich in drei Teile:
- Wahrscheinlichkeit einer Zufallsvariablen
- Wahrscheinlichkeit mehrerer Zufallsvariablen
- Wahrscheinlichkeit der Unabhängigkeit und Exklusivität
Wahrscheinlichkeit einer Zufallsvariablen
Wahrscheinlichkeit quantifiziert die Wahrscheinlichkeit eines Ereignisses.,
Insbesondere quantifiziert es, wie wahrscheinlich ein bestimmtes Ergebnis für eine Zufallsvariable ist, z. B. das Umdrehen einer Münze, das Würfeln eines Würfels oder das Ziehen einer Spielkarte aus einem Deck.
Die Wahrscheinlichkeit gibt an, wie wahrscheinlich es ist, dass etwas passiert.
— Seite Von 57, Wahrscheinlichkeit: Für den Begeisterten Anfänger, 2016.
Für eine Zufallsvariable x ist P(x) eine Funktion, die allen Werten von x eine Wahrscheinlichkeit zuweist.,
- Wahrscheinlichkeitsdichte von x = P (x)
Die Wahrscheinlichkeit eines bestimmten Ereignisses A für eine Zufallsvariable x wird als P(x=A) oder einfach als P(A) bezeichnet.
- Wahrscheinlichkeit des Ereignisses A = P (A)
Die Wahrscheinlichkeit wird als Anzahl der gewünschten Ergebnisse dividiert durch die möglichen Gesamtergebnisse berechnet, wenn alle Ergebnisse gleich wahrscheinlich sind.
- Wahrscheinlichkeit = (Anzahl der gewünschten Ergebnisse)/(Gesamtzahl der möglichen Ergebnisse)
Dies ist intuitiv, wenn wir über eine diskrete Zufallsvariable wie die Rolle eines Würfels nachdenken., Zum Beispiel wird die Wahrscheinlichkeit eines Matrizenwalzens a 5 als ein Ergebnis des Walzens a 5 (1) dividiert durch die Gesamtzahl der diskreten Ergebnisse (6) oder 1/6 oder etwa 0,1666 oder etwa 16,666% berechnet.
Die Summe der Wahrscheinlichkeiten aller Ergebnisse muss eins sein. Wenn nicht, haben wir keine gültigen Wahrscheinlichkeiten.
- Summe der Wahrscheinlichkeiten für alle Ergebnisse = 1.0.
Die Wahrscheinlichkeit eines unmöglichen Ergebnisses ist Null. Zum Beispiel ist es unmöglich, eine 7 mit einer Standard-sechsseitigen Matrize zu rollen.
- Wahrscheinlichkeit eines unmöglichen Ergebnisses = 0.,0
Die Wahrscheinlichkeit eines bestimmten Ergebnisses ist eins. Beispielsweise ist es sicher, dass beim Walzen einer sechsseitigen Matrize ein Wert zwischen 1 und 6 auftritt.
- Wahrscheinlichkeit eines bestimmten Ergebnisses = 1,0
Die Wahrscheinlichkeit eines Ereignisses, das nicht auftritt, wird als Komplement bezeichnet.
Dies kann durch eins minus der Wahrscheinlichkeit des Ereignisses oder 1 – P(A) berechnet werden. Zum Beispiel wäre die Wahrscheinlichkeit, eine 5 nicht zu rollen, 1-P (5) oder 1 – 0.166 oder ungefähr 0.833 oder ungefähr 83.333%.,
- Wahrscheinlichkeit des Ereignisses A = 1-P (A)
Da wir nun mit der Wahrscheinlichkeit einer Zufallsvariablen vertraut sind, betrachten wir die Wahrscheinlichkeit für mehrere Zufallsvariablen.
Möchten Sie etwas über maschinelles Lernen lernen
Nehmen Sie jetzt an meinem kostenlosen 7-tägigen E-Mail-Crashkurs teil (mit Beispielcode).
Klicken Sie zur Anmeldung und erhalten Sie auch eine kostenlose PDF Ebook Version des Kurses.,
Laden Sie Ihren KOSTENLOSEN Minikurs herunter
Wahrscheinlichkeit mehrerer Zufallsvariablen
Im maschinellen Lernen arbeiten wir wahrscheinlich mit vielen Zufallsvariablen.
Bei einer Datentabelle, z. B. in Excel, stellt jede Zeile eine separate Beobachtung oder ein separates Ereignis dar, und jede Spalte stellt eine separate Zufallsvariable dar.
Variablen können entweder diskret sein, was bedeutet, dass sie eine endliche Menge von Werten annehmen, oder kontinuierlich, was bedeutet, dass sie einen realen oder numerischen Wert annehmen.,
Als solche sind wir an der Wahrscheinlichkeit über zwei oder mehr Zufallsvariablen interessiert.
Dies ist kompliziert, da es viele Möglichkeiten gibt, wie Zufallsvariablen interagieren können, was sich wiederum auf ihre Wahrscheinlichkeiten auswirkt.
Dies kann vereinfacht werden, indem die Diskussion auf nur zwei Zufallsvariablen (X, Y) reduziert wird, obwohl die Prinzipien auf mehrere Variablen verallgemeinert werden.
Und weiter, um die Wahrscheinlichkeit von nur zwei Ereignissen zu diskutieren, eines für jede Variable (X=A, Y=B), obwohl wir genauso leicht Gruppen von Ereignissen für jede Variable diskutieren könnten.,
Daher werden wir die Wahrscheinlichkeit mehrerer Zufallsvariablen als die Wahrscheinlichkeit von Ereignis A und Ereignis B einführen, die in der Kurzschrift X=A und Y=B
Wir gehen davon aus, dass die beiden Variablen in irgendeiner Weise verwandt oder abhängig sind.
Als solche gibt es drei Hauptarten der Wahrscheinlichkeit, die wir berücksichtigen möchten; Sie sind:
- Gemeinsame Wahrscheinlichkeit: Wahrscheinlichkeit der Ereignisse A und B.
- Marginale Wahrscheinlichkeit: Wahrscheinlichkeit des Ereignisses X=Eine gegebene Variable Y.
- Bedingte Wahrscheinlichkeit: Wahrscheinlichkeit des Ereignisses A gegebenes Ereignis B.,
Diese Wahrscheinlichkeitstypen bilden die Grundlage für einen Großteil der prädiktiven Modellierung mit Problemen wie Klassifizierung und Regression. Beispiel:
- Die Wahrscheinlichkeit einer Datenzeile ist die gemeinsame Wahrscheinlichkeit für jede Eingabevariable.
- Die Wahrscheinlichkeit eines bestimmten Wertes einer Eingabevariablen ist die Grenzwahrscheinlichkeit über die Werte der anderen Eingabevariablen hinweg.
- Das Vorhersagemodell selbst ist eine Schätzung der bedingten Wahrscheinlichkeit einer Ausgabe in einem Eingabebeispiel.,
Joint, marginal, und bedingter Wahrscheinlichkeit grundlegend in machine learning.
Schauen wir uns die einzelnen nacheinander genauer an.
Gemeinsame Wahrscheinlichkeit von zwei Variablen
Möglicherweise interessieren wir uns für die Wahrscheinlichkeit von zwei gleichzeitigen Ereignissen, z. B. die Ergebnisse von zwei verschiedenen Zufallsvariablen.
Die Wahrscheinlichkeit von zwei (oder mehr) Ereignissen wird als gemeinsame Wahrscheinlichkeit bezeichnet. Die gemeinsame Wahrscheinlichkeit von zwei oder mehr Zufallsvariablen wird als gemeinsame Wahrscheinlichkeitsverteilung bezeichnet.,
Beispielsweise wird die gemeinsame Wahrscheinlichkeit von Ereignis A und Ereignis B formal wie folgt geschrieben:
- P (A und B)
Das „und“ oder die Konjunktion wird mit dem umgedrehten Großbuchstaben „U“ – Operator „^“ oder manchmal mit einem Komma „bezeichnet.
- P (A ^ B)
- P (A, B)
Die gemeinsame Wahrscheinlichkeit für die Ereignisse A und B wird berechnet als die Wahrscheinlichkeit des Ereignisses A gegebenes Ereignis B multipliziert mit der Wahrscheinlichkeit des Ereignisses B.,
Dies kann formal wie folgt angegeben werden:
- P(A und B) = P(A und B) * P (B)
Die Berechnung der gemeinsamen Wahrscheinlichkeit wird manchmal als Grundregel der Wahrscheinlichkeit oder als „Produktregel“ der Wahrscheinlichkeit oder als „Kettenregel“ der Wahrscheinlichkeit bezeichnet.
Hier ist P (A gegeben B) die Wahrscheinlichkeit des Ereignisses A gegeben, dass Ereignis B aufgetreten ist, die bedingte Wahrscheinlichkeit genannt, unten beschrieben.
Die Gelenkwahrscheinlichkeit ist symmetrisch, was bedeutet, dass P(A und B) mit P (B und A) identisch ist., Die Berechnung unter Verwendung der bedingten Wahrscheinlichkeit ist ebenfalls symmetrisch, zum Beispiel:
- P(A und B) = P(A gegeben B) * P(B) = P(B gegeben A) * P (A)
Grenzwahrscheinlichkeit
Unabhängig vom Ergebnis einer anderen Zufallsvariablen können wir an der Wahrscheinlichkeit eines Ereignisses für eine Zufallsvariable interessiert sein.
Die Wahrscheinlichkeit von X=A für alle Ergebnisse von Y.
Die Wahrscheinlichkeit eines Ereignisses in Gegenwart aller (oder einer Teilmenge) Ergebnisse der anderen Zufallsvariablen wird als marginale Wahrscheinlichkeit oder marginale Verteilung bezeichnet., Die marginale Wahrscheinlichkeit einer Zufallsvariablen bei Vorhandensein zusätzlicher Zufallsvariablen wird als marginale Wahrscheinlichkeitsverteilung bezeichnet.
Es wird als marginale Wahrscheinlichkeit bezeichnet, denn wenn alle Ergebnisse und Wahrscheinlichkeiten für die beiden Variablen zusammen in einer Tabelle (X als Spalten, Y als Zeilen) angeordnet wären, wäre die marginale Wahrscheinlichkeit einer Variablen (X) die Summe der Wahrscheinlichkeiten für die andere Variable (Y Zeilen) am Rand der Tabelle.,
Es gibt keine spezielle Notation für die Grenzwahrscheinlichkeit; es ist nur die Summe oder Vereinigung über alle Wahrscheinlichkeiten aller Ereignisse für die zweite Variable für ein gegebenes festes Ereignis für die erste Variable.
- P(X=A) = Summe P (X=A, Y=yi) für alle y
Dies ist eine weitere wichtige Grundregel in der Wahrscheinlichkeit, die als „Summenregel“ bezeichnet wird.“
Die Grenzwahrscheinlichkeit unterscheidet sich von der bedingten Wahrscheinlichkeit (als nächstes beschrieben), da sie die Vereinigung aller Ereignisse für die zweite Variable und nicht die Wahrscheinlichkeit eines einzelnen Ereignisses berücksichtigt.,
Bedingte Wahrscheinlichkeit
Angesichts des Auftretens eines anderen Ereignisses können wir an der Wahrscheinlichkeit eines Ereignisses interessiert sein.
Die Wahrscheinlichkeit eines Ereignisses angesichts des Auftretens eines anderen Ereignisses wird als bedingte Wahrscheinlichkeit bezeichnet. Die bedingte Wahrscheinlichkeit einer bis einer oder mehrerer Zufallsvariablen wird als bedingte Wahrscheinlichkeitsverteilung bezeichnet.,
Zum Beispiel wird die bedingte Wahrscheinlichkeit des Ereignisses A gegebenes Ereignis B formell wie folgt geschrieben:
- P(A gegebenes B)
Das „Gegebene“ wird mit dem Operator „|“ bezeichnet; zum Beispiel:
- P(A | B)
Die bedingte Wahrscheinlichkeit für Ereignisse A gegebenes Ereignis B wird wie folgt berechnet:
- P(A gegebenes B) P(A und B)/P(B)
Diese Berechnung setzt voraus, dass die Wahrscheinlichkeit des Ereignisses B nicht Null ist, z.B. nicht unmöglich ist.
Der Begriff des Ereignisses A gegebenes Ereignis B bedeutet nicht, dass Ereignis B aufgetreten ist (zB, ist sicher); Stattdessen ist es die Wahrscheinlichkeit, dass Ereignis A nach oder in Gegenwart von Ereignis B für eine bestimmte Studie auftritt.
Wahrscheinlichkeit von Unabhängigkeit und Exklusivität
Wenn mehrere Zufallsvariablen betrachtet werden, ist es möglich, dass sie nicht interagieren.
Wir können wissen oder annehmen, dass zwei Variablen nicht voneinander abhängig sind, sondern unabhängig sind.
Abwechselnd können die Variablen interagieren, aber ihre Ereignisse können nicht gleichzeitig auftreten, was als Exklusivität bezeichnet wird.,
In diesem Abschnitt werden wir uns die Wahrscheinlichkeit mehrerer Zufallsvariablen unter diesen Umständen genauer ansehen.
Unabhängigkeit
Wenn eine Variable nicht von einer zweiten Variablen abhängig ist, spricht man von Unabhängigkeit oder statistischer Unabhängigkeit.
Dies hat Auswirkungen auf die Berechnung der Wahrscheinlichkeiten der beiden Variablen.
Zum Beispiel können wir an der gemeinsamen Wahrscheinlichkeit unabhängiger Ereignisse A und B interessiert sein, die der Wahrscheinlichkeit von A und der Wahrscheinlichkeit von B entspricht.,
Wahrscheinlichkeiten werden mittels Multiplikation kombiniert, daher wird die gemeinsame Wahrscheinlichkeit unabhängiger Ereignisse als die Wahrscheinlichkeit des Ereignisses A multipliziert mit der Wahrscheinlichkeit des Ereignisses B berechnet.
Dies kann formell wie folgt angegeben werden:
- Gemeinsame Wahrscheinlichkeit: P(A und B) = P(A) * P(B)
Wie wir vermuten könnten, ist die Grenzwahrscheinlichkeit für ein Ereignis für eine unabhängige Zufallsvariable einfach die Wahrscheinlichkeit des Ereignisses.,
Es ist die Idee der Wahrscheinlichkeit einer einzelnen Zufallsvariablen, die vertraut sind mit:
- Marginale Wahrscheinlichkeit: P (A)
Wir beziehen uns auf die marginale Wahrscheinlichkeit einer unabhängigen Wahrscheinlichkeit als einfach die Wahrscheinlichkeit.
In ähnlicher Weise ist die bedingte Wahrscheinlichkeit eines gegebenen B, wenn die Variablen unabhängig sind, einfach die Wahrscheinlichkeit von A, da die Wahrscheinlichkeit von B keine Wirkung hat. Zum Beispiel:
- Bedingte Wahrscheinlichkeit: P(A) B) = P(A)
Möglicherweise kennen wir den Begriff der statistischen Unabhängigkeit von der Stichprobe., Dies setzt voraus, dass eine Probe von früheren Proben unberührt bleibt und zukünftige Proben nicht beeinflusst.
Viele Algorithmen des maschinellen Lernens gehen davon aus, dass Samples aus einer Domäne unabhängig voneinander sind und aus derselben Wahrscheinlichkeitsverteilung stammen, die als unabhängig und identisch verteilt bezeichnet wird, kurz i. i. d.
Exklusivität
Schließt das Auftreten eines Ereignisses das Auftreten anderer Ereignisse aus, so schließen sich die Ereignisse gegenseitig aus.
Die Wahrscheinlichkeit, dass die Ereignisse unzusammenhängend sind, was bedeutet, dass sie nicht interagieren können, sind streng unabhängig.,
Wenn sich die Wahrscheinlichkeit von Ereignis A mit Ereignis B gegenseitig ausschließt, ist die gemeinsame Wahrscheinlichkeit von Ereignis A und Ereignis B Null.
- P(A und B) = 0.0
Stattdessen kann die Wahrscheinlichkeit eines Ergebnisses als Ereignis A oder Ereignis B beschrieben werden, formell wie folgt angegeben:
- P(A oder B) = P(A) + P(B)
Das „oder“ wird auch als Vereinigung bezeichnet und als Großbuchstabe „U“ bezeichnet; zum Beispiel:
- P(A oder B) = P(A U B)
Wenn sich die Ereignisse nicht gegenseitig ausschließen, können wir am Ergebnis eines der beiden Ereignisse interessiert sein.,
Die Wahrscheinlichkeit sich nicht gegenseitig ausschließender Ereignisse wird berechnet als die Wahrscheinlichkeit des Ereignisses A und die Wahrscheinlichkeit des Ereignisses B abzüglich der Wahrscheinlichkeit, dass beide Ereignisse gleichzeitig auftreten.
Dies kann formell wie folgt angegeben werden:
- P(A oder B) = P(A) + P(B) – P (A und B)
Weiterlesen
Dieser Abschnitt enthält weitere Ressourcen zum Thema, wenn Sie tiefer gehen möchten.
Bücher
- Wahrscheinlichkeit: Für den Begeisterten Anfänger, 2016.
- Mustererkennung und maschinelles Lernen, 2006.,
- Maschinelles Lernen: Eine probabilistische Perspektive, 2012.
Artikel
- Wahrscheinlichkeit, Wikipedia.
- Notation in Wahrscheinlichkeit und Statistik, Wikipedia.
- Unabhängigkeit (Wahrscheinlichkeitstheorie), Wikipedia.
- Unabhängige und identisch verteilte Zufallsvariablen, Wikipedia.
- Gegenseitige Exklusivität, Wikipedia.
- Randverteilung, Wikipedia.
- Gemeinsame Wahrscheinlichkeitsverteilung, Wikipedia.
- Bedingte Wahrscheinlichkeit, Wikipedia.,
Zusammenfassung
In diesem Beitrag haben Sie eine sanfte Einführung in die gemeinsame, marginale und bedingte Wahrscheinlichkeit für mehrere Zufallsvariablen entdeckt.
Speziell haben Sie gelernt:
- Gemeinsame Wahrscheinlichkeit ist die Wahrscheinlichkeit, dass zwei Ereignisse gleichzeitig auftreten.
- Marginale Wahrscheinlichkeit ist die Wahrscheinlichkeit eines Ereignisses unabhängig vom Ergebnis einer anderen Variablen.
- Bedingte Wahrscheinlichkeit ist die Wahrscheinlichkeit, dass ein Ereignis in Gegenwart eines zweiten Ereignisses auftritt.
haben Sie Fragen?,
stellen Sie Ihre Fragen in den Kommentaren unten und ich werde mein bestes tun zu beantworten.
Holen Sie sich einen Griff auf Wahrscheinlichkeit für maschinelles Lernen!
Entwickeln Sie Ihr Verständnis von Wahrscheinlichkeit
…mit nur ein paar Zeilen Python-Code
Entdecken Sie, wie in meinem neuen Ebook:
Wahrscheinlichkeit für maschinelles Lernen
Es bietet Selbststudium Tutorials und End-to-End-Projekte auf:
Bayes Theorem, Bayesian Optimierung, Verteilungen, Maximale Wahrscheinlichkeit, Querentropie, Kalibrieren von Modellen
und vieles mehr…,
Nutzen Sie endlich die Unsicherheit in Ihren Projekten
Überspringen Sie die Akademiker. Nur Ergebnisse.Sehen, Was drin ist