laatst bijgewerkt op 6 mei 2020
waarschijnlijkheid kwantificeert de onzekerheid van de uitkomsten van een willekeurige variabele.
Het is relatief eenvoudig om de waarschijnlijkheid voor een enkele variabele te begrijpen en te berekenen. Niettemin hebben we in machine learning vaak veel willekeurige variabelen die op vaak complexe en onbekende manieren interageren.,
Er zijn specifieke technieken die kunnen worden gebruikt om de waarschijnlijkheid te kwantificeren voor meerdere willekeurige variabelen, zoals de gezamenlijke, marginale en voorwaardelijke waarschijnlijkheid. Deze technieken vormen de basis voor een probabilistisch begrip van het aanpassen van een voorspellend model aan data.
in dit bericht vindt u een zachte introductie van gezamenlijke, marginale en voorwaardelijke waarschijnlijkheid voor meerdere willekeurige variabelen.
na het lezen van dit bericht, zult u weten:
- gezamenlijke waarschijnlijkheid is de waarschijnlijkheid van twee gebeurtenissen die gelijktijdig plaatsvinden.,
- marginale waarschijnlijkheid is de waarschijnlijkheid van een gebeurtenis ongeacht de uitkomst van een andere variabele.
- voorwaardelijke kans is de kans dat een gebeurtenis optreedt in aanwezigheid van een tweede gebeurtenis.
start uw project met mijn nieuwe boek waarschijnlijkheid Voor Machine Learning, inclusief stap-voor-stap tutorials en de Python broncode bestanden voor alle voorbeelden.
laten we beginnen.
- Update okt / 2019: kleine typefout opgelost, bedankt Anna.
- Update Nov / 2019: beschrijft de symmetrische berekening van gezamenlijke waarschijnlijkheid.,
Een Zachte Inleiding tot gezamenlijke, marginale en voorwaardelijke kans
Foto door Masterbutler, enkele rechten voorbehouden.
overzicht
Deze tutorial is verdeeld in drie delen; deze zijn:
- waarschijnlijkheid van één willekeurige variabele
- waarschijnlijkheid van meerdere willekeurige variabelen
- waarschijnlijkheid van Onafhankelijkheid en exclusiviteit
waarschijnlijkheid van één willekeurige variabele
waarschijnlijkheid kwantificeert de waarschijnlijkheid van een gebeurtenis.,
specifiek, het kwantificeert hoe waarschijnlijk een specifieke uitkomst is voor een willekeurige variabele, zoals het opgooien van een munt, het gooien van een dobbelsteen, of het tekenen van een speelkaart van een deck.
waarschijnlijkheid geeft een maat voor hoe waarschijnlijk het is dat er iets gebeurt.
– pagina 57, waarschijnlijkheid: voor de enthousiaste Beginner, 2016.
voor een willekeurige variabele x is P(x) een functie die een waarschijnlijkheid toewijst aan alle waarden van x.,
- kansdichtheid van x = P(x)
de kans op een specifieke gebeurtenis A voor een willekeurige variabele x wordt aangeduid als P(x=A), of gewoon als P (A).
- waarschijnlijkheid van Gebeurtenis A = P (A)
waarschijnlijkheid wordt berekend als het aantal gewenste resultaten gedeeld door de totale mogelijke resultaten, in het geval dat alle resultaten even waarschijnlijk zijn.
- kans = (aantal gewenste uitkomsten)/(totaal aantal mogelijke uitkomsten)
Dit is intuïtief als we denken aan een discrete willekeurige variabele zoals de rol van een matrijs., Bijvoorbeeld, de kans dat een matrijs een 5 rolt wordt berekend als een resultaat van het rollen van een 5 (1) gedeeld door het totale aantal discrete uitkomsten (6) of 1/6 of ongeveer 0,1666 of ongeveer 16,666%.
De som van de waarschijnlijkheden van alle uitkomsten moet gelijk zijn aan één. Zo niet, dan hebben we geen geldige kansen.
- som van de waarschijnlijkheden voor alle uitkomsten = 1,0.
de kans op een onmogelijke uitkomst is nul. Het is bijvoorbeeld onmogelijk om een 7 te rollen met een standaard zeszijdige matrijs.
- kans op onmogelijke uitkomst = 0.,0
de kans op een bepaalde uitkomst is één. Bijvoorbeeld, het is zeker dat een waarde tussen 1 en 6 zal optreden bij het rollen van een zeszijdige matrijs.
- waarschijnlijkheid van een bepaalde uitkomst = 1,0
de waarschijnlijkheid van een gebeurtenis die niet voorkomt, het complement genoemd.
Dit kan worden berekend met één minus de waarschijnlijkheid van de gebeurtenis, of 1 – P(A). Bijvoorbeeld, de kans op het niet rollen van een 5 zou 1 – P(5) of 1 – 0,166 of ongeveer 0,833 of ongeveer 83,333%.,
- waarschijnlijkheid van niet Event A = 1-P (a)
nu we bekend zijn met de waarschijnlijkheid van één willekeurige variabele, laten we de waarschijnlijkheid voor meerdere willekeurige variabelen overwegen.
wil kans voor Machine Learning leren
neem nu mijn gratis 7-daagse e-mail spoedcursus (met voorbeeldcode).
Klik om u aan te melden en ontvang ook een gratis PDF Ebook versie van de cursus.,
download uw gratis minicursus
waarschijnlijkheid van meerdere willekeurige variabelen
in machine learning werken we waarschijnlijk met veel willekeurige variabelen.
bijvoorbeeld, gegeven een tabel met gegevens, zoals in excel, vertegenwoordigt elke rij een afzonderlijke waarneming of gebeurtenis, en elke kolom vertegenwoordigt een afzonderlijke willekeurige variabele.
variabelen kunnen ofwel discreet zijn, wat betekent dat ze een eindige verzameling van waarden aannemen, ofwel continu, wat betekent dat ze een reële of numerieke waarde aannemen.,
als zodanig zijn we geïnteresseerd in de waarschijnlijkheid van twee of meer willekeurige variabelen.
Dit is ingewikkeld omdat er vele manieren zijn waarop willekeurige variabelen kunnen interageren, wat op zijn beurt hun kansen beïnvloedt.
Dit kan worden vereenvoudigd door de discussie te beperken tot slechts twee willekeurige variabelen (X, Y), hoewel de principes generaliseren naar meerdere variabelen.
en verder, om de waarschijnlijkheid van slechts twee gebeurtenissen te bespreken, één voor elke variabele (X = A, Y = B), hoewel we net zo gemakkelijk groepen van gebeurtenissen voor elke variabele zouden kunnen bespreken.,
daarom zullen we de waarschijnlijkheid van meerdere willekeurige variabelen introduceren als de waarschijnlijkheid van gebeurtenis A en gebeurtenis B, die in steno X=A en Y=B.
We gaan ervan uit dat de twee variabelen gerelateerd of afhankelijk zijn op een bepaalde manier.
als zodanig zijn er drie belangrijke soorten waarschijnlijkheid die we zouden willen overwegen; ze zijn:
- gezamenlijke waarschijnlijkheid: waarschijnlijkheid van gebeurtenissen A en B.
- marginale waarschijnlijkheid: waarschijnlijkheid van gebeurtenis X = een gegeven variabele Y.
- voorwaardelijke waarschijnlijkheid: waarschijnlijkheid van gebeurtenis een gegeven gebeurtenis B.,
deze soorten waarschijnlijkheid vormen de basis van veel voorspellende modellering met problemen zoals classificatie en regressie. Bijvoorbeeld:
- de waarschijnlijkheid van een Rij gegevens is de gezamenlijke waarschijnlijkheid van elke invoervariabele.
- de waarschijnlijkheid van een specifieke waarde van een inputvariabele is de marginale waarschijnlijkheid over de waarden van de andere inputvariabelen.
- het voorspellende model zelf is een schatting van de voorwaardelijke waarschijnlijkheid van een uitvoer gegeven een invoervoorbeeld.,
gezamenlijke, marginale en voorwaardelijke waarschijnlijkheid zijn fundamenteel in machine learning.
laten we elkaar om de beurt eens nader bekijken.
gezamenlijke waarschijnlijkheid van twee variabelen
mogelijk zijn we geïnteresseerd in de waarschijnlijkheid van twee gelijktijdige gebeurtenissen, bijvoorbeeld de uitkomsten van twee verschillende willekeurige variabelen.
de waarschijnlijkheid van twee (of meer) gebeurtenissen wordt de gezamenlijke waarschijnlijkheid genoemd. De gezamenlijke waarschijnlijkheid van twee of meer willekeurige variabelen wordt aangeduid als de gezamenlijke kansverdeling.,
bijvoorbeeld, de gezamenlijke waarschijnlijkheid van event A en event B wordt formeel geschreven als:
- P(a en B)
De “en” of voegwoord wordt aangegeven met behulp van de omgekeerde hoofdletter “U” operator “^” of soms een komma “,”.
- P (a ^ B)
- P (a, B)
de gezamenlijke waarschijnlijkheid voor gebeurtenissen A en B wordt berekend als de waarschijnlijkheid van gebeurtenis a bepaalde gebeurtenis B vermenigvuldigd met de waarschijnlijkheid van gebeurtenis B.,
Dit kan formeel als volgt worden gesteld:
- P (a en B) = P(een gegeven B) * P(B)
de berekening van de gezamenlijke waarschijnlijkheid wordt soms de fundamentele regel van waarschijnlijkheid of de “productregel” van waarschijnlijkheid of de “kettingregel” van waarschijnlijkheid genoemd.
Hier is P (een gegeven B) de waarschijnlijkheid van gebeurtenis A gegeven dat Gebeurtenis B heeft plaatsgevonden, de zogenaamde voorwaardelijke waarschijnlijkheid, hieronder beschreven.
de gezamenlijke waarschijnlijkheid is symmetrisch, wat betekent dat P(A en B) hetzelfde is als P (B en A)., De berekening met behulp van de voorwaardelijke waarschijnlijkheid is ook symmetrisch, bijvoorbeeld:
- P(a en B) = P(A gegeven B) * P(B) = P(B gegeven A) * P(A)
marginale waarschijnlijkheid
We kunnen geïnteresseerd zijn in de waarschijnlijkheid van een gebeurtenis voor een willekeurige variabele, ongeacht de uitkomst van een andere willekeurige variabele.
bijvoorbeeld, de waarschijnlijkheid van X=A Voor alle uitkomsten van Y.
de waarschijnlijkheid van een gebeurtenis in aanwezigheid van alle (of een deelverzameling van) uitkomsten van de andere willekeurige variabele wordt de marginale waarschijnlijkheid of de marginale verdeling genoemd., De marginale waarschijnlijkheid van een willekeurige variabele in aanwezigheid van extra willekeurige variabelen wordt aangeduid als de marginale kansverdeling.
het wordt de marginale waarschijnlijkheid genoemd, omdat als alle uitkomsten en waarschijnlijkheden voor de twee variabelen samen in een tabel zijn ingedeeld (X als kolommen, Y als rijen), dan is de marginale waarschijnlijkheid van een variabele (X) de som van waarschijnlijkheden voor de andere variabele (y-rijen) op de marge van de tabel.,
er is geen speciale notatie voor de marginale waarschijnlijkheid; het is slechts de som of vereniging over alle waarschijnlijkheden van alle gebeurtenissen voor de tweede variabele voor een bepaalde vaste gebeurtenis voor de eerste variabele.
- P (X = A)=som P(X=A, Y = yi) voor alle y
Dit is een andere belangrijke basisregel in waarschijnlijkheid, aangeduid als de “somregel.”
de marginale waarschijnlijkheid verschilt van de voorwaardelijke waarschijnlijkheid (hierna beschreven) omdat het de Vereniging van alle gebeurtenissen voor de tweede variabele in plaats van de waarschijnlijkheid van een enkele gebeurtenis beschouwt.,
voorwaardelijke kans
mogelijk zijn we geïnteresseerd in de kans op een gebeurtenis gezien het voorkomen van een andere gebeurtenis.
de kans op een gebeurtenis gegeven het voorkomen van een andere gebeurtenis wordt de voorwaardelijke kans genoemd. De voorwaardelijke kans van een op een of meer willekeurige variabelen wordt aangeduid als de voorwaardelijke kansverdeling.,
bijvoorbeeld, de voorwaardelijke waarschijnlijkheid van een gebeurtenis Een bepaalde gebeurtenis B is formeel geschreven als:
- P(A gegeven B)
Het “gegeven” wordt aangeduid met de pipe “|” operator; bijvoorbeeld:
- P(A | B)
De voorwaardelijke kans voor de gebeurtenissen van Een bepaalde gebeurtenis B is berekend als volgt:
- P(A gegeven B) = P(A en B) / P(B)
Deze berekening wordt ervan uitgegaan dat de kans op gebeurtenis B niet nul is, is bijvoorbeeld niet onmogelijk.
het begrip gebeurtenis A bepaalde gebeurtenis B betekent niet dat Gebeurtenis B heeft plaatsgevonden (bijv., is zeker); in plaats daarvan is het de kans dat Gebeurtenis a optreedt na of in aanwezigheid van gebeurtenis B voor een bepaalde proef.
waarschijnlijkheid van Onafhankelijkheid en exclusiviteit
wanneer meerdere willekeurige variabelen in aanmerking worden genomen, is het mogelijk dat ze geen interactie vertonen.
we kunnen weten of aannemen dat twee variabelen niet afhankelijk zijn van elkaar in plaats daarvan onafhankelijk zijn.
afwisselend kunnen de variabelen interageren, maar hun gebeurtenissen kunnen niet gelijktijdig plaatsvinden, ook wel exclusiviteit genoemd.,
We zullen de waarschijnlijkheid van meerdere willekeurige variabelen onder deze omstandigheden nader bekijken in deze sectie.
onafhankelijkheid
indien een variabele niet afhankelijk is van een tweede variabele, wordt dit onafhankelijkheid of statistische onafhankelijkheid genoemd.
Dit heeft invloed op de berekening van de waarschijnlijkheid van de twee variabelen.
bijvoorbeeld, we kunnen geïnteresseerd zijn in de gezamenlijke waarschijnlijkheid van onafhankelijke gebeurtenissen A en B, die hetzelfde is als de waarschijnlijkheid van A en de waarschijnlijkheid van B.,
Waarschijnlijkheden worden gecombineerd met behulp van vermenigvuldiging, dus de gezamenlijke kans van onafhankelijke gebeurtenissen wordt berekend als de waarschijnlijkheid van een gebeurtenis A vermenigvuldigd met de waarschijnlijkheid van een gebeurtenis B.
Dit kan worden verklaard formeel als volgt:
- Gezamenlijke Kans: P(A en B) = P(A) * P(B)
Als we misschien intuit, de marginale kans voor een evenement voor een onafhankelijke stochastische variabele is gewoon de waarschijnlijkheid van de gebeurtenis.,
Het is het idee van waarschijnlijkheid van een enkele willekeurige variabele die bekend zijn met:
- marginale waarschijnlijkheid: P (A)
we verwijzen naar de marginale waarschijnlijkheid van een onafhankelijke waarschijnlijkheid als gewoon de waarschijnlijkheid.
evenzo is de voorwaardelijke kans op een gegeven B wanneer de variabelen onafhankelijk zijn gewoon de kans op A omdat de kans op B geen effect heeft. Bijvoorbeeld:
- voorwaardelijke waarschijnlijkheid: P (A gegeven B) = P(A)
We zijn wellicht bekend met het begrip statistische onafhankelijkheid van bemonstering., Dit veronderstelt dat één monster niet door voorafgaande steekproeven wordt beïnvloed en toekomstige steekproeven niet beà nvloedt.
veel machine learning algoritmen gaan ervan uit dat samples van een domein onafhankelijk van elkaar zijn en afkomstig zijn van dezelfde kansverdeling, aangeduid als onafhankelijk en identiek gedistribueerd, of i.i.d. kortweg.
exclusiviteit
als het optreden van een gebeurtenis het optreden van andere gebeurtenissen uitsluit, dan wordt gezegd dat de gebeurtenissen elkaar uitsluiten.
de waarschijnlijkheid van de gebeurtenissen wordt gezegd disjunct te zijn, wat betekent dat ze niet kunnen interageren, zijn strikt onafhankelijk.,
als de kans op gebeurtenis A wederzijds exclusief is met gebeurtenis B, dan is de gezamenlijke kans op gebeurtenis A en gebeurtenis B nul.
- P(a en B) = 0,0
in plaats daarvan kan de kans op een uitkomst worden beschreven als gebeurtenis A of gebeurtenis B, formeel als volgt aangegeven:
- P(a of B) = P(A) + P(B)
De “of” wordt ook een vereniging genoemd en wordt aangeduid als een hoofdletter “u”; bijvoorbeeld:
- p(a of b) = p(a U b)
als de gebeurtenissen elkaar niet uitsluiten, kunnen we geïnteresseerd zijn in de uitkomst van beide gebeurtenissen.,
de kans op niet-onderling exclusieve gebeurtenissen wordt berekend als de kans op gebeurtenis A en de kans op gebeurtenis B minus de kans dat beide gebeurtenissen gelijktijdig plaatsvinden.
Dit kan formeel als volgt worden gesteld:
- P(a of B) = P(A) + P(B) – P(A en B)
verder lezen
Deze sectie biedt meer bronnen over het onderwerp als u dieper wilt gaan.
boeken
- waarschijnlijkheid: voor de enthousiaste Beginner, 2016.
- patroonherkenning en Machine Learning, 2006.,
- Machine Learning: A Probabilistic Perspective, 2012.
artikelen
- waarschijnlijkheid, Wikipedia.
- notatie in Waarschijnlijkheid en statistieken, Wikipedia.
- onafhankelijkheid (kansrekening), Wikipedia.
- onafhankelijke en identiek gedistribueerde willekeurige variabelen, Wikipedia.
- Wederzijdse exclusiviteit, Wikipedia.
- marginale distributie, Wikipedia.
- gezamenlijke kansverdeling, Wikipedia.
- voorwaardelijke kans, Wikipedia.,
samenvatting
In dit bericht ontdekte u een zachte introductie tot gezamenlijke, marginale en voorwaardelijke waarschijnlijkheid voor meerdere willekeurige variabelen.
specifiek leerde u:
- gezamenlijke waarschijnlijkheid is de waarschijnlijkheid van twee gebeurtenissen die gelijktijdig voorkomen.
- marginale waarschijnlijkheid is de waarschijnlijkheid van een gebeurtenis ongeacht de uitkomst van een andere variabele.
- voorwaardelijke kans is de kans dat een gebeurtenis optreedt in aanwezigheid van een tweede gebeurtenis.
heeft u vragen?,
Stel uw vragen in de opmerkingen hieronder en Ik zal mijn best doen om te beantwoorden.
vat de waarschijnlijkheid voor Machine Learning op!
Ontwikkel uw begrip van waarschijnlijkheid
…met slechts een paar regels python code
ontdek hoe in mijn nieuwe Ebook:
waarschijnlijkheid voor Machine Learning
Het zelfstudie tutorials en end-to-end projecten op biedt:
Bayes stelling, Bayesiaanse optimalisatie, distributies, maximale waarschijnlijkheid, Cross-entropie, kalibratie modellen
en nog veel meer…,
ten slotte benutten onzekerheid in uw projecten
overslaan van de academici. Alleen Resultaten.Bekijk wat er in