Ultimo aggiornamento il 6 maggio 2020
La probabilità quantifica l’incertezza dei risultati di una variabile casuale.
È relativamente facile capire e calcolare la probabilità per una singola variabile. Tuttavia, nell’apprendimento automatico, spesso abbiamo molte variabili casuali che interagiscono in modi spesso complessi e sconosciuti.,
Esistono tecniche specifiche che possono essere utilizzate per quantificare la probabilità per più variabili casuali, come la probabilità congiunta, marginale e condizionale. Queste tecniche forniscono la base per una comprensione probabilistica del montaggio di un modello predittivo ai dati.
In questo post, scoprirai una delicata introduzione alla probabilità congiunta, marginale e condizionale per più variabili casuali.
Dopo aver letto questo post, saprai:
- La probabilità congiunta è la probabilità che due eventi si verifichino contemporaneamente.,
- La probabilità marginale è la probabilità di un evento indipendentemente dal risultato di un’altra variabile.
- La probabilità condizionale è la probabilità che un evento si verifichi in presenza di un secondo evento.
Avvia il tuo progetto con il mio nuovo libro Probability for Machine Learning, inclusi tutorial passo-passo e i file di codice sorgente Python per tutti gli esempi.
Iniziamo.
- Aggiornamento ottobre / 2019: Corretto errore di battitura minore, grazie Anna.
- Aggiornamento Nov / 2019: Descritto il calcolo simmetrico della probabilità congiunta.,
Una dolce introduzione alla probabilità congiunta, marginale e condizionale
Foto di Masterbutler, alcuni diritti riservati.
Descrizione
Questo tutorial è diviso in tre parti, che sono:
- Probabilità di Una Variabile Casuale
- Probabilità di Più Variabili Casuali
- Probabilità di Indipendenza e di Esclusività
di Probabilità di Una Variabile Casuale
Probabilità quantifica la probabilità di un evento.,
In particolare, quantifica quanto sia probabile un risultato specifico per una variabile casuale, come il lancio di una moneta, il lancio di un dado o il disegno di una carta da gioco da un mazzo.
Probability fornisce una misura di quanto sia probabile che qualcosa accada.
— Pagina 57, Probabilità: Per il principiante entusiasta, 2016.
Per una variabile casuale x, P (x) è una funzione che assegna una probabilità a tutti i valori di x.,
- Densità di probabilità di x = P(x)
La probabilità di un evento specifico A per una variabile casuale x è indicata come P(x=A), o semplicemente come P(A).
- Probabilità di evento A = P(A)
La probabilità è calcolata come il numero di risultati desiderati diviso per il totale dei risultati possibili, nel caso in cui tutti i risultati siano ugualmente probabili.
- Probability = (numero di risultati desiderati)/(numero totale di risultati possibili)
Questo è intuitivo se pensiamo a una variabile casuale discreta come il rotolo di un dado., Ad esempio, la probabilità di un dado che fa rotolare un 5 viene calcolata come un risultato del rotolamento di un 5 (1) diviso per il numero totale di risultati discreti (6) o 1/6 o circa 0,1666 o circa 16,666%.
La somma delle probabilità di tutti i risultati deve essere uguale a una. In caso contrario, non abbiamo probabilità valide.
- Somma delle probabilità per tutti i risultati = 1.0.
La probabilità di un risultato impossibile è zero. Ad esempio, è impossibile rotolare un 7 con un dado a sei lati standard.
- Probabilità di esito impossibile = 0.,0
La probabilità di un determinato risultato è una. Ad esempio, è certo che un valore compreso tra 1 e 6 si verificherà quando si rotola un dado a sei lati.
- Probabilità di un certo risultato = 1.0
La probabilità che un evento non si verifichi, chiamato complemento.
Questo può essere calcolato da uno meno la probabilità dell’evento, o 1 – P(A). Ad esempio, la probabilità di non rotolare un 5 sarebbe 1 – P(5) o 1 – 0.166 o circa 0.833 o circa 83.333%.,
- Probabilità di non evento A = 1-P (A)
Ora che abbiamo familiarità con la probabilità di una variabile casuale, consideriamo la probabilità per più variabili casuali.
Vuoi imparare la probabilità per l’apprendimento automatico
Prendi il mio corso accelerato gratuito di 7 giorni (con codice di esempio).
Fare clic per iscriversi e anche ottenere una versione PDF Ebook gratuito del corso.,
Scarica il tuo Mini-corso GRATUITO
Probabilità di variabili casuali multiple
Nell’apprendimento automatico, è probabile che lavoriamo con molte variabili casuali.
Ad esempio, data una tabella di dati, ad esempio in Excel, ogni riga rappresenta un’osservazione o un evento separato e ogni colonna rappresenta una variabile casuale separata.
Le variabili possono essere discrete, nel senso che assumono un insieme finito di valori, o continue, nel senso che assumono un valore reale o numerico.,
Come tale, siamo interessati alla probabilità attraverso due o più variabili casuali.
Questo è complicato in quanto ci sono molti modi in cui le variabili casuali possono interagire, il che, a sua volta, influisce sulle loro probabilità.
Questo può essere semplificato riducendo la discussione a solo due variabili casuali (X, Y), sebbene i principi generalizzino a più variabili.
E ulteriormente, per discutere la probabilità di soli due eventi, uno per ogni variabile (X=A, Y=B), anche se potremmo altrettanto facilmente discutere gruppi di eventi per ogni variabile.,
Pertanto, introdurremo la probabilità di più variabili casuali come la probabilità dell’evento A e dell’evento B, che in breve è X=A e Y=B.
Assumiamo che le due variabili siano correlate o dipendenti in qualche modo.
Come tale, ci sono tre tipi principali di probabilità che potremmo prendere in considerazione; sono:
- Probabilità congiunta: Probabilità di eventi A e B.
- Probabilità marginale: Probabilità di evento X=Una data variabile Y.
- Probabilità condizionale: Probabilità di evento Un dato evento B.,
Questi tipi di probabilità costituiscono la base di gran parte della modellazione predittiva con problemi come la classificazione e la regressione. Ad esempio:
- La probabilità di una riga di dati è la probabilità congiunta tra ciascuna variabile di input.
- La probabilità di un valore specifico di una variabile di input è la probabilità marginale tra i valori delle altre variabili di input.
- Il modello predittivo stesso è una stima della probabilità condizionale di un output dato un esempio di input.,
Probabilità congiunta, marginale e condizionale sono fondamentali nell’apprendimento automatico.
Diamo un’occhiata più da vicino a ciascuno a turno.
Probabilità congiunta di due variabili
Potremmo essere interessati alla probabilità di due eventi simultanei, ad esempio i risultati di due diverse variabili casuali.
La probabilità di due (o più) eventi è chiamata probabilità congiunta. La probabilità congiunta di due o più variabili casuali è indicata come la distribuzione di probabilità congiunta.,
Ad esempio, la probabilità congiunta dell’evento A e dell’evento B è scritta formalmente come:
- P(A e B)
La congiunzione “and” o è indicata usando l’operatore “U” capovolto “^” o talvolta una virgola “,”.
- P(A ^ B)
- P(A, B)
La probabilità congiunta per gli eventi A e B è calcolata come la probabilità di evento A dato evento B moltiplicata per la probabilità di evento B.,
Questo può essere espresso formalmente come segue:
- P(A e B) = P(A dato B) * P(B)
Il calcolo della probabilità congiunta è talvolta chiamato la regola fondamentale di probabilità o il “prodotto” regola della probabilità o della “catena” regola della probabilità.
Qui, P(Un dato B) è la probabilità dell’evento A dato che si è verificato l’evento B, chiamato probabilità condizionale, descritto di seguito.
La probabilità congiunta è simmetrica, il che significa che P(A e B) è uguale a P(B e A)., Il calcolo utilizzando la probabilità condizionale è anche simmetrica, per esempio:
- P(A e B) = P(A dato B) * P(B) = P(B dato A) * P(A)
Probabilità Marginale
Si può essere interessati alla probabilità di un evento per una variabile casuale, indipendentemente dal risultato di un’altra variabile casuale.
Ad esempio, la probabilità di X=A per tutti i risultati di Y.
La probabilità di un evento in presenza di tutti (o di un sottoinsieme di) risultati dell’altra variabile casuale è chiamata probabilità marginale o distribuzione marginale., La probabilità marginale di una variabile casuale in presenza di variabili casuali aggiuntive è indicata come distribuzione di probabilità marginale.
È chiamata probabilità marginale perché se tutti i risultati e le probabilità per le due variabili sono stati disposti insieme in una tabella (X come colonne, Y come righe), allora la probabilità marginale di una variabile (X) sarebbe la somma delle probabilità per l’altra variabile (Y righe) sul margine della tabella.,
Non esiste una notazione speciale per la probabilità marginale; è solo la somma o l’unione su tutte le probabilità di tutti gli eventi per la seconda variabile per un dato evento fisso per la prima variabile.
- P(X=A) = sum P(X=A, Y=yi) per tutti y
Questa è un’altra importante regola fondamentale nella probabilità, denominata “regola della somma.”
La probabilità marginale è diversa dalla probabilità condizionale (descritta di seguito) perché considera l’unione di tutti gli eventi per la seconda variabile piuttosto che la probabilità di un singolo evento.,
Probabilità condizionata
Potremmo essere interessati alla probabilità di un evento dato il verificarsi di un altro evento.
La probabilità di un evento dato il verificarsi di un altro evento è chiamata probabilità condizionale. La probabilità condizionale di una o più variabili casuali è indicata come distribuzione di probabilità condizionale.,
Per esempio, la probabilità condizionata di un evento di Un evento B è scritto formalmente come:
- P(A dato B)
Il “dato” è indicato utilizzando il pipe “|” operatore; per esempio:
- P(A | B)
La probabilità condizionale per gli eventi di Un determinato evento B è calcolato come segue:
- P(A dato B) = P(A e B) / P(B)
Questo calcolo si assume che la probabilità dell’evento B è diverso da zero, ad esempio, non è impossibile.
La nozione di evento A dato evento B non significa che l’evento B si sia verificato (ad esempio, è certo); invece, è la probabilità che l’evento A si verifichi dopo o in presenza dell’evento B per un determinato processo.
Probabilità di indipendenza ed esclusività
Quando si considerano più variabili casuali, è possibile che non interagiscano.
Possiamo sapere o supporre che due variabili non dipendano l’una dall’altra, ma siano indipendenti.
Alternativamente, le variabili possono interagire ma i loro eventi potrebbero non verificarsi simultaneamente, indicati come esclusività.,
Daremo un’occhiata più da vicino alla probabilità di più variabili casuali in queste circostanze in questa sezione.
Indipendenza
Se una variabile non dipende da una seconda variabile, questa viene chiamata indipendenza o indipendenza statistica.
Questo ha un impatto sul calcolo delle probabilità delle due variabili.
Ad esempio, potremmo essere interessati alla probabilità congiunta di eventi indipendenti A e B, che è la stessa della probabilità di A e della probabilità di B.,
le Probabilità sono combinati utilizzando la moltiplicazione, quindi la probabilità congiunta di eventi indipendenti è calcolato come la probabilità di Un evento, moltiplicato per la probabilità dell’evento B.
Questo può essere espresso formalmente come segue:
- Comune di Probabilità: P(A e B) = P(A) * P(B)
Come si potrebbe intuire, la probabilità marginale per un evento per l’indipendenza della variabile casuale è semplicemente la probabilità dell’evento.,
È l’idea di probabilità di una singola variabile casuale che hanno familiarità con:
- Probabilità marginale: P(A)
Ci riferiamo alla probabilità marginale di una probabilità indipendente come semplicemente la probabilità.
Allo stesso modo, la probabilità condizionale di un dato B quando le variabili sono indipendenti è semplicemente la probabilità di A poiché la probabilità di B non ha alcun effetto. Ad esempio:
- Probabilità condizionale: P(A dato B) = P(A)
Potremmo avere familiarità con la nozione di indipendenza statistica dal campionamento., Ciò presuppone che un campione non sia influenzato da campioni precedenti e non influenzi i campioni futuri.
Molti algoritmi di apprendimento automatico presuppongono che i campioni di un dominio siano indipendenti tra loro e provengano dalla stessa distribuzione di probabilità, definita indipendente e distribuita identicamente, o IID in breve.
Esclusività
Se il verificarsi di un evento esclude il verificarsi di altri eventi, si dice che gli eventi si escludono a vicenda.
Si dice che la probabilità degli eventi sia disgiunta, il che significa che non possono interagire, sono strettamente indipendenti.,
Se la probabilità dell’evento A si esclude reciprocamente dall’evento B, la probabilità congiunta dell’evento A e dell’evento B è zero.
- P(A e B) = 0.0
Invece, la probabilità di un risultato può essere descritto come un evento di Un evento o di B, ha dichiarato formalmente come segue:
- P(A o B) = P(A) + P(B)
La “o” è anche chiamato un sindacato e che è indicato come il capitale “U” lettera; per esempio:
- P(A o B) = P(A U B)
Se gli eventi non si escludono a vicenda, potremmo essere interessati all’esito di uno dei due eventi.,
La probabilità di eventi non mutuamente esclusivi è calcolata come la probabilità dell’evento A e la probabilità dell’evento B meno la probabilità che entrambi gli eventi si verifichino simultaneamente.
Questo può essere dichiarato formalmente come segue:
- P(A o B) = P(A) + P(B) – P(A e B)
Ulteriori letture
Questa sezione fornisce più risorse sull’argomento se stai cercando di approfondire.
Libri
- Probabilità: Per il principiante entusiasta, 2016.
- Riconoscimento di pattern e apprendimento automatico, 2006.,
- Machine Learning: una prospettiva probabilistica, 2012.
Articoli
- Probabilità, Wikipedia.
- Notazione in probabilità e statistica, Wikipedia.
- Indipendenza (teoria della probabilità), Wikipedia.
- Variabili casuali indipendenti e identicamente distribuite, Wikipedia.
- Esclusività reciproca, Wikipedia.
- Distribuzione marginale, Wikipedia.
- Distribuzione di probabilità congiunta, Wikipedia.
- Probabilità condizionale, Wikipedia.,
Sommario
In questo post, hai scoperto una delicata introduzione alla probabilità congiunta, marginale e condizionale per più variabili casuali.
In particolare, hai imparato:
- La probabilità congiunta è la probabilità che due eventi si verifichino contemporaneamente.
- La probabilità marginale è la probabilità di un evento indipendentemente dal risultato di un’altra variabile.
- La probabilità condizionale è la probabilità che un evento si verifichi in presenza di un secondo evento.
Hai qualche domanda?,
Fai le tue domande nei commenti qui sotto e farò del mio meglio per rispondere.
Ottieni un handle sulla probabilità per l’apprendimento automatico!
Sviluppa la tua comprensione della probabilità
…con poche righe di codice python
Scopri come nel mio nuovo Ebook:
Probabilità per l’apprendimento automatico
Fornisce tutorial di autoapprendimento e progetti end-to-end su:
Teorema di Bayes, Ottimizzazione bayesiana, distribuzioni, Massima verosimiglianza, Cross-Entropia, modelli di calibrazione
e molto altro ancora…,
Infine Sfrutta l’incertezza nei tuoi progetti
Salta gli accademici. Solo risultati.Scopri cosa c’è dentro