Dernière mise à jour le 6 mai 2020
La probabilité quantifie l’incertitude des résultats d’une variable aléatoire.
Il est relativement facile de comprendre et de calculer la probabilité pour une seule variable. Néanmoins, dans l’apprentissage automatique, nous avons souvent de nombreuses variables aléatoires qui interagissent de manière souvent complexe et inconnue.,
Il existe des techniques spécifiques qui peuvent être utilisées pour quantifier la probabilité de plusieurs variables aléatoires, telles que la probabilité conjointe, marginale et conditionnelle. Ces techniques fournissent la base d’une compréhension probabiliste de l’ajustement d’un modèle prédictif aux données.
Dans cet article, vous découvrirez une introduction douce à la probabilité conjointe, marginale et conditionnelle pour plusieurs variables aléatoires.
Après avoir lu ce post, vous saurez:
- de probabilité Conjointe est la probabilité que deux événements se produisent simultanément.,
- La probabilité marginale est la probabilité d’un événement indépendamment du résultat d’une autre variable.
- probabilité Conditionnelle est la probabilité qu’un événement se produise dans la présence d’un deuxième événement.
Lancez votre projet avec mon nouveau livre Probability for Machine Learning, y compris des tutoriels étape par étape et les fichiers de code source Python pour tous les exemples.
nous allons commencer.
- Mise à jour octobre / 2019: Correction d’une faute de frappe mineure, merci Anna.
- Mise à jour Nov/2019: Décrit le calcul symétrique de la probabilité conjointe.,
Une introduction douce à la Probabilité Conjointe, Marginale et Conditionnelle
Photo de Masterbutler, certains droits réservés.
Présentation
Ce tutoriel est divisé en trois parties; ils sont:
- de Probabilité d’Une Variable Aléatoire
- la Probabilité de Plusieurs Variables Aléatoires
- la Probabilité de l’Indépendance et de l’Exclusivité
la Probabilité d’Une Variable Aléatoire
Probabilité de quantifier la probabilité d’un événement.,
Plus précisément, il quantifie la probabilité d’un résultat spécifique pour une variable aléatoire, comme le retournement d’une pièce de monnaie, le lancer d’un dé ou le tirage d’une carte à jouer à partir d’un jeu.
La probabilité donne une mesure de la probabilité que quelque chose se produise.
— Page 57, Probabilité: Pour le Débutant Enthousiaste, 2016.
Pour une variable aléatoire x, P(x) est une fonction qui assigne une probabilité pour toutes les valeurs de x.,
- Densité de Probabilité de x = P(x)
La probabilité qu’un événement particulier, pour Une variable aléatoire x est notée P(x=A), ou tout simplement comme P(A).
- Probabilité de l’événement A = P(A)
La probabilité est calculée comme le nombre de résultats souhaités divisé par le total des résultats possibles, dans le cas où tous les résultats sont également probables.
- Probabilité = (nombre de résultats souhaités) / (nombre total de résultats possibles)
C’est intuitif si l’on considère une variable aléatoire discrète comme le jet de dé., Par exemple, la probabilité qu’un dé roule un 5 est calculée comme un résultat de rouler un 5 (1) divisé par le nombre total de résultats discrets (6) ou 1/6 ou environ 0,1666 ou environ 16,666%.
La somme des probabilités de tous les résultats doit être égale à un. Sinon, nous n’avons pas de probabilités valides.
- Somme des probabilités pour tous les résultats = 1.0.
La probabilité d’un résultat impossible est nulle. Par exemple, il est impossible de rouler un 7 avec un dé standard à six côtés.
- Probabilité de résultat impossible = 0.,0
La probabilité d’un certain résultat en est un. Par exemple, il est certain qu’une valeur comprise entre 1 et 6 se produira lors du lancer d’un dé à six côtés.
- Probabilité d’un certain résultat = 1.0
La probabilité qu’un événement ne se produise pas, appelé le complément.
Cela peut être calculé par un moins la probabilité de l’événement, ou 1 – P(A). Par exemple, la probabilité de ne pas lancer un 5 serait 1 – P(5) ou 1 – 0.166 ou environ 0.833 ou environ 83.333%.,
- Probabilité de Non Événement A = 1 – P(A)
Maintenant que nous connaissons la probabilité d’une variable aléatoire, considérons la probabilité pour plusieurs variables aléatoires.
Vous voulez apprendre la probabilité pour l’apprentissage automatique
Suivez mon cours intensif de messagerie gratuit de 7 jours maintenant (avec un exemple de code).
Cliquez pour vous inscrire et obtenez également une version Ebook PDF gratuite du cours.,
Téléchargez Votre Mini-cours GRATUIT
Probabilité de plusieurs variables aléatoires
En apprentissage automatique, nous sommes susceptibles de travailler avec de nombreuses variables aléatoires.
Par exemple, étant donné un tableau de données, comme dans Excel, chaque ligne représente une observation ou un événement distinct, et chaque colonne représente une variable aléatoire distincte.
Les variables peuvent être discrètes, ce qui signifie qu’elles prennent un ensemble fini de valeurs, ou continues, ce qui signifie qu’elles prennent une valeur réelle ou numérique.,
en tant Que tel, nous nous intéressons à la probabilité entre deux ou plusieurs variables aléatoires.
Ceci est compliqué car il existe de nombreuses façons que les variables aléatoires peuvent interagir, ce qui, à son tour, a un impact sur leurs probabilités.
Cela peut être simplifié en réduisant la discussion à seulement deux variables aléatoires (X, Y), bien que les principes se généralisent à plusieurs variables.
Et plus loin, pour discuter de la probabilité de seulement deux événements, un pour chaque variable (X=A, Y=B), bien que nous puissions tout aussi facilement discuter de groupes d’événements pour chaque variable.,
Donc, nous allons introduire la probabilité de plusieurs variables aléatoires comme la probabilité d’Un événement et l’événement B, qui, en sténographie est X=A et Y=B.
Nous supposons que les deux variables sont associées ou dépendantes, d’une certaine façon.
En tant que tel, il existe trois principaux types de probabilité que nous pourrions considérer; ils sont:
- Probabilité conjointe: Probabilité d’événements A et B.
- Probabilité marginale: Probabilité d’événement X=Une variable donnée Y.
- Probabilité conditionnelle: Probabilité d’événement Un événement donné B.,
Ces types de probabilités constituent la base d’une grande partie de la modélisation prédictive avec des problèmes tels que la classification et la régression. Par exemple:
- La probabilité d’une ligne de données est la probabilité conjointe sur chaque variable d’entrée.
- La probabilité d’une valeur spécifique d’une variable d’entrée est la probabilité marginale à travers les valeurs des autres variables d’entrée.
- Le modèle prédictif lui-même est une estimation de la probabilité conditionnelle de sortie donné un exemple d’entrée.,
La probabilité conjointe, marginale et conditionnelle est fondamentale dans l’apprentissage automatique.
Examinons chacun de plus près à tour de rôle.
Probabilité conjointe de Deux variables
Nous pouvons nous intéresser à la probabilité de deux événements simultanés, par exemple les résultats de deux variables aléatoires différentes.
La probabilité de deux (ou plus) événements est appelée probabilité conjointe. La probabilité conjointe de deux variables aléatoires ou plus est appelée distribution de probabilité conjointe.,
Par exemple, la probabilité conjointe de l’événement et l’événement B s’écrit formellement:
- P(A et B)
Le « et” ou la conjonction est notée à l’aide de l’envers de la capitale « U” opérateur « ^” ou parfois une virgule « ,”.
- P(A ^ B)
- P(A, B)
La probabilité conjointe pour les événements A et B est calculée comme étant la probabilité de l’événement Un événement donné B multiplié par la probabilité de l’événement B.,
Cela peut s’énoncer formellement comme suit:
- P(A et B) = P(A donné B) * P(B)
Le calcul de la probabilité conjointe est parfois appelé règle fondamentale de probabilité ou « règle produit” de probabilité ou « règle chaîne” de probabilité.
Ici, P(A B donné) est la probabilité de l’événement A donné que l’événement B s’est produit, appelée probabilité conditionnelle, décrite ci-dessous.
La probabilité conjointe est symétrique, ce qui signifie que P(A et B) est le même que P(B et A)., Le calcul utilisant la probabilité conditionnelle est également symétrique, par exemple:
- P(A et B) = P(A donné B) * P(B) = P(B donné A) * P(A)
Probabilité marginale
Nous pouvons nous intéresser à la probabilité d’un événement pour une variable aléatoire, indépendamment du résultat d’une autre variable aléatoire.
Par exemple, la probabilité de X=A pour tous les résultats de Y.
La probabilité d’un événement en présence de tous (ou d’un sous-ensemble de) résultats de l’autre variable aléatoire est appelée probabilité marginale ou distribution marginale., La probabilité marginale d’une variable aléatoire en présence de variables aléatoires supplémentaires est appelée distribution de probabilité marginale.
On l’appelle la probabilité marginale parce que si tous les résultats et probabilités des deux variables étaient présentés ensemble dans un tableau (X sous forme de colonnes, Y sous forme de lignes), alors la probabilité marginale d’une variable (X) serait la somme des probabilités de l’autre variable (Y lignes) sur la marge du tableau.,
Il n’y a pas de notation spéciale pour la probabilité marginale; c’est juste la somme ou l’union sur toutes les probabilités de tous les événements pour la deuxième variable pour un événement fixe donné pour la première variable.
- P(X=A) = somme P(X=A, Y=yi) pour tout y
Il s’agit d’une autre règle fondamentale importante en probabilité, appelée « règle de la somme.”
La probabilité marginale est différente de la probabilité conditionnelle (décrite ci-après) car elle considère l’union de tous les événements pour la deuxième variable plutôt que la probabilité d’un seul événement.,
Probabilité Conditionnelle
Nous sommes intéressés à la probabilité d’un événement donné la survenance d’un autre cas.
La probabilité d’un événement donné la survenance d’un événement est appelé la probabilité conditionnelle. La probabilité conditionnelle d’une à une ou plusieurs variables aléatoires est appelée distribution de probabilité conditionnelle.,
Par exemple, la probabilité conditionnelle de l’événement Un événement B s’écrit formellement:
- P(A donné B)
La « donnée” est désigné à l’aide du canal opérateur »|”; par exemple:
- P(A | B)
La probabilité conditionnelle pour des événements Un événement B est calculé comme suit:
- P(A donné B) = P(A et B) / P(B)
Ce calcul suppose que la probabilité de l’événement B est non nul, par exemple, n’est pas impossible.
La notion d’événement A un événement B donné ne signifie pas que l’événement B s’est produit (par exemple, est certain); il s’agit plutôt de la probabilité que l’événement A se produise après ou en présence de l’événement B pour un essai donné.
Probabilité d’indépendance et d’exclusivité
Lorsque l’on considère plusieurs variables aléatoires, il est possible qu’elles n’interagissent pas.
Nous pouvons savoir ou supposer que deux variables ne dépendent pas l’une de l’autre, mais sont indépendantes.
Sinon, les variables peuvent interagir, mais leurs événements peuvent ne pas se produire simultanément, dénommé exclusivité.,
Nous examinerons de plus près la probabilité de variables aléatoires multiples dans ces circonstances dans cette section.
l’Indépendance
Si une variable ne dépend pas d’une seconde variable, cela s’appelle l’indépendance ou de l’indépendance statistique.
Cela a un impact sur le calcul des probabilités des deux variables.
Par exemple, est susceptible de nous intéresser à la probabilité conjointe d’événements indépendants A et B, qui est la même que la probabilité et la probabilité de B.,
Les probabilités sont combinées en utilisant la multiplication, donc la probabilité conjointe d’événements indépendants est calculée comme la probabilité de l’événement A multipliée par la probabilité de l’événement B.
Ceci peut être énoncé formellement comme suit:
- Probabilité conjointe: P(A et B) = P(A) * P(B)
Comme nous pourrions l’imaginer, la probabilité marginale d’un événement pour une variable aléatoire indépendante est simplement la probabilité de l’événement.,
C’est l’idée de probabilité d’une seule variable aléatoire qui sont familiers avec:
- Probabilité Marginale: P(A)
nous Nous référons à la probabilité marginale d’un organisme indépendant de probabilité est simplement la probabilité.
de Même, la probabilité conditionnelle de B lorsque les variables sont indépendantes l’une est simplement la probabilité de la probabilité de B n’a aucun effet. Par exemple:
- Probabilité conditionnelle: P(A B donné) = P(A)
Nous connaissons peut-être la notion d’indépendance statistique par rapport à l’échantillonnage., Cela suppose qu’un échantillon n’est pas affecté par les échantillons antérieurs et n’affecte pas les échantillons futurs.
De nombreux algorithmes d’apprentissage automatique supposent que les échantillons d’un domaine sont indépendants les uns des autres et proviennent de la même distribution de probabilité, appelée indépendante et identiquement distribuée, ou i. i. d. en abrégé.
l’Exclusivité
Si la survenance d’un événement exclut la survenance d’autres événements, puis les événements sont dit d’être mutuellement exclusifs.
La probabilité que les événements soient disjoints, ce qui signifie qu’ils ne peuvent pas interagir, sont strictement indépendants.,
Si la probabilité de l’événement A est mutuellement exclusif avec l’événement B, alors la probabilité conjointe de l’événement et l’événement B est égal à zéro.
- P(A et B) = 0,0
Au lieu de cela, la probabilité d’un résultat peut être décrite comme un événement A ou un événement B, énoncé formellement comme suit:
- P(A ou B) = P(A) + P(B)
Le « ou” est également appelé une union et est noté comme une lettre A ou B) = P(A U B)
Si les événements ne sont pas mutuellement exclusifs, nous pouvons être intéressés par le résultat de l’un ou l’autre événement.,
La probabilité d’événements non mutuellement exclusifs est calculée comme la probabilité de l’événement A et la probabilité de l’événement B moins la probabilité que les deux événements se produisent simultanément.
Cela peut être déclaré officiellement comme suit:
- P(A ou B) = P(A) + P(B) – P(A et B)
Lecture
Cette section fournit plus de ressources sur le sujet si vous cherchez à aller plus loin.
Livres
- Probabilité: Pour le Débutant Enthousiaste, 2016.
- Reconnaissance des formes et apprentissage automatique, 2006.,
- Apprentissage automatique: Une perspective probabiliste, 2012.
Articles
- Probabilité, Wikipedia.
- Notation en probabilités et statistiques, Wikipedia.
- Indépendance (théorie des probabilités), Wikipedia.
- Variables aléatoires indépendantes et identiquement distribuées, Wikipedia.
- Exclusivité mutuelle, Wikipedia.
- Distribution marginale, Wikipedia.
- Distribution de probabilité commune, Wikipedia.
- probabilité Conditionnelle, Wikipedia.,
Résumé
Dans cet article, vous avez découvert une introduction douce à la probabilité conjointe, marginale et conditionnelle pour plusieurs variables aléatoires.
plus Précisément, vous avez appris:
- de probabilité Conjointe est la probabilité que deux événements se produisent simultanément.
- La probabilité marginale est la probabilité d’un événement indépendamment du résultat d’une autre variable.
- probabilité Conditionnelle est la probabilité qu’un événement se produise dans la présence d’un deuxième événement.
avez-vous des questions?,
Posez vos questions dans les commentaires ci-dessous et je ferai de mon mieux pour y répondre.
Obtenir une Poignée sur la Probabilité pour l’Apprentissage de la Machine!
Développer Votre Compréhension de la Probabilité
…avec seulement quelques lignes de code python
Découvrez comment dans mon nouvel Ebook:
Probabilité pour l’apprentissage automatique
Il fournit des tutoriels d’auto-étude et des projets de bout en bout sur:
Théorème de Bayes, Optimisation Bayésienne, Distributions, Maximum de Vraisemblance, Entropie croisée, Calibrage des modèles
et bien plus encore…,
Enfin Exploiter l’incertitude dans vos projets
Sauter les universitaires. Seulement Les Résultats.Voir Ce qui est à l’Intérieur de