浅谈深度学习中的概率

浅谈,深度,学习,概率 · 浏览次数 : 217

小编点评

**深度学习中的概率** **随机变量** 随机变量是一种可以表示不同状态的变量。随机变量可以分为两种类型:连续型和离散型。 **概率分布** 概率分布用来表示连续型或离散型随机变量中每个可能取到的值的可能性大小。概率分布有两种类型:概率密度函数和概率质量函数。 **概率密度函数** 当我们面对的是连续型随机变量时,我们会用到概率密度函数来表示概率。概率密度函数的定义范围是X所有可能状态的集合,且概率密度函数的值域是[0,1)。 **概率质量函数** 当我们面对的是离散型随机变量时,我们会用到概率质量函数来表示概率。概率质量函数把随机变量可以取得的每一个值映射到随机变量取得该状态的概率,且概率质量函数的总和等于1。 **边缘概率** 边缘概率是在子集上的概率分布,它用来计算一个子集上的概率。假设有离散型随机变量x和y,并且我们知道P(x,y),如果我们需要计算P(x),那么可以通过求和的办法进行计算。

正文

摘要:本次就和大家聊一聊深度学习中的概率。

本文分享自华为云社区《【MindSpore易点通】深度学习中的概率》,作者: chengxiaoli。

为什么会用到概率呢?因为在深度学习中经常会需要处理随机的数据,或者包含随机性的任务,随机性也来自非常多的方面,所以在存在不确定性的情况下,都需要用到概率。本次就和大家聊一聊深度学习中的概率。

随机变量

首先我们来认识下随机变量。变量我们应该都很熟悉,例如在Python语言中,变量会关联并表示一个固定的值;那么随机变量也很好理解,就是可以随机的表示不同值的变量,例如x1和x2都是随机变量X可能取到的值,这种情况而言,一个随机变量只是对可能状态的描述,并且这个描述必须搭配一个概率分布来表达每个取值的可能性。

随机变量可以可以分为两种情况:连续的和离散的。连续的随机变量伴随着实数值;离散的随机变量拥有有限或者可数无限多的状态,这些状态并不一定是整数形式,也可以是一些被命名的状态而没有数值。这也是连续随机变量和离散随机变量的区别。

概率分布

介绍完了随机变量,那么随机变量如何表示呢?答案是概率分布。概率分布就是用来表示连续随机变量或者离散随机变量其中一段中,每个可能取到的值的可能性大小,描述概率分布的方式也取决于随机变量是连续的还是离散的。下面我们就分析这两种情况下的概率分布。

连续型随机变量:当我们面对的是连续型随机变量时,这时会用到概率密度函数,那么什么是概率密度函数呢,我们假设一个函数P,那么P需要满足以下三个条件。

·p的定义范围必须是X所有可能状态的集合;

·p(x)≥0,但并不一定要p(x)≤1;

·∫p(x)d(x)=1。

连续型随机变量的概率密集型函数p(x)不会直接给出不同状态下的概率,而是通过计算p(x)所在区域面积的值表示概率,因此可以对概率密度函数求积分计算出特定状态下的真实概率质量。x落在集合S中的概率可以通过对这个集合积分得到,那么在单变量的例子中,x落在[a,b]的概率则是∫[a,b]p(x)d(x)。

离散型随机变量:如果我们面对的是离散型变量的概率分布,那么就可以用概率质量函数进行计算,这里用大写P表示。一般每一个随机变量都会有一个不同的概率质量函数,并且必须根据随机变量推断出所使用的概率质量函数。

概率质量函数把随机变量可以取得的每一个值映射到随机变量取得该状态的概率,X=x的概率用P(x)进行表示。

·P(x)=1表示X=x是一定发生的;

·P(x)=0表示X=x是不可能发生的。

概率质量函数可以同时作用在多个随机变量。多个变量的概率分布也可以称为联合概率分布。P(X=x,Y=y)表示的X=x和Y=y同时发生的概率,这也可以简写为P(x,y)。

如果函数P是随机变量X的概率质量函数,函数需要满足以下三个条件。

·P的定义范围必须是X所有可能状态的集合;

·0≤P(x)≤1,不可能发生的事件概率为0,一定发生的概率为1;

·∑P(x)=1,保障某一个状态概率不会大于1。

假设一个离散型随机变量X有k个不同的取值,我们可以假设X属于均匀分布的,也就是取得每一个值的可能性是相同的,因此推断出概率质量函数为:

P(X=xi)=1/k

该函数对所有的i都成立,符合成为概率质量函数的条件。

边缘概率:在我们知道一组变量的联合概率分布,但是想要了解其中一个子集的概率分布。这种定义在子集上的概率分布被称为边缘概率计算。

假设有离散型随机变量x和y,并且我们知道P(x,y),如果我们需要计算P(x),那么可以通过求和的办法进行计算。将X=x时,Y=y1、y2、…yi…yn的概率累加求出来。

总结

本次内容给大家分享了深度学习中的概率,分析了概率的两种分布类型:连续型和离散型,以及两种概率分布函数要满足的条件和计算方法。

 

点击关注,第一时间了解华为云新鲜技术~

与浅谈深度学习中的概率相似的内容:

浅谈深度学习中的概率

摘要:本次就和大家聊一聊深度学习中的概率。 本文分享自华为云社区《【MindSpore易点通】深度学习中的概率》,作者: chengxiaoli。 为什么会用到概率呢?因为在深度学习中经常会需要处理随机的数据,或者包含随机性的任务,随机性也来自非常多的方面,所以在存在不确定性的情况下,都需要用到概率

代码实战带你了解深度学习中的混合精度训练

摘要:本文为大家介绍一下深度学习中的混合精度训练,并通过代码实战的方式为大家讲解实际应用的理论,并对模型进行测试。 本文分享自华为云社区《浅谈深度学习中的混合精度训练》,作者:李长安。 1 混合精度训练 混合精度训练最初是在论文Mixed Precision Training中被踢出,该论文对混合精

漫谈Python魔术方法,见过的没见过的都在这里了

漫谈Python魔术方法,见过的没见过的都在这里了 就说一下,不深入 假的一览 提到魔术方法,学过python都应该知道一些。至少你得会__init__吧。 在我之前写的博文中有很多都涉及魔术方法。比如 浅谈Python中的if,可能有你不知道的,涉及__bool__和__len__ 浅谈Pytho

OpenCV计算机视觉学习(14)——浅谈常见图像后缀(png, jpg, bmp)的区别(opencv读取语义分割mask的坑)

如果需要处理的原图及代码,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/ComputerVisionPractice 本来不想碎碎念,但是我已经在图像后缀上栽倒两次了。而且因为无意犯错,根本找不到问题。不论是在深度学习的语

[转帖]深度学习和机器学习的区别

最近在听深度学习的课,老师提了一个基本的问题:为什么会出现深度学习?或者说传统的机器学习有什么问题。老师讲解的时候一带而过,什么维度灾难啊之类的,可能觉得这个问题太浅显了吧(|| Д)````不过我发现自己确实还不太明白,于是Google了一下,发现一篇很棒的科普文,这里翻译一下,分享给大家:翻译自

Spring入门系列:浅析知识点

本文介绍了学习Spring源码前需要掌握的核心知识点,包括IOC、AOP、Bean生命周期、初始化和Transaction事务。通过Hello World示例,讲解了如何使用Spring,并指出了深入了解Spring内部机制的方向。

salesforce零基础学习(一百二十八)Durable Id获取以及相关概念浅入浅出

本篇参考: salesforce 零基础开发入门学习(十一)sObject及Schema深入 https://developer.salesforce.com/docs/atlas.en-us.api_tooling.meta/api_tooling/tooling_api_objects_enti

浅谈字节码增强技术系列1-字节码增强概览

作者:董子龙 前言 前段时间一直想参照lombok的实现原理写一篇可以生成业务单据修改记录插件的专利,再查阅资料的过程中,偶然了解到了字节码增强工具-byteBuddy。但是由于当时时间紧促,所以没有深入的对该组件进行了解。其实再我们的日常开发中,字节码增强组件的身影无处不在,例如spring-ao

[转帖]浅谈系统稳定性与高可用保障的几种思路

https://segmentfault.com/u/dewujishu 一、前言 高并发、高可用、高性能被称为互联网三高架构,这三者都是工程师和架构师在系统架构设计中必须考虑的因素之一。今天我们就来聊一聊三H中的高可用,也是我们常说的系统稳定性。 本篇文章只聊思路,没有太多的深入细节。阅读全文大概

[转帖]【网络小知识】之TCP IP 五元组(five-tuple/5-tuple)

为什么要分享TCP IP 5元组(five-tuple/5-tuple的知识? 最近在进行深度分析过程中,听到某些资深人士提到了5元组这个概念,觉得很高大尚,去搜索了一圈,发现都是些非常浅显的知识,对于tcp ip 5元组,7元组有什么用没有提及,也没有五元组的英文,导致英文资料检索过程中饶了一圈。