朴素贝叶斯从是基于贝叶斯定理和条件独立性假设的一种分类器,是一种基于概率统计的分类方法。对于给定的数据,基于条件独立性假设学习输入和输出的联合概率分布,然后根据给定的输入数据利用贝叶斯定理求解最大的后验概率的的输出类别,是一种非常常见的分类算法。

对于贝叶斯定理,实际上就是求解条件概率的方法
$$
P(A | B)=\frac{P(B | A)P(A)}{P(B)}
$$
$P(A)​$就是先验概率,是事件A发生之前事件B发生的概率

$P(A|B)$是后验概率,是事件B发生以后发生事件A的概率,也是条件概率

阅读全文 »

GAN(Generative Adversary Networks)的思想是是一种二人零和博弈思想(two-player game),博弈双方的利益之和是一个常数,比如两个人掰手腕,假设总的空间是一定的,你的力气大一点,那你就得到的空间多一点,相应的我的空间就少一点,相反我力气大我就得到的多一点,但有一点是确定的就是,我两的总空间是一定的,这就是二人博弈,但是总利益是一定的。

引申到GAN里面就是可以看成,GAN中有两个这样的博弈者,一个人名字是生成模型(G),另一个人名字是判别模型(D)。他们各自有各自的功能。

阅读全文 »

Transformer是在2017年的Google发布的论文《Attention is all you need》中提出,主要用于解决RNN相关网络无法捕获序列的长期依赖,以及网络无法并行化的问题,其网络结构示意图如下

transformer_model

从示意图中可以看出在Transformer中包含多个组件,分别为Multi-Head Attention, Masked Multi-Head Attention, Add, Norm, Feed Forward, Position Encoding,会在接下来的内容中结合Transformer的前向传播过程依次解释。

阅读全文 »

本来以前深入看过CTC的相关论文,前段时间有人问我相关算法原理,瞬间懵逼,以前看过的东西愣是一点没记起来,这就很尴尬了,本人在ocr任务的文字识别中还用过相关的解码方式,一定要搞明白为什么这种方法是可行的。在这里对CTC进行分析和总结,还是验证是否掌握的最好方法就是看能否做到有效的输出,主要参考论文和相关讲解博客。

先上图

阅读全文 »

在文章机器学习-决策树中详细阐述了目前常用的决策树TD3,C4.5,CART,但是在实际应用中,一般很少使用单个树进行模型设计,因为单个数很难实现一个更全面的模型,由此引入了集成学习,俗话说,三个臭皮匠赛过诸葛亮,集成学习可以看成将多个弱学习器的组合,以期望达到比单个弱学习器更好的监督模型,集成学习的思想是即使某一个弱分类器得到了错误的预测那么其他的弱分类器也可以将错误纠正。

阅读全文 »

本文主要对常用的文本检测模型算法进行总结及分析,有的模型笔者切实run过,有的是通过论文及相关代码的分析,如有错误,请不吝指正。

阅读全文 »

本篇涉及使用深度学习的方法实现字符识别的任务,该任务与计算机视觉领域内的图像描述任务(ImageCaption)相似,对于图像描述任务,输入为图像,输出为对该图像的描述;而对于OCR任务,输入的图像为包含文字或字符的图片,而输出为这张图片中的文字或字符。

阅读全文 »

定义

按照[wiki百科的定义EM算法被用于寻找,依赖于不可观察的隐形变量的模型中参数的最大似然估计。在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计算法,其中概率模型依赖于无法观测的隐性变量。最大期望算法经常用在机器学习计算机视觉数据聚类(Data Clustering)领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。

阅读全文 »