对于每个类,朴素 Bayes 算法计算每个特征值出现的条件概率。若某特征是连续的,则估计其条件边缘密度。朴素 Bayes 方法假定在一个类中各个特征是相互独立的。(这是该方法被称为“朴素”的原因。)分类基于这样的原理:其特征值在某一类中具有很高的条件概率的观测有很高的概率属于该类。请参见 Hastie 等人 (2009)。
对于每个类,给每个观测分配一个朴素得分。一个观测的给定类的朴素得分是属于该类的训练观测的比例乘以观测的条件概率之积。观测属于某类的朴素概率是该类的朴素得分除以它在所有类上的朴素得分之和。将观测分配给它具有最高朴素概率的类。