0%

深度学习基础之信息熵与感知机

本节主要介绍了信息熵的计算与感知机算法

信息熵

  • 信息熵的计算:

  • 交叉熵:用于表征两个变量概率分布P、Q(假设P表示真实分布、Q为模型预测的分布)的差异性

    • 交叉熵越大,两个变量差异程度越大

    • 交叉熵公式:

  • 相对熵:是交叉熵与信息熵的差值

    • 表示用分布Q模拟真实分布P,所需的额外信息

    • 计算公式:

    • 性质:

      • 相对熵(KL散度)不具有对称性,即:

      • 相对熵具有非负性

  • JS散度:具有对称性,现有两个分布$p1,p2$,其JS散度公式为:


感知机

  • 感知机是两类分类的线性分类模型,假设输入样本的特征向量x,输出实例样本的类别y,有:

    image-20221207141334347

  • 感知机的算法

    image-20221207143108429

  • 例:

    image-20221207143404643

    image-20221207143217695

欢迎来到ssy的世界