Softmax 回归简介
社会科学家邓肯·卢斯于1959年在*选择模型*(choice model)的理论基础上 发明的了*softmax函数*: softmax函数能够将未规范化的预测变换为非负数并且总和为1,同时让模型保持 可导的性质。 为什么叫Softmax呢?Softmax从字…
阅读全文 →2 篇文章
社会科学家邓肯·卢斯于1959年在*选择模型*(choice model)的理论基础上 发明的了*softmax函数*: softmax函数能够将未规范化的预测变换为非负数并且总和为1,同时让模型保持 可导的性质。 为什么叫Softmax呢?Softmax从字…
阅读全文 →熵 信息论中熵的概念首次被香农提出,目的是寻找一种高效/无损地编码信息的方法:以编码后数据的平均长度来衡量高效性,平均长度越小越高效;同时还需满足“无损”的条件,即编码后不能有原始信息的丢失。这样,香农提出了熵的定义:无损编码事件信息的最小平均编码长度。 假设…
阅读全文 →