Softmax 回归简介

社会科学家邓肯·卢斯于1959年在*选择模型*(choice model)的理论基础上 发明的了*softmax函数*: softmax函数能够将未规范化的预测变换为非负数并且总和为1,同时让模型保持 可导的性质。

为什么叫Softmax呢?Softmax从字面上来说,可以分成soft和max两个部分。max故名思议就是最大值的意思。Softmax的核心在于soft,而soft有软的含义,与之相对的是hard硬。很多场景中需要我们找出数组所有元素中值最大的元素。

Softmax函数是一个在数学和计算机科学中常用的函数,特别是在机器学习的分类问题中。它可以把一个含任意实数的K维向量“压缩”到另一个K维实向量中,使得每一个元素的范围都在`$$(0,1)$$`之间,并且所有元素的和为1。这使得Softmax函数的输出可以被解释为概率分布。

交叉熵损失

熵 信息论中熵的概念首次被香农提出,目的是寻找一种高效/无损地编码信息的方法:以编码后数据的平均长度来衡量高效性,平均长度越小越高效;同时还需满足“无损”的条件,即编码后不能有原始信息的丢失。这样,香农提出了熵的定义:无损编码事件信息的最小平均编码长度。 假设一个信息事件有 N 种可能的状态,且各状态等可能性,即每种状态的可能性为 P = \frac{1}{N}。则编码该信息所需的最小编码长度可以 […]

自建博客简明教程

从我第一次创建博客已经三年了,那是在疫情时候对一个晚上,无聊在网上乱转,偶然看见一个讲解使用阿里云创建博客的视频,跟着就创建了我的第一个Wordpress博客。 总的说来博客就是折腾,你要折腾域名,CDN,对象存储,对于Wordpress来说你还要去尝试各种插件,优化加载速度,SEO排名。但没有比拥有自己博客更棒的事情了,在上面你可以任意创作,向别人展示你的发现。我创建这个博客的时候还和几个同学一 […]

wordpress添加显示文章总数短代码

在当前主题的functions.php末尾添加: 即可在主题中使用showp短代码显示当前文章总数,在文章中也可以使用短代码: 注意,每次主题更新后都需要手动添加,如果你想自动添加可以启动子主题。 子主题开启见:https://codex.wordpress.org/zh-cn:%E5%AD%90%E4%B8%BB%E9%A2%98

博客迁移

由于服务器到期,博客已经迁移到我的另一台服务器上了。文章数据都在,但是由于wordpress的限制,在导入数据时无法分配作者,原有的文章设置成了默认作者。如果你想导出数据或者更新作者,请联系我~ 历史访问记录 由于没有迁移全部数据库,历史访问记录清空了。 留作纪念: