📑 Table of Contents

S型函数(英語:sigmoid function,或稱乙狀函數)是一種函数,因其函數圖像形状像字母S得名。其形狀曲線至少有2個焦點,也叫“二焦點曲線函數”。S型函数是有界可微的实函数,在实数范围内均有取值,且导数恒为非负[1],有且只有一个拐点。S型函数和S型曲线指的是同一事物。

S型函數的曲線圖形
S型函數在複數域的分布圖形

逻辑斯谛函数是一种常见的S型函数,其公式如下:[1]

其级数展开为:

其他S型函數案例見下。在一些學科領域,特別是人工神经网络中,S型函數通常特指邏輯斯諦函數。

常見的S型函數

编辑
 
一些S型函數的比較,圖中的函數皆以原點斜率為1的方式歸一化。
 
 
 
 
 
 
 
 

所有連續非負的凸形函數的積分都是S型函數,因此許多常見概率分布累积分布函数會是S型函數。一個常見的例子是误差函数,它是正态分布的累积分布函数。

参考文献

编辑
  1. ^ 1.0 1.1 Han, Jun; Morag, Claudio. The influence of the sigmoid function parameters on the speed of backpropagation learning. Mira, José; Sandoval, Francisco (编). From Natural to Artificial Neural Computation. Lecture Notes in Computer Science 930. 1995: 195–201. ISBN 978-3-540-59497-0. doi:10.1007/3-540-59497-3_175. 
  • Mitchell, Tom M. Machine Learning. WCB–McGraw–Hill. 1997. ISBN 0-07-042807-7. . In particular see "Chapter 4: Artificial Neural Networks" (in particular pp. 96–97) where Mitchell uses the word "logistic function" and the "sigmoid function" synonymously – this function he also calls the "squashing function" – and the sigmoid (aka logistic) function is used to compress the outputs of the "neurons" in multi-layer neural nets.
  • Humphrys, Mark. Continuous output, the sigmoid function. [2015-02-01]. (原始内容存档于2015-02-02).  Properties of the sigmoid, including how it can shift along axes and how its domain may be transformed.

参见

编辑

📚 Artikel Terkait di Wikipedia

Softmax函数

在数学,尤其是概率论和相关领域中,Softmax函数,或称归一化指数函数,是逻辑斯谛函数的一种推广。它能将一个含任意实数的K维向量  z {\displaystyle \mathbf {z} }  “压缩”到另一个K维实向量  σ ( z ) {\displaystyle \sigma (\mathbf

Transformer架构

Attention ( Q , K , V ) = softmax ( Q K T d k ) V {\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm

卷积神经网络

softmax分类器。微调一般用来调整softmax分类器的分类数。例如原网络可以分类出2种图像,需要增加1个新的分类从而使网络可以分类出3种图像。微调(fine-tuning)可以留用之前训练的大多数参数,从而达到快速训练收敛的效果。例如保留各个卷积层,只重构卷积层后的全连接层与softmax层即可。

激活函数

^ ^ 此處 σ {\displaystyle \sigma } 是邏輯函數。 说明 ^ 此處δ是克羅內克δ函數。 邏輯函數 線性整流函數 Softmax函數 人工神經網路 深度學習 Bergstra, James; Desjardins, Guillaume; Lamblin, Pascal;

逻辑斯谛函数

邏輯斯諦函數(英語:logistic function)是一种常见的S型函数,其函數圖像稱為逻辑斯谛曲线(英語:logistic curve)。简单的逻辑斯谛函数可用下式表示: f ( x ) = L 1 + e − k ( x − x 0 ) {\displaystyle f(x)={\frac

深度学习

督学习、增强学习)以及激活函数相关。例如,为了在一个多分类问题上进行监督学习,通常的选择是使用ReLU作为激活函数,而使用交叉熵作为代价函数。Softmax函数定义为 p j = exp ⁡ ( x j ) ∑ k exp ⁡ ( x k ) {\displaystyle p_{j}={\frac

LogSumExp

(\mathbf {x} )}={\frac {\exp x_{i}}{\sum _{j}\exp {x_{j}}}},} 表明LogSumExp的梯度是softmax函数。 LogSumExp的凸共轭是负熵。 当通常的算术计算在对数尺度上进行时,经常会遇到LSE函数,例如对数概率。