sigmoid，sigmoidoscopy！

本文目录一览：

• 1、面试题:简单说下sigmoid激活函数
• 2、softmax与sigmoid函数的理解
• 3、CV面试题|分类任务中sigmoid和softmax的区别
• 4、sigmod和sigmoid的简单介绍

面试题:简单说下sigmoid激活函数

1、sigmoid激活函数是一种将实数映射到（0，1）区间的非线性函数，常用于二分类问题的输出层，其输出可解释为概率值。 以下是详细说明：函数表达式sigmoid函数的数学形式为：其中，$ z $ 是线性组合（如 $ z = b + w_1x_1 + w_2x_2 $），$ e $ 为自然对数的底数。

2、特殊层激活函数：针对特定功能的层（如gate层），可根据需求选择其他激活函数。例如，mmoe网络中的gate层 使用 softmax 生成权重，确保权重归一化且区分度高。激活函数对比 Sigmoid：输出范围（0，1），易导致梯度消失，通常不推荐用于隐层。Tanh：输出范围（-1，1），梯度消失问题较sigmoid轻，但仍存在。

3、Sigmoid函数，又称logistic函数，是深度学习领域早期广泛使用的激活函数之一。尽管如今因其固有缺点而较少作为主要的激活函数使用，但它依然在二分类问题中的概率划分方面发挥着重要作用。

softmax与sigmoid函数的理解

1、sigmoid函数可以看作是softmax函数在二分类问题中的特殊情况。当softmax函数处理二分类问题时，其输出向量只有两个元素，分别表示两个类别的概率值。此时，softmax函数可以简化为sigmoid函数的形式。因此，可以说sigmoid函数是softmax函数在二分类问题中的特例。

2、Sigmoid函数是对一个类别的“建模”，而Softmax函数是对两个类别建模。以上是对Softmax函数与Sigmoid函数的区别与联系的详细阐述。

3、softmax函数是在多分类问题中对分类概率进行归一化的工具，适用于神经网络的最后一层。其通过计算样本属于各个类别的概率分布，使得概率和为1，便于后续处理或进行决策。对比sigmoid函数，softmax处理多分类问题更加高效，且其结果可以直观地理解为一个概率分布，方便进行类别的选择和排序。

4、综上所述，Sigmoid 和 Softmax 是两种在不同应用场景中发挥重要作用的激活函数。Sigmoid 函数主要用于二分类问题，将输入映射到 （0， 1） 之间的概率值；而 Softmax 函数则用于多分类问题，将模型的原始输出转换为每个类别的概率分布。在实际应用中，应根据具体问题的需求选择合适的激活函数。

5、理解Sigmoid函数与Softmax函数的本质区别有助于选择合适的函数来解决特定的分类任务。在二分类任务中，Softmax函数和Sigmoid函数都可以通过相同的数学表达形式来表示，但它们在神经网络中的应用和理解方式有所不同。对于NLP和CV领域，选择合适的函数取决于具体任务和实验结果，而实践中两者之间确实存在差异。

CV面试题|分类任务中sigmoid和softmax的区别

1、sigmoid和softmax在分类任务中的主要区别如下： 适用场景： sigmoid：主要用于二分类任务。当任务是将实例分为两个类别时，sigmoid函数可以将网络最后一层的输出映射到区间内，表示属于某一类别的概率。 softmax：主要用于多分类任务。

2、在二分类任务中，常使用sigmoid。一般来讲，在二分类任务中使用sigmoid和softmax没有明显区别；但需要注意的是：如果使用sigmoid，则网络最后一层只有1个输出；如果使用softmax，网络最后一层要有2个输出。

3、功能：Softmax函数将神经网络的原始输出值转化为概率分布，所有输出值的概率之和为1。应用场景：适用于具有互斥类别的多类分类问题，即每个输入样本只能被分类到一个类别中。输出：Softmax输出的最大值对应的类别即为分类结果。

4、总结而言，sigmoid函数适用于二分类问题，其输出范围为（0，1），表示概率值。而softmax函数在多分类问题中表现更优，将多分类结果以概率的形式展现，便于预测选择概率最大的类别作为最终答案。

5、应用场景不同：sigmoid函数主要用于二分类问题，而softmax函数则用于多分类问题。输出值范围不同：sigmoid函数的输出值在0~1之间，表示一个类别的概率；而softmax函数的输出值是一个概率分布，所有类别的概率之和为1。

sigmod和sigmoid的简单介绍

1、Sigmoid函数，以其生物学术语中的S型生长曲线闻名，读作Sigmoid。在神经网络中，它作为一种常见的激活函数，由于其可导特性，计算导数时需将其考虑在内。其导数公式为f（x）=f（x）*（1-f（x），在高数有空时可以深入学习，若无暇，记住这个公式即可。

2、sigmoid和tanh各有优缺点，sigmoid在早期应用较多，但容易出现梯度消失问题，而tanh则相对稳定，收敛速度较快。 激活函数相关问题总结ReLU在0点不可导，但实际应用中通常使用左导数或右导数，以避免导数不存在的错误。tanh的收敛速度比sigmoid快，因为tanh的梯度消失问题不如sigmoid严重。

3、Sigmoid函数，又称logistic函数，是深度学习领域早期广泛使用的激活函数之一。尽管如今因其固有缺点而较少作为主要的激活函数使用，但它依然在二分类问题中的概率划分方面发挥着重要作用。

4、sigmoid：特点：将输入值映射到区间，输出值直观且易于解释。缺点：梯度在输入值较大或极小时接近0，导致训练困难；输出值非对称，可能影响收敛速度。tanh：特点：输出值在区间，均值为0，一定程度上缓解了sigmoid的梯度消失问题。缺点：仍存在负区间梯度接近0的问题。

5、sigmoid 函数的输入是一个标量，输出也是一个标量，是一个标量到标量的映射。从函数曲线或函数表达式可以看出，sigmoid 函数的定义域为全体实数 ，值域为 （0，1） 区间，由此可以发现，sigmoid 函数能够起到将任意数值放缩到 （0，1） 区间内部。