机器学习/深度学习测试题（一） —— 单层感知器的激活函数

问，更换单层感知器的激活函数（比如改为 tanh$/tanh$ 函数），能否使模型具有解决非线性分类问题的能力。

tanh(s)=exp(s)−exp(−s)exp(s)+exp(−s) $$/tanh(s)=/frac{/exp(s)-/exp(-s)}{/exp(s)+/exp(-s)}$$

可知，tanh$/tanh$ 过原点，在 s>0$s > 0$ 时，tanh>0$/tanh > 0$，s<0$s < 0$ 时，tanh<0$/tanh < 0$。

单层感知器是否具有解决非线性问题的能力，在于判断：

sgn(tanh(w⋅x))>0⇒tanh(w⋅x)>0⇒w⋅x>0sgn(tanh(w⋅x))>0⇐tanh(w⋅x)>0⇐w⋅x>0 $$/text{sgn}(/tanh(w/cdot x)) > 0 ⇒ /tanh(w/cdot x) > 0 ⇒ w/cdot x > 0///text{sgn}(/tanh(w/cdot x)) > 0 /Leftarrow /tanh(w/cdot x) > 0 /Leftarrow w/cdot x > 0$$

也即 tanh$/tanh$ （非线性函数）激励函数的引入并未在解决非线性问题上带来新的更强的能力。