神经元的激活在数学上只不过是其输入的函数。考虑一个具有一个隐藏层和一个输入向量的神经网络$\mathbf{x}$. 输入$a_j$神经元$j$可以写成：

$a_j = w_j^T \mathbf{x} + b_j$.

神经元的激活$j$然后是一个转变$g: \mathbf{R} \rightarrow \mathbf{R}$的输入。例如，可以使用 sigmoid 激活函数

$sig(a_j) = \dfrac{1}{1 + \exp(-a_j)}$

权重$w$选择是为了最小化损失函数，而不是为了解释。然而，人们可以尝试将神经元的激活解释为输入的内部表示。我见过的最好的例子之一来自Rummelhart 等人 (1986)，图 4。在那篇论文中，两个家谱被输入到神经网络中。家谱代表了一个由三代人组成的意大利语和英语家庭。除此之外，当激活树的一个名称时，神经元活动代表这个人是来自英国还是意大利树，以及这个人体现了哪一代。