表征学习与神经动力学
传统机器学习往往高度依赖人工设计的特征，构建成本高且泛化能力弱。而The Bitter Lesson告诉我们人工设计的精巧的特定任务结构最后往往不如参数扩展性好、结构简单的通用表征模型效果好。尽管基于反向传播的人工神经网络有这样那样的问题，但它给了我们一种通用的方法去学习数据内在的结构。
这种现象在神经科学中同样存在，即表征主义范式与动力系统范式的演进。过去研究者多持有经典的表征主义观点，认为单个神经元的放电活动是对外部运动参数（如方向、速度）的直接编码。然而后续研究发现，单神经元的放电具有高度的时间复杂性与异质性，很难直接与外部物理参数做干净的一对一映射1。尽管早期研究试图引入群体向量分析（PVA）来整合群体信息，但PVA本质上仍旧依附于表征主义假设——它依赖人工先验（假定神经元存在固定的余弦偏好方向），在真实连续运动的解码中表现往往受限。这推动了研究视角的转变：群体神经活动不单是离散编码特征的加权汇总，其本身就是一个演化的动力系统。
表征学习中的表征与表征主义中的表征含义并不一样。表征主义的表征是指神经元放电编码特定的外部物理世界参数；表征学习的表征是指模型在隐空间中自发构建的低维流形，其特征向量往往没有直接的物理标签对应。
表征学习与人工提取特征的区别是什么
如果说人工提取特征（传统特征工程）是一门手艺活，是工匠，那么表征学习（包括自监督模型）在做的事更像是“架构师”。表征学习并不是很关心模型需要什么具体的特征，这太复杂了。表征学习是让模型从数据中自行发现有用的表征，人工只把握宏观信息的流动、先验假设，关注空间的几何特性。
两者在处理bad case时的方式是不一样的。传统特征工程会查看是否是某个指标发生了问题，此时会选择手动做多项式组合、调整阈值等方法。表征学习会通过对激活值的可视化、降维、线性探测等方法查看网络的宏观结构。解决问题是方法是通过数据干预、损失约束、调整架构等方法使模型沿着想要的方向学习。
神经解码是否真的需要表征学习？
神经动力学理论认为每一时刻的群体神经活动构成一个动力系统，并且神经活动是被约束在一个低维流形上，初始的神经活动决定了动力系统的初始状态。
理论看起来似乎很简洁美妙，在该理论框架下也确实有很多重要的发现，比如神经活动中的旋转模式（jPCA2）。也有很多基于线性模型的对齐与解码算法表现很好，比如CCA3、FA4。但问题是什么？对神经活动的简洁描述只能局限于线性的情景。这在很多情况下可能没问题，动力系统的局部线性化能解决很多问题。可一旦想要处理复杂的情景或者进一步提高解码效果，线性模型就不够了。那么基于神经科学的研究，提取神经活动的一系列特征，然后通过机器学习进行解码呢？但这面临和传统特征工程一样的问题：某些特征到底为什么是有用的？如果模型效果一直都不好应该怎么办？
对于非线性的问题，有研究者希望从RNN对动力系统的通用逼近来对神经活动进行解释。他们将RNN作为一个大脑的虚拟模型（数字孪生）。但问题在于，经典RNN在很多时候拟合效果可能并不好。提升模型效果最直接的方法是scaling law，但RNN由于时间依赖导致的并行效率问题很难持续增加规模。因此需要在工程上考虑更适合并行计算的模型架构，如Transformer、SSM。
这不意味着传统神经科学的研究就没一点帮助了。前面提到表征学习与人工提取特征的区别在于表征学习更关心宏观的结构，这与群体神经活动观点在思想上是一致的：忽略细节，考虑系统。这与神经动力学视角看神经活动是一致的。深度学习与神经科学存在一种对偶关系：神经科学对神经元的操控、消融、群体分析等方法可以用于对深度学习模型的分析中；深度学习模型则可以作为真实大脑的一种镜像，提供灵活的可操作性。
因此表征学习并不意味着对着模型猛猛炼丹就完事了。神经动力学也不意味着对神经系统有个简洁的描述就完事了。
我们无法直接处理神经活动复杂的非线性，表征学习则构建了一个更好操作的模型来理解非线性；我们希望得到更简洁高效的模型结构以更好地scaling，神经流形则能帮助理解模型、找到问题、设计约束。
参考文献
Churchland MM, Shenoy KV. Temporal Complexity and Heterogeneity of Single-Neuron Activity in Premotor and Motor Cortex. J Neurophysiol 97: 4235-4257, 2007. doi: 10.1152/jn.00095.2007.↩︎
Churchland, M., Cunningham, J., Kaufman, M. et al. Neural population dynamics during reaching. Nature 487, 51–56 (2012). https://doi.org/10.1038/nature11129↩︎
Gallego, J.A., Perich, M.G., Chowdhury, R.H. et al. Long-term stability of cortical population dynamics underlying consistent behavior. Nat Neurosci 23, 260–270 (2020). https://doi.org/10.1038/s41593-019-0555-4↩︎
Degenhart, A.D., Bishop, W.E., Oby, E.R. et al. Stabilization of a brain–computer interface via the alignment of low-dimensional spaces of neural activity. Nat Biomed Eng 4, 672–685 (2020). https://doi.org/10.1038/s41551-020-0542-9↩︎