Facebook在人工智能信息处理方向的新研究

与人类记忆不同，大多数神经网络通常会不加选择地处理信息。在信息规模不大的情形下，这样是可行的，但目前的人工智能需要处理和应对越来越多的信息，这将导致不可持续的高昂的计算成本。

因此，Facebook的研究人员希望通过指定一个截止日期来帮助未来的人工智能更多地关注重要数据。他们开发了深度学习的一种新方法——Expire-Span，为神经网络配备了大规模遗忘能力。这属于业内首创，能帮助神经网络更有效地分类和存储与其所分配任务最相关的信息。

Expire-Span的工作原理是先预测与手头任务最相关的信息，然后根据上下文，Expire-Span为每条信息分配一个截止日期。当日期过了，人工智能系统的信息就会逐渐失效。这样，对其操作至关重要的信息可以保留更长的时间，而无关的信息可以更快地过期，从而释放系统内存空间，以便系统专注于核心任务。每次增加一个新的数据集，系统不仅会评估其相对重要性，还会重新评估现有数据点相对于新数据点的重要性。这也有助于人工智能学习更有效地使用可用内存，从而促进整个系统的可扩展性。

在人工智能中忘记无关信息的主要挑战是它是一个离散操作。就像构成人工智能代码的1和0一样，系统可以忘记或不忘记一条信息——没有中间值。优化这些离散操作非常困难，之前解决这个问题的方法通常是压缩不太有用的数据，以便它在内存中占用更少的空间。虽然这使得模型可以扩展到更广的范围，但压缩会产生模糊的内存版本。

每次出现新信息时，Expires–Span会计算每个隐藏状态的过期值，并确定该信息作为内存保存了多长时间。这种信息的逐渐衰减是保留重要信息而不使其模糊的关键，并且学习机制允许模型根据需要调整跨度大小。因此，Expire-Span是根据从数据中学习到的内容，并受周围记忆的影响来计算并预测。

虽然目前这项技术还处于研究的早期阶段，但为了使人工智能系统更接近人类，专家正在研究如何将不同类型的记忆整合到神经网络中。在未来，研究团队希望人工智能能够更接近人类的记忆，学习能力比目前的系统快得多。

声明：本文版权归原作者所有，转载请注明出处，请勿转载至外网或用于商业用途。