人工神经网络

概览

人工神经网络通过连接的处理单元来绘制输出输入图. 每个单位采用可调整加权法结合值,实行非线性转换并传递结果向前. 深层网络堆叠了许多这样的变换.

技术基础

神经网络是affine转化和非线性活化功能的参数构成. 交接强制翻译相关权重共享,经常性连接代表相继状态;注意计算出信使或空间位置之间依赖数据的加权相互作用. 培训将经验风险降到最低,往往通过规范化加以加强。 优化器如有花纹梯度下降或亚当将上百万个参数更新到数十亿,而正态化、剩余连接和仔细地初始性则通过深层计算图改善信号传播。

如何运作

在训练期间,损失函数测量预测出错. 后向分配高效计算损失如何随每个参数而变化,一个可选性更新了这些变量. 重复的例子允许内部层形成对分类,生成、控制或估计有用的表示.

衡量和研究方法

严格评价将培训、验证和停放测试数据分开,防止相关样品的渗漏。 分类研究只报告精确概率、准确召回行为和分组性能,而不单是精度。 遗传模型需要针对具体任务的事实、多样性和安全评估。 校正研究测试哪些成分因果有用,而不确定性可以用综艺、贝叶斯近似或相容预测来探索。 复制取决于记录预处理,随机种子等情况、超参数搜索以及计算预算和停止标准;否则基准污染可产生欺骗性强的结果。

二. 主要想法

• 架构决定了信息如何流动,以及哪些模式易于被表述.
• 培训业绩和现实世界的普及是不同的目标。
• 数据质量、评价设计和部署背景与模型大小同样重要。

目前的研究领域

研究正在转向采用更有效率的建筑、多式联运系统和模式,这些系统和模型将象征性的限制或科学前科结合起来。 扩展法描述了平均业绩趋势,但并不保证某一分配的可靠性。 机械解释性研究了内回路,表达几何和活化的因果效应;而强力的研究则对对抗扰动与分布相变进行研究. 部署增加了监测、出入控制,隐私和人员监督要求。 公开的问题包括:忠实的推理核查、持续学习而不造成灾难性遗忘,节能培训以及区分真正的概括和复杂的插入而不是记忆中的数据。

为什么它很重要

神经网络在视觉,语音相通性能上的进步以及语言的开发工作. Scientific mybracking and sismissions reporters (英语)中获得了动力进步(如:Speech Conference of the Eventure Presidency)("大脑网之声与能量交流能力研究计划书·电子系统学论集成式实验系列丛刊一等资料 他们从复杂数据中学习特征的能力减少了手设计出每一个中间规则的需要.

限制和未决问题

网络可以继承偏见,在培训分发之外失败并产生自信错误. 解释性、能源使用率,稳健度以及隐私和可靠的不确定性估计仍然是重要的技术和社会挑战。