前段时间写过一篇介绍神经网络的入门文章：神经网络极简入门。那篇文章介绍了神经网络中的基本概念和原理，并附加了一个示例演示如何实现一个简单的神经网络。 不过，在那篇文章中并没有详细介绍神经网络在训练时，是如何一步步找到每个神经元的最优权重的。本篇介绍神经网络训练时，常用的一种权重更新的方式--梯度下降
神经网络应该由若干神经元组成。 前面的每一个神经元都会给到一个参数，将传递的所有参数看作一个向量 \(\vec x\)，那么此神经元的净输入为： \[z = x \omega + b \]其中 \(\omega\) 称为权重向量。 这里认为 \(x\) 是行向量，而 \(\omega\) 是列向量。
按照固有思维方式，人们总以为人工智能是一个莫测高深的行业，这个行业的人都是高智商人群，无论是写文章还是和人讲话，总是讳莫如深，接着就是蹦出一些“高级”词汇，什么“神经网络”，什么“卷积神经”之类，教人半懂不懂的。尤其ChatGPT的风靡一时，更加“神话”了这个行业，用鲁迅先生形容诸葛武侯的话来讲：“多智而近妖”。 事实上，根据二八定理，和别的行业一样，人工智能行业内真正顶尖的天才也就是20%，他
人工智能神经网络（ Artificial Neural Network，又称为ANN）是一种由人工神经元组成的网络结构，神经网络结构是所有机器学习的基本结构，换句话说，无论是深度学习还是强化学习都是基于神经网络结构进行构建。关于人工神经元，请参见：人工智能机器学习底层原理剖析,人造神经元,您一定能看
大侠幸会，在下全网同名[算法金] 0 基础转 AI 上岸，多个算法赛 Top [日更万日，让更多人享受智能乐趣] 读者问了个关于卷积神经网络核心概念的问题，如下， 【问】神经元、权重、激活函数、参数、图片尺寸，卷积层、卷积核，特征图，平均池化，全家平均池化，全连接层、隐藏层，输出层 【完整问题】神
〇、写在前面 本应用基于开源UI框架PyDracula进行开发，除去最基本的UI框架外，所有功能的前后端实现都由我个人开发完成，但也有部分UI（如开关控件和进度条）是参考其他大佬的分享。 这个应用是我的本科毕业设计，但因为个人能力不足，姑且只能使用Python+PySide6开发。 开发这个应用的启
本文介绍在机器学习、深度学习的神经网络模型中，epoch、batch、batch size、step与iteration等名词的具体含义~
神经网络是深度学习的基础，正是深度学习的兴起，让停滞不前的人工智能再一次的取得飞速的发展。 其实神经网络的理论由来已久，灵感来自仿生智能计算，只是以前限于硬件的计算能力，没有突出的表现，直至谷歌的AlphaGO的出现，才让大家再次看到神经网络相较于传统机器学习的优异表现。 本文主要介绍神经网络中的重
图神经网络综述：模型与应用 引言 图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法
AlexNet 一些前置知识 top-1 和top-5错误率 top-1错误率指的是在最后的n哥预测结果中，只有预测概率最大对应的类别是正确答案才算预测正确。 top-5错误率指的是在最后的n个预测结果中，只要预测概率最大的前五个中含有正确答案就算预测正确。 max-pooling层 最大池化又叫做
本文介绍MATLAB软件中神经网络拟合（Neural Net Fitting）工具箱的具体使用方法。 在MATLAB人工神经网络ANN代码这篇文章中，我们介绍了MATLAB软件中神经网络（ANN）的纯代码实现；而在MATLAB软件中，其实基于神经网络拟合工具箱，就可以点点鼠标实现神经网络的回归。本文
简介 在过去的几十年里，许多机器学习（ML）方法被引入来分析呼吸周期的声音，包括爆裂声、咳嗽声和喘息声[1-6]。然而，几乎所有传统的ML模型都完全依赖于手工制作的功能。此外，需要高度复杂的预处理步骤来利用设计的特征[4-6]。因此，仅仅基于ML的模型可能对肺部声音中的外部/内部噪声不具有鲁棒性，并
具体的软硬件实现点击 http://mcu-ai.com/ MCU-AI技术网页_MCU-AI 前言 虽然血压（BP）的测量现在广泛地由自动无创血压（NIBP）监测设备进行，因为它们不需要熟练的临床医生，也不存在并发症的风险，但其准确性仍存疑。本研究开发了一种新的基于端到端深度学习的算法，该算法直接
>在本文中，我们深入探讨了循环神经网络（RNN）及其高级变体，包括长短时记忆网络（LSTM）、门控循环单元（GRU）和双向循环神经网络（Bi-RNN）。文章详细介绍了RNN的基本概念、工作原理和应用场景，同时提供了使用PyTorch构建、训练和评估RNN模型的完整代码指南。 > 作者 TechLea
> 本文深入探讨了前馈神经网络（FNN）的核心原理、结构、训练方法和先进变体。通过Python和PyTorch的实战演示，揭示了FNN的多样化应用。 > 作者TechLead，拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，
来自《深度学习入门:基于Python的理论与实现》 张量 Numpy、TensorFlow、Pytorch等框架主要是为了计算张量或是基于张量计算。 标量：0阶张量；12,4,3, 向量：一阶张量；[12,4,3] 矩阵：二阶张量；[ [12,4,3], [11,2,3] ] 多阶张量：多维数组；
VGGNet和GoogLeNet等网络都表明有足够的深度是模型表现良好的前提，但是在网络深度增加到一定程度时，更深的网络意味着更高的训练误差。误差升高的原因是网络越深，梯度弥散[还有梯度爆炸的可能性]的现象就越明显，所以在后向传播的时候，无法有效的把梯度更新到前面的网络层，靠前的网络层参数无法更新，
摘要：神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。 本文分享自华为云社区《卷积神经网络压缩方法总结》，作者：嵌入式视觉 。 我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。神经网络的压缩算法是，旨在将一个
摘要：在深度神经网络训练的过程中，由于网络中参数变化而引起网络中间层数据分布发生变化的这一过程被称为内部协变量偏移（Internal Covariate Shift），而 BN 可以解决这个问题。 本文分享自华为云社区《神经网络基础部件-BN层详解》，作者：嵌入式视觉 。 一，数学基础 1.1，概率
摘要：反向传播指的是计算神经网络参数梯度的方法。 本文分享自华为云社区《反向传播与梯度下降详解》，作者：嵌入式视觉 。 一，前向传播与反向传播 1.1，神经网络训练过程 神经网络训练过程是： 先通过随机参数“猜“一个结果（模型前向传播过程），这里称为预测结果 a； 然后计算 a 与样本标签值 y 的
