前段时间写过一篇介绍神经网络的入门文章：神经网络极简入门。那篇文章介绍了神经网络中的基本概念和原理，并附加了一个示例演示如何实现一个简单的神经网络。 不过，在那篇文章中并没有详细介绍神经网络在训练时，是如何一步步找到每个神经元的最优权重的。本篇介绍神经网络训练时，常用的一种权重更新的方式--梯度下降
〇、写在前面 本应用基于开源UI框架PyDracula进行开发，除去最基本的UI框架外，所有功能的前后端实现都由我个人开发完成，但也有部分UI（如开关控件和进度条）是参考其他大佬的分享。 这个应用是我的本科毕业设计，但因为个人能力不足，姑且只能使用Python+PySide6开发。 开发这个应用的启
神经网络应该由若干神经元组成。 前面的每一个神经元都会给到一个参数，将传递的所有参数看作一个向量 \(\vec x\)，那么此神经元的净输入为： \[z = x \omega + b \]其中 \(\omega\) 称为权重向量。 这里认为 \(x\) 是行向量，而 \(\omega\) 是列向量。
本文介绍在机器学习、深度学习的神经网络模型中，epoch、batch、batch size、step与iteration等名词的具体含义~
神经网络是深度学习的基础，正是深度学习的兴起，让停滞不前的人工智能再一次的取得飞速的发展。 其实神经网络的理论由来已久，灵感来自仿生智能计算，只是以前限于硬件的计算能力，没有突出的表现，直至谷歌的AlphaGO的出现，才让大家再次看到神经网络相较于传统机器学习的优异表现。 本文主要介绍神经网络中的重
图神经网络综述：模型与应用 引言 图是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法
AlexNet 一些前置知识 top-1 和top-5错误率 top-1错误率指的是在最后的n哥预测结果中，只有预测概率最大对应的类别是正确答案才算预测正确。 top-5错误率指的是在最后的n个预测结果中，只要预测概率最大的前五个中含有正确答案就算预测正确。 max-pooling层 最大池化又叫做
本文介绍MATLAB软件中神经网络拟合（Neural Net Fitting）工具箱的具体使用方法。 在MATLAB人工神经网络ANN代码这篇文章中，我们介绍了MATLAB软件中神经网络（ANN）的纯代码实现；而在MATLAB软件中，其实基于神经网络拟合工具箱，就可以点点鼠标实现神经网络的回归。本文
简介 在过去的几十年里，许多机器学习（ML）方法被引入来分析呼吸周期的声音，包括爆裂声、咳嗽声和喘息声[1-6]。然而，几乎所有传统的ML模型都完全依赖于手工制作的功能。此外，需要高度复杂的预处理步骤来利用设计的特征[4-6]。因此，仅仅基于ML的模型可能对肺部声音中的外部/内部噪声不具有鲁棒性，并
具体的软硬件实现点击 http://mcu-ai.com/ MCU-AI技术网页_MCU-AI 前言 虽然血压（BP）的测量现在广泛地由自动无创血压（NIBP）监测设备进行，因为它们不需要熟练的临床医生，也不存在并发症的风险，但其准确性仍存疑。本研究开发了一种新的基于端到端深度学习的算法，该算法直接
>在本文中，我们深入探讨了循环神经网络（RNN）及其高级变体，包括长短时记忆网络（LSTM）、门控循环单元（GRU）和双向循环神经网络（Bi-RNN）。文章详细介绍了RNN的基本概念、工作原理和应用场景，同时提供了使用PyTorch构建、训练和评估RNN模型的完整代码指南。 > 作者 TechLea
> 本文深入探讨了前馈神经网络（FNN）的核心原理、结构、训练方法和先进变体。通过Python和PyTorch的实战演示，揭示了FNN的多样化应用。 > 作者TechLead，拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，
人工智能神经网络（ Artificial Neural Network，又称为ANN）是一种由人工神经元组成的网络结构，神经网络结构是所有机器学习的基本结构，换句话说，无论是深度学习还是强化学习都是基于神经网络结构进行构建。关于人工神经元，请参见：人工智能机器学习底层原理剖析,人造神经元,您一定能看
来自《深度学习入门:基于Python的理论与实现》 张量 Numpy、TensorFlow、Pytorch等框架主要是为了计算张量或是基于张量计算。 标量：0阶张量；12,4,3, 向量：一阶张量；[12,4,3] 矩阵：二阶张量；[ [12,4,3], [11,2,3] ] 多阶张量：多维数组；
VGGNet和GoogLeNet等网络都表明有足够的深度是模型表现良好的前提，但是在网络深度增加到一定程度时，更深的网络意味着更高的训练误差。误差升高的原因是网络越深，梯度弥散[还有梯度爆炸的可能性]的现象就越明显，所以在后向传播的时候，无法有效的把梯度更新到前面的网络层，靠前的网络层参数无法更新，
摘要：神经网络的压缩算法是，旨在将一个庞大而复杂的预训练模型（pre-trained model）转化为一个精简的小模型。 本文分享自华为云社区《卷积神经网络压缩方法总结》，作者：嵌入式视觉 。 我们知道，在一定程度上，网络越深，参数越多，模型越复杂，其最终效果越好。神经网络的压缩算法是，旨在将一个
摘要：在深度神经网络训练的过程中，由于网络中参数变化而引起网络中间层数据分布发生变化的这一过程被称为内部协变量偏移（Internal Covariate Shift），而 BN 可以解决这个问题。 本文分享自华为云社区《神经网络基础部件-BN层详解》，作者：嵌入式视觉 。 一，数学基础 1.1，概率
摘要：反向传播指的是计算神经网络参数梯度的方法。 本文分享自华为云社区《反向传播与梯度下降详解》，作者：嵌入式视觉 。 一，前向传播与反向传播 1.1，神经网络训练过程 神经网络训练过程是： 先通过随机参数“猜“一个结果（模型前向传播过程），这里称为预测结果 a； 然后计算 a 与样本标签值 y 的
摘要：本文深度讲解了卷积计算的原理，并详细介绍了构成所有卷积网络主干的基本元素，包括卷积层本身、填充和步幅的基本细节、用于在相邻区域汇聚信息的汇聚层，最后给出卷积层和汇聚层的代码示例和CNN框架结构图。 本文分享自华为云社区《神经网络基础部件-卷积层详解》，作者： 嵌入式视觉 。 前言 在全连接层构
本文展示了自然语言处理的下一步发展——模块化推理、知识和语言（ the Modular Reasoning, Knowledge and Language，简称为MRKL）系统以及LangChain和Semantic Kernel的实现。 MRKL 系统包括一个或多个语言模型，并通过外部知识源和符号
