https://www.jianshu.com/p/bee599fabe85 1. substr(s,p) 返回字符串s中从p开始到最后部分 每一行从第101个字符开始截取到末尾awk '{print substr($0, 101)}' input.file 2. substr(s,p,n) 返回字
awk 赋值给 shell 变量的方法 result='week(now(),-1) 49';var=`echo $result|awk '{print substr($result,16,3)}'`;echo $var;SYSFILE_NAME=`echo "$CONTROL_FILE" | aw
目录 正则表达式概念正则表达式的作用元字符grep命令在文本中查找指定的字符串sort命令排序uniq命令快捷去重tr命令替换、压缩和删除cut命令快速裁剪命令expr substr 截取方法cut截取方法 split命令文件拆分paste命令文件合并eval变量扫描器位置锚定分组或其他扩展正则表达
前置知识 Activation 激活指的是一些在fp时计算得到的临时tensor, 会用于bp时的计算. 如果能在fp计算后把临时tensor缓存下来就可以加速bp, 缺点在于激活会占用大量显存. 以一层transformer结构为例分析下各层存在的激活. 简单部分的分析这里忽略. 主要分析下几个不
算法优化 并行注意力机制 \[串行版本: y = x + MLP(LayerNorm(x + Attention(LayerNorm(x)))) \]\[并行版本: y = x + MLP(LayerNorm(x)) + Attention(LayerNorm(x)))) \]乍一看确实不是等价的,
前置知识 混合精度训练 在参数存储时采取fp32, 开始进行fp/bp时转成fp16运算, 拿到fp16梯度后再转回fp32更新参数. ZeRO对显存占用的估算: 模型状态: Weights(fp16)、grad(fp16) 和 MasterWeights(fp32 模型参数备份)，momentum
并行训练-流水线 简述 并行训练主要有三种策略: 数据并行训练加速比最高，但要求每个设备上都备份一份模型，显存占用比较高，但缺点是通信量大。 张量并行，通信量比较高，适合在机器内做模型并行。 流水线并行，训练设备容易出现空闲状态，加速效率没有DP高；但能减少通信边界支持更多的层数，适合在机器间使用。
在CUDA程序中, 访存优化个人认为是最重要的优化项. 往往kernel会卡在数据传输而不是计算上, 为了最大限度利用GPU的计算能力, 我们需要根据GPU硬件架构对kernel访存进行合理的编写.
参考资料：RabbitMQ tutorial - Publish/Subscribe — RabbitMQ 前言 在 RabbitMQ学习笔记03：Work Queues 中，每个进入队列中的消息只会被投递给一个消费者进程。而在这篇文章中，我们将会把一条消息同时投递给多个消费者进程。这种模式也叫做p
三个脚本 Alexander Mikhailian cat .gitmodules |while read i do if [[ $i == \[submodule* ]]; then mpath=$(echo $i | cut -d\" -f2) read i; read i; murl=$(ec
libass是一个适用于ASS和SSA格式（Advanced Substation Alpha/Substation Alpha）的字幕渲染器，支持的字幕类型包括srt、ass等，凡是涉及到给视频画面添加字幕，均需事先集成libass。 《FFmpeg开发实战：从零基础到短视频上线》一书的“7.3
Combine 文中写一些 Swift 方法签名时，会带上 label，如 subscribe(_ subscriber:)，正常作为 Selector 的写法时会忽略掉 label，只写作 subscribe(_:) ，本文特意带上 label 以使含义更清晰。 Combine Framework
定义 发布订阅模式是基于一个事件（主题）通道，希望接收通知的对象Subscriber （订阅者）通过自定义事件订阅主题，被激活事件的对象 Publisher （发布者）通过发布主题事件的方式通知订阅者 Subscriber （订阅者）对象。 简单说就是发布者与订阅者通过事件来通信，这里的发布者是之前
# 一、简介 订阅发布模式（Publish-Subscribe Pattern）是一种行之有效的解耦框架与业务逻辑的方式，也是一种常见的观察者设计模式，它被广泛应用于事件驱动架构中。 在这个模式中，发布者（或者说是主题）并不直接发送消息给订阅者，而是通过调度中心（或者叫消息代理）来传递消息。 发布者
NumPy 中的简单算术运算可以通过 `add`, `subtract`, `multiply`, `divide`, `power`, `mod`, `remainder` 等函数实现，这些函数支持条件运算，并接受 `where` 参数。例如，`add()` 实现加法，`subtract()` 表...
安装pytorch Nano上预装的Jetpack版本为4.6.1，Python为3.6.9，CUDA环境为10.2。在PyTorch for Jetson中可以下载不同版本的torch，torch<=1.10.0。 1 安装torch1.8.0 # substitute the link URL
https://www.cnblogs.com/alongdidi/p/bash_array.html 数组简介 在bash脚本编程当中，变量是存储单个元素的内存空间；而数组是存储多个元素的一段连续的内存空间。 数组由数组名和下标构成，如下。 ARRAY_NAME[SUBSCRIPT] 数组按照下标
SpringBoot WebSocket STOMP 关键词：Springboot, WebSocket, STOMP, broadcast, sendToUser, MessageMapping, SubscribeMapping, convertAndSendToUser STOMP是一种发布订
摘要：节点（Node）是通过 ROS 图进行通信的可执行进程。 本文分享自华为云社区《编写一个简单的发布者和订阅者》，作者： MAVER1CK 。 @[toc] 参考官方文档：Writing a simple publisher and subscriber (C++) 背景 节点（Node）是通过
问题描述 如何使用azure CLI命令获取到中国区的Access Token呢？ 问题解答 首先，需要通过 az cloud set --name AzureChinaCloud 来设置登录中国区的环境 然后，通过 az login 登录成功 最后，就可以设定特定的订阅号(subscription
