[转帖]awk命令 去掉重复行

awk,命令,去掉,重复 · 浏览次数 : 0

小编点评

```awk ' # 去掉重复行 !a[$0]++ { print $3 } # 打印指定列域信息 $1 == "BatchUpdateException: Duplicate" { print $3 } # 写入文件的内容 !a[$0]++ { print $3 } ' lance.txt > lance3333.txt ``` **步骤:** 1. 获取文件内容并将其存储在 `lance.txt` 文件中。 2. 使用 `awk` 脚本去除重复行并打印指定列域信息。 3. 将非重复行写入 `lance444awk` 文件中。 4. 将 `lance.txt` 中的唯一行写入 `lance3333.txt` 文件中。 5. 使用 `awk` 脚本将所有不同的文件内容写入 `lance.txt` 文件中。 6. 使用 `grep` 查询文件夹下所有包含指定字符串的文件内容并将其写入 `lance.txt` 文件中。 7. 使用 `wc` 命令统计文件中每个文件的行数。 8. 使用 `awk` 脚本将数据文件中的重复行删除。 9. 使用 `awk` 脚本将垃圾数据删除。 10. 使用 `sed` 命令将所有包含 `SUBSCRIBER_ABSENT` 的行删除。 11. 使用 `awk` 脚本将所有包含 `NO_ROUTE_DESTINATION` 的行删除。 12. 使用 `awk` 脚本将所有包含 `SUBSCRIBER_ABSENT` 的行删除。 13. 使用 `awk` 脚本将所有包含 `data` 的行写入 `data.txt` 文件中。 14. 使用 `awk` 脚本将所有包含 `filename` 的行写入 `lance.txt` 文件中。

正文

https://developer.aliyun.com/article/885946?spm=a2c6h.24874632.expert-profile.263.7c46cfe9h5DxWK

 

linux awk命令 去掉重复行

1.打印指定列 域信息

more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}'

2.把文件中的重复行 写入 lance444

awk 'a[$0]++' lance.txt >> lance444.txt

3.把 lance.txt 文件中的不重复行 写入 lance333

awk '!a[$0]++' lance.txt >> lance3333.txt

4.查询文件夹下所有包括指定字符串的文件内容 并把他们写入 lance.txt

grep -r "BatchUpdateException: Duplicate" ./* >>lance.txt

5.查询文件中包括某个字符的所有行

grep -r "BatchUpdateException: Duplicate" /root/tomcat/logs/catalina.out 
cat `ls ./*` >> lance.txt

wc -l filename 就是查看文件里有多少行

6.FS服务器被攻击 数据出现重复时:

6.1.归集数据

cat `ls ./*` >> lance.txt

6.2数据去重

awk '!a[$0]++' lance.txt >> data.txt

6.3.垃圾数据删除 删除包括有 以下关键字的记录行 删除指定条件的行

SUBSCRIBER_ABSENT

NO_ROUTE_DESTINATION



sed -i -e '/NO_ROUTE_DESTINATION/d' data.txt
sed -i -e '/SUBSCRIBER_ABSENT/d' data.txt

与[转帖]awk命令 去掉重复行相似的内容:

[转帖]awk命令 去掉重复行

https://developer.aliyun.com/article/885946?spm=a2c6h.24874632.expert-profile.263.7c46cfe9h5DxWK linux awk命令 去掉重复行 1.打印指定列 域信息 more lance3333.txt | aw

[转帖]这些 Shell 分析服务器日志命令集锦,收藏好

自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏!于是收集,整理一些服务器日志分析命令,大家可以试试! 1、查看有多少个IP访问: awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访

[转帖]awk 文本处理

https://juejin.cn/post/6844903860629143559 awk 文本处理 awk 是一种样式扫描和处理语言,使用 Linux 的 awk 命令可以高效快捷地进行文本处理。awk 扫描文本的每一行并执行指定的命令。 awk 诞生于 1977 年,借鉴了 C 语言等编程语言

[转帖]19.awk报告生成器,文本解释器

在本博客中,AWK是一个系列文章,本人会尽量以通俗易懂的方式递进的总结awk命令的相关知识点。 awk系列博文直达链接:AWK命令总结之从放弃到入门 我们先来用专业的术语描述一下awk是什么,如果你看不懂,没关系,我们会再用”大白话”解释一遍。 awk是一个报告生成器,它拥有强大的文本格式化的能力,

[转帖]Linux系统awk命令详解

AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 实际上 AWK 的确拥有自己的语言: AWK程序设计语言,三位

[转帖]Linux中awk命令正确的求最大值、最小值、平均值、总和

`https://blog.csdn.net/fireblue1990/article/details/51622416` test.txt文件内容: 9 11 35 21 42 118 求最大值: awk 'BEGIN {max = 0} {if ($1+0 > max+0) max=$1} EN

[转帖]shell脚本之awk命令——按列求平均值、最大值、最小值

文章目录 写在前面awk求平均值awk求最大值awk求最小值awk求极值、均值的实际应用 写在前面 awk命令求极值和均值需要熟悉该命令的基本用法,如果你不熟悉该命令,请先阅读shell脚本之awk命令——分隔符介绍一文。本篇博文带你熟悉求平均值、最大值、最小值的方法,并以实际的应用带你进一步掌握a

[转帖]Linux下AWK、SED、GREP、FIND命令详解

https://www.jianshu.com/p/d54e0359db01 AWK AWK是一个优良的文本处理工具,Linux和Unix环境中现有的功能最强大的数据处理引擎之一。 语法 awk [选项参数] 'script' var=value file(s) 或 awk [选项参数] -f sc

[转帖] Linux命令拾遗-文本处理篇

https://www.cnblogs.com/codelogs/p/16060413.html 简介# 这是Linux命令拾遗系列的第二篇,本篇主要介绍Linux中与文本处理相关的命令,如xargs、grep、sed、awk等。 本系列文章索引Linux命令拾遗-入门篇 常用文本相关命令# cat

[转帖] q命令-用SQL分析文本文件

https://www.cnblogs.com/codelogs/p/16060830.html 原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处。 简介# 在Linux上分析文本文件时,一般会使用到grep、sed、awk、sort、uniq等命令,但这些命令都有一定的