1.awk概述

定义：AWK 是一种解释型语言，它逐行读取文本输入，根据指定的模式对每一行进行匹配，并执行相应的动作。AWK 程序通常由一系列模式 – 动作对组成。

工作流程：AWK 从输入文件（或标准输入）中读取一行数据，然后将该行数据与程序中定义的各个模式进行匹配。如果某一行匹配某个模式，就执行与该模式关联的动作。动作可以是打印该行的特定字段、进行计算、生成新的输出等。处理完一行后，AWK 读取下一行，重复这个过程，直到输入结束

2.awk 文本处理工具

-F: 指定字段分隔符
-v：进入变量模式 可以进行变量的赋值及调用（调用不需要加$符）
NR：指定获取多少行
$数字：某一列
$NF：最后一列
$(NF - 1) 则表示当前行倒数第二个字段
$1~$n：第几列
$0：表示整个输入行。
-d[file]：启用调试模式。如果指定了file，则将调试信息输出到该文件中；否则输出到标准错误输出。这有助于了解 AWK 脚本的执行过程
-f 选项是 awk 命令中用于指定脚本文件的参数
$n：表示第n个字段。
--posix：使 AWK 遵循 POSIX 标准，确保 AWK 的行为在不同系统上具有一致性，尤其是在处理一些边界情况和特殊功能时
--lint：启用 lint 模式，检查 AWK 脚本中的潜在问题和不规范用法。它会在脚本执行前输出一些警告信息，提示可能存在的问题
&& 并且 同时成立
|| 或者
print 是 awk 中用于输出数据的基本命令
$：用于引用字段。例如，$1 表示第一字段，$2 表示第二字段，$0 表示整个当前记录行。
FS：内置变量，用于设置字段分隔符，默认是空格或制表符。可以通过 -F 选项在命令行设置，也可以在脚本中修改。例如，awk -F, '{print $1}' file.csv 使用逗号作为字段分隔符来打印 file.csv 的第一字段。
RS：内置变量，用于设置记录分隔符，默认是换行符。例如，awk -v RS=, '{print NR,$0}' 把逗号设置为记录分隔符
%s：字符串格式。
%d：十进制整数格式。
%f：浮点数格式
;：语句分隔符，用于在同一行上书写多个语句
[ :]+ 是一个正则表达式，表示匹配一个或多个空格或者冒号。这意味着 awk 将根据一个或多个空格或者冒号来分割输入行的字段
{}：动作块，包含当条件满足时要执行的一系列命令
~ 和 !~：~ 表示匹配正则表达式，!~ 表示不匹配正则表达式。例如，awk '$1 ~ /^[0-9]+$/' file.txt 会打印 file.txt 中第一字段全是数字的行
OFS：指定输出字段分隔符，默认为空格。
^：在正则表达式中，^ 表示行的开头
$：在正则表达式中，$ 表示行的结尾

显示带root的行

awk '/root/' /etc/passwd

显示第10行到第14行的第3列

awk -F: '{if(NR>=10 && NR<=14) print $3 }' /etc/passwd

第一列和第三列

[root@shell ~]$ awk -F: '{print $1,$3}' /etc/passwd

显示第1列和第3列和最后一列使用分隔符

[root@shell ~]$ awk -F: -vOFS=# '{print $1,$3,$NF}' /etc/passwd
awk -F: -vOFS='#####' '{print $1,$3,$NF}'

显示行数

awk 'END { print NR;}' /etc/passwd

查找nginx的进程id

ps aux|grep nginx|grep -v grep|awk '{print $2}'

使用”：”分割，显示文件第1列

awk -F ':' '{print $1}' /etc/passwd

使用”：”分割，显示文件第1，2，3列

awk -F ':' '{print $1, $2, $3}' /etc/passwd

使用-v设置变量，1+a：在第1列后面添加a列

awk -F ':' -va='666' '{print $1, $1+a}' /etc/passwd

使用-v设置变量，1b：在第1列后面拼接b值作为新的1列

awk -F ':' -va='666' -vb='abc' '{print $1, $1+a, $1b}' /etc/passwd

统计日志出现ip次数

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head

统计日志出现状态码次数

awk '{print $9}' access.log | sort | uniq -c | sort -nr | head

取出top 命令中运行时间

[root@shell ~]$ top -n1 |awk -F'[ ,]+' 'NR==1{print $5}'

统计access.log中 状态码是200的次数,及状态码为200的流量总和

[root@shell ~]$ awk '$9==200{i++ ; sum=sum+$10}END{print "200次数:"i,"200流量总和:"sum}' access.log 
200次数:199 200流量总和:120564

取出网卡配置文件中的ip部分

[root@shell ~]$ awk '/IPADDR/{print }' /etc/sysconfig/network-scripts/ifcfg-eth0

调试参数

awk -d debug.log -f myscript.awk input.txt #调试信息将被记录到debug.log文件中

awk --lint -f myscript.awk

awk --posix '{print $0}' input.txt

[root@shell ~]$ awk '
$9~/^2/{ i2++; sum2+=$10 }
$9~/^3/{ i3++; sum3+=$10 }
$9~/^4/{ i4++; sum4+=$10 }
$9~/^5/{ i5++; sum5+=$10 }
END{
print "2xx:",i2,sum2;
print "3xx:",i3,sum3;
print "4xx:",i4,sum4;
print "5xx:",i5,sum5;
}' access.log|column -t

2xx: 199 120564
3xx: 84 0
4xx: 646 315252
5xx:

第1行和所有从第3行开始到第5行之间（包括第3和第5行），并且第二列不是 “d” 的所有行

[root@shell ~]$ awk ‘NR==1 || (NR>=3 && NR<=5 && $2 != “d”)’ awk.txt
1 a
4 f
5 s

多种使用

[root@shell ~]$ awk ‘NR==1 { print “First line: ” $0 }NR>=3 && NR<=5 && $2 != “d” { print “Line between 3 and 5, second column not 10: ” $0 }’ awk.txt

First line: 1 a
Line between 3 and 5, second column not 10: 4 f
Line between 3 and 5, second column not 10: 5 s

1.NR==1 { print “First line: ” $0 }

模式：NR==1 表示当前行是文件的第一行（记录号 NR 等于1）。
动作：{ print “First line: ” $0 } 当条件为真时，打印整行内容，并在其前面加上 “First line: ” 字符串。
作用：如果当前处理的是文件的第一行，则输出该行的内容，并标注为第一行。

2.NR>=3 && NR<=5 && $2 != “d” { print “Line between 3 and 5, second column not d: ” $0 }
模式：NR>=3 && NR<=5 && $2 != “d” 表示当前行号在3到5之间（包括3和5），并且第二列的值不等于字符串 “d”。
动作：{ print “Line between 3 and 5, second column not d: ” $0 } 当所有条件都满足时，打印整行内容，并在其前面加上 “Line between 3 and 5, second column not d: ” 字符串。
作用：如果当前行在第3到第5行之间，且第二列不是 “d”，则输出该行的内容，并添加描述性前缀。

3.BEGIN

BEGIN 是 awk 中的一个特殊模式，它在处理任何输入之前执行。这意味着，在读取和处理文件内容之前，BEGIN 块中的代码会首先被执行。这个特性使得 BEGIN 非常适合用于初始化变量、设置环境（如字段分隔符）、打印标题或其他预处理任务

BEGIN 的基本概述

定义：BEGIN 是一个关键字，用来标识一个特殊的代码块，该代码块在 awk 开始处理输入数据之前运行。

语法：BEGIN { … }

作用：通常用于初始化操作或设置全局参数，确保这些设置在处理实际数据之前已经完成

设置输入/输出格式

BEGIN {
    FS = ","          # 设置输入字段分隔符为逗号
    OFS = "\t"        # 设置输出字段分隔符为制表符
    ORS = "\n\n"      # 设置输出记录分隔符为双换行
}

使用

[root@shell ~]$ cat cj.txt
Alice,23,85
Bob,22,92
Charlie,24,78
David,21,88

[root@shell ~]$ awk ‘
> BEGIN {
> FS = “,” # 设置输入字段分隔符为逗号
> OFS = “\t” # 设置输出字段分隔符为制表符
> print “Name”, “Age”, “Score” # 打印标题
> }
>
> {
> sum += $3 # 累加分数
> count++ # 计数学生数量
> print $1, $2, $3 # 打印每一行的学生信息
> }
>
> END {
> avg = sum / count # 计算平均分
> print “Average Score:”, avg # 打印平均分
> }’ cj.txt

Name Age Score
Alice 23 85
Bob 22 92
Charlie 24 78
David 21 88
Average Score: 85.75

脚本

[root@shell ~]$ cat awk.sh
awk ‘
BEGIN {
FS = “,” # 设置输入字段分隔符为逗号
OFS = “\t” # 设置输出字段分隔符为制表符
print “Name”, “Age”, “Score” # 打印标题
}

{
sum += $3 # 累加分数
count++ # 计数学生数量
print $1, $2, $3 # 打印每一行的学生信息
}

END {
avg = sum / count # 计算平均分
print “Average Score:”, avg # 打印平均分
}’ cj.txt

[root@shell ~]$ sh awk.sh
Name Age Score
Alice 23 85
Bob 22 92
Charlie 24 78
David 21 88
Average Score: 85.75

注意事项

BEGIN 块仅在 awk 开始处理输入之前执行一次。

如果没有其他模式或动作块，只有 BEGIN 和 END 块存在时，awk 不会读取任何输入文件。

BEGIN 可以与其他模式/动作对结合使用，但它的代码总是最先执行

4.END

END 是 awk 中的一个特殊模式，它在所有输入数据处理完毕后执行。这意味着，在 awk 读取并处理完所有的输入行之后，END 块中的代码会被执行。这使得 END 非常适合用于总结性操作、输出统计信息或清理资源。

END 的基本概述

定义：END 是一个关键字，用来标识一个特殊的代码块，该代码块在 awk 完成所有输入数据的处理后运行。

语法：END { … }

作用：通常用于在处理完所有数据后进行总结、输出统计结果、关闭文件或其他清理工作

[root@shell ~]$ cat cj1.sh
awk ‘
BEGIN {
FS = “,” # 设置输入字段分隔符为逗号
OFS = “\t” # 设置输出字段分隔符为制表符
print “Name”, “Age”, “Score” # 打印标题
}

{
sum += $3 # 累加分数
count++ # 计数学生数量
print $1, $2, $3 # 打印每一行的学生信息
}

END {
if (count > 0) {
avg = sum / count # 计算平均分
print “Average Score:”, avg # 打印平均分
}
}’ cj.txt

[root@shell ~]$ sh cj1.sh
Name Age Score
Alice 23 85
Bob 22 92
Charlie 24 78
David 21 88
Average Score: 85.75

注意事项

END 块仅在 awk 处理完所有输入后执行一次。

如果没有其他模式或动作块，只有 BEGIN 和 END 块存在时，awk 不会读取任何输入文件。

END 可以与其他模式/动作对结合使用，但它的代码总是最后执行。

5.awk数组

awk 中的数组是关联数组（也称为哈希表或字典），这意味着它们不是通过数字索引访问，而是使用键值对的形式。键可以是任意字符串（除了空字符串），而值可以是任何 awk 的变量类型，包括数字、字符串或其他数组（多维数组）。下面是一些关于如何在 awk 中使用数组的基本信息和例子

定义和初始化数组

在 awk 中定义数组不需要声明；你只需直接开始使用它即可。例如：

array["key"] = "value"

这行代码创建了一个名为 array 的数组，并向其中添加了一个键为 “key”、值为 “value” 的元素

使用数组

访问数组元素

你可以通过键来访问数组中的元素：

print array["key"]

如果该键不存在，则返回空字符串

遍历数组

awk 提供了 for 循环来遍历数组的所有元素。需要注意的是，awk 不保证遍历顺序。

for (key in array) {
    print "Key:", key, "Value:", array[key]
}

删除数组元素

你可以使用 delete 语句来删除数组中的某个元素：

delete array["key"]

这将移除与 “key” 相关联的元素。

检查数组中是否存在某键

要检查一个特定的键是否存在于数组中，可以使用 “key” in array 表达式：

if ("key" in array) {
    print "The key exists."
} else {
    print "The key does not exist."
}

two_dim_array["first", "second"] = "value"

print two_dim_array["first", "second"]

for (key in two_dim_array) {
    split(key, keys, SUBSEP)
    print "Keys:", keys[1], keys[2], "Value:", two_dim_array[key]
}

# 假设 data.txt 文件内容如下：
# China,1400000000
# India,1366000000
# USA,331000000

BEGIN { FS="," }
{
    country_population[$1] += $2
}
END {
    for (country in country_population) {
        print country, country_population[country]
    }
}

awk 'BEGIN { FS="," } { country_population[$1] += $2 } END { for (country in country_population) print country, country_population[country] }' data.txt | sort