linux中如何使用awk完成更多结构化的复杂任务

共计 3982 个字符，预计需要花费 10 分钟才能阅读完成。

这篇文章将为大家详细讲解有关 linux 中如何使用 awk 完成更多结构化的复杂任务，丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

awk 的程序结构

awk  脚本是由  {}（大括号）包围的功能块组成，其中有两个特殊的功能块，BEGIN  和  END，它们在处理第一行输入流之前和最后一行处理之后执行。在这两者之间，块的格式为：

 模式  {  动作语句  }

当输入缓冲区中的行与模式匹配时，每个块都会执行。如果没有包含模式，则函数块在输入流的每一行都会执行。

另外，以下语法可以用于在  awk  中定义可以从任何块中调用的函数。

function  函数名 (参数列表) {  语句  }

这种模式匹配块和函数的组合允许开发者结构化的  awk  程序，以便重用和提高可读性。

awk 如何处理文本流

awk  每次从输入文件或流中一行一行地读取文本，并使用字段分隔符将其解析成若干字段。在  awk  的术语中，当前的缓冲区是一个记录。有一些特殊的变量会影响  awk  读取和处理文件的方式：

FS（

字段分隔符 field separator

）。默认情况下，这是任何空格字符（空格或制表符）。

RS（

记录分隔符 record separator

）。默认情况下是一个新行（n）。

NF（

字段数 number of fields

）。当  awk  解析一行时，这个变量被设置为被解析出字段数。

$0:  当前记录。

$1、$2、$3  等：当前记录的第一、第二、第三等字段。

NR（

记录数 number of records

）。迄今已被  awk  脚本解析的记录数。

影响  awk  行为的变量还有很多，但知道这些已经足够开始了。

单行 awk 脚本

对于一个如此强大的工具来说，有趣的是，awk  的大部分用法都是基本的单行脚本。也许最常见的  awk  程序是打印 CSV 文件、日志文件等输入行中的选定字段。例如，下面的单行脚本从  /etc/passwd  中打印出一个用户名列表：

awk -F :   {print $1 }  /etc/passwd

如上所述，$1  是当前记录中的第一个字段。-F  选项将  FS  变量设置为字符  :。

字段分隔符也可以在  BEGIN  函数块中设置：

awk  BEGIN { FS= :  } {print $1 }  /etc/passwd

在下面的例子中，每一个 shell 不是  /sbin/nologin  的用户都可以通过在该块前面加上匹配模式来打印出来：

awk  BEGIN { FS= :  } ! /\/sbin\/nologin/ {print $1 }  /etc/passwd

awk 进阶：邮件合并

现在你已经掌握了一些基础知识，尝试用一个更具有结构化的例子来深入了解  awk：创建邮件合并。

邮件合并使用两个文件，其中一个文件（在本例中称为  email_template.txt）包含了你要发送的电子邮件的模板：

From: Program committee  pc@event.org To: {firstname} {lastname}  {email} Subject: Your presentation proposal Dear {firstname}, Thank you for your presentation proposal: {title} We are pleased to inform you that your proposal has been successful! Wewill contact you shortly with further information about the eventschedule. Thank you,The Program Committee

而另一个则是一个 CSV 文件（名为  proposals.csv），里面有你要发送邮件的人：

firstname,lastname,email,titleHarry,Potter,hpotter@hogwarts.edu, Defeating your nemesis in 3 easy steps Jack,Reacher,reacher@covert.mil, Hand-to-hand combat for beginners Mickey,Mouse,mmouse@disney.com, Surviving public speaking with a squeaky voice Santa,Claus,sclaus@northpole.org, Efficient list-making

你要读取 CSV 文件，替换第一个文件中的相关字段（跳过第一行），然后把结果写到一个叫  acceptanceN.txt  的文件中，每解析一行就递增文件名中的  N。

把  awk  程序写在一个叫  mail_merge.awk  的文件中。在  awk  脚本中的语句用  ;  分隔。第一个任务是设置字段分隔符变量和其他几个脚本需要的变量。你还需要读取并丢弃 CSV 中的第一行，否则会创建一个以  Dear firstname  开头的文件。要做到这一点，请使用特殊函数  getline，并在读取后将记录计数器重置为 0。

BEGIN { FS= ,  template= email_template.txt  output= acceptance  getline; NR=0;}

主要功能非常简单：每处理一行，就为各种字段设置一个变量 mdash; mdash; firstname、lastname、email  和  title。模板文件被逐行读取，并使用函数  sub  将任何出现的特殊字符序列替换为相关变量的值。然后将该行以及所做的任何替换输出到输出文件中。

由于每行都要处理模板文件和不同的输出文件，所以在处理下一条记录之前，需要清理和关闭这些文件的文件句柄。

{ #  从输入文件中读取关联字段  firstname=$1; lastname=$2; email=$3; title=$4; #  设置输出文件名  outfile=(output NR  .txt  #  从模板中读取一行，替换特定字段， #  并打印结果到输出文件。 while ( (getline ln   template)   0 ) { sub(/{firstname}/,firstname,ln); sub(/{lastname}/,lastname,ln); sub(/{email}/,email,ln); sub(/{title}/,title,ln); print(ln)   outfile; } #  关闭模板和输出文件，继续下一条记录  close(outfile); close(template);}

你已经完成了! 在命令行上运行该脚本：

awk -f mail_merge.awk proposals.csv

或

awk -f mail_merge.awk   proposals.csv

你会在当前目录下发现生成的文本文件。

awk 进阶：字频计数

awk  中最强大的功能之一是关联数组，在大多数编程语言中，数组条目通常由数字索引，但在  awk  中，数组由一个键字符串进行引用。你可以从上一节的文件  proposals.txt  中存储一个条目。例如，在一个单一的关联数组中，像这样：

 proposer[firstname]=$1; proposer[lastname]=$2; proposer[email]=$3; proposer[title]=$4;

这使得文本处理变得非常容易。一个使用了这个概念的简单的程序就是词频计数器。你可以解析一个文件，在每一行中分解出单词（忽略标点符号），对行中的每个单词进行递增计数器，然后输出文本中出现的前 20 个单词。

首先，在一个名为  wordcount.awk  的文件中，将字段分隔符设置为包含空格和标点符号的正则表达式：

BEGIN { # ignore 1 or more consecutive occurrences of the characters # in the character group below FS= [ .,:;() {}@!\ \t]+ }

接下来，主循环函数将遍历每个字段，忽略任何空字段（如果行末有标点符号，则会出现这种情况），并递增行中单词数：

{ for (i = 1; i  = NF; i++) { if ($i != ) { words[$i]++; } }}

最后，处理完文本后，使用  END  函数打印数组的内容，然后利用  awk  的能力，将输出的内容用管道输入 shell 命令，进行数字排序，并打印出 20 个最常出现的单词。

END { sort_head =  sort -k2 -nr | head -n 20  for (word in words) { printf  %s\t%d\n , word, words[word] | sort_head; } close (sort_head);}

在这篇文章的早期草稿上运行这个脚本，会产生这样的输出：

[dneary@dhcp-49-32.bos.redhat.com]$ awk -f wordcount.awk   awk_article.txtthe 79awk 41a 39and 33of 32in 27to 26is 25line 23for 23will 22file 21we 16We 15with 12which 12by 12this 11output 11function 11

关于“linux 中如何使用 awk 完成更多结构化的复杂任务”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。