本页文章导读:

    ▪尚观linux笔记之awk初探      awk 用法：awk ' pattern {action} '    变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符，默认为一个空格 RS 输入记录.........

    ▪尚观linux笔记之awk与sed高级使用      代码如下：   代码示例: #!/bin/bash LOGPATH="/home/andyguo" LOGNAME="h_access.log" #恢复被封闭ip时间单位是秒 TIME=50 #被封ip记录的log位置 FILENAME="/home/andyguo/msgreporter.log" #过滤的内容 GR="GET /resume/sh.........

    ▪尚观linux笔记之awk基础与实例分享      一，编写awk 脚本   代码示例: HELLO，WORLD $echo 'this line of data is ignored' > test $ awk'{ print "Hello, world" }' test Hello,world 1，Awk读入一行，执行一次括号里面的动作   代码示例: $ cattest2 Hello,worl.........

变量名 含义
ARGC 命令行变元个数
ARGV 命令行变元数组
FILENAME 当前输入文件名
FNR 当前文件中的记录号
FS 输入域分隔符，默认为一个空格
RS 输入记录分隔符
NF 当前记录里域个数
NR 到目前为止记录数
OFS 输出域分隔符
ORS 输出记录分隔符

awk '/101/'file 显示文件file中包含101的匹配行。
awk '/101/,/105/' file
awk '$1 == 5' file
awk '$1 == "CT"'  file 注意必须带双引号
awk '$1 * $2 >100 'file 
awk '$2 >5 && $2<=15' file
awk '{print NR,NF,$1,$NF,}' file 显示文件file的当前记录号、域数和每一行的第一个和最后一个域。
awk '/101/ {print $1,$2 + 10}' file 显示文件file的匹配行的第一、二个域加10。
awk '/101/ {print $1$2}'  file
awk '/101/ {print $1 $2}' file 显示文件file的匹配行的第一、二个域，但显示时域中间没有分隔符。
df | awk '$4>1000000 ' 通过管道符获得输入，如：显示第4个域满足条件的行。
awk -F "|" '{print $1}'file 按照新的分隔符“|”进行操作。
awk  'BEGIN { FS="[: \t|]" }
{print $1,$2,$3}' file 通过设置输入分隔符（FS="[: \t|]"）修改输入分隔符。

Sep="|"
awk -F $Sep '{print $1}'  file 按照环境变量Sep的值做为分隔符。
awk -F '[ :\t|]' '{print $1}' file 按照正则表达式的值做为分隔符，这里代表空格、:、TAB、|同时做为分隔符。
awk -F '[][]''{print $1}' file 按照正则表达式的值做为分隔符，这里代表[、]
awk -f awkfile file 通过文件awkfile的内容依次进行控制。
cat awkfile
/101/{print "\047 Hello! \047"} --遇到匹配行以后打印 ' Hello! '.\047代表单引号。
{print $1,$2}--因为没有模式控制，打印每一行的前两个域。
awk '$1 ~ /101/ {print $1}' file 显示文件中第一个域匹配101的行（记录）。
awk'BEGIN { OFS="%"}
{print $1,$2}'file 通过设置输出分隔符（OFS="%"）修改输出格式。
awk'BEGIN { max=100 ;print "max=" max} BEGIN 表示在处理任意行之前进行的操作。
{max=($1 >max ?$1:max); print $1,"Now max is "max}' file 取得文件第一个域的最大值。
 

代码示例:

awk '{print ($1>4 ? "high "$1: "low "$1)}' file 
awk '$1 * $2 >100 {print $1}' file 显示文件中第一个域匹配101的行（记录）。
awk '{$1 == 'Chi' {$3 = 'China'; print}' file 找到匹配行后先将第3个域替换后再显示该行（记录）。
awk '{$7 %= 3; print $7}'  file 将第7域被3除，并将余数赋给第7域再打印。
awk '/tom/ {wage=$2+$3; printf wage}' file 找到匹配行后为变量wage赋值并打印该变量。
awk '/tom/ {count++;} 
END {print "tom was found "count" times"}' file END表示在所有输入行处理完后进行处理。
awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4;
 END {print "The total is $" cost>"filename"}'file gsub函数用空串替换$和,再将结果输出到filename中。

代码示例:

awk '{gsub(/\$/,"");gsub(/,/,"");
if ($4>1000&&$4<2000) c1+=$4;
else if ($4>2000&&$4<3000) c2+=$4;
else if ($4>3000&&$4<4000) c3+=$4;
else c4+=$4; }
END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file

代码示例:

awk '{gsub(/\$/,"");gsub(/,/,"");
if ($4>3000&&$4<4000) exit;
else c4+=$4; }
END {printf  "c1=[%d];c2=[%d];c3=[%d];c4=[%d]\n",c1,c2,c3,c4}"' file

代码示例:

awk '{gsub(/\$/,"");gsub(/,/,"");
if ($4>3000) next;
else c4+=$4; }
END {printf  "c4=[%d]\n",c4}"' file

代码示例:

awk '{ print FILENAME,$0 }' file1 file2 file3>fileall

代码示例:

awk ' $1!=previous { close(previous); previous=$1 }
{print substr($0,index($0," ") +1)>$1}' fileall 把合并后的文件重新分拆为3个文件。并与原文件一致。
awk 'BEGIN {"date"|getline d; print d}' 通过管道把date的执行结果送给getline，并赋给变量d，然后打印。 
awk 'BEGIN {system("echo \"Input your name:\\c\""); getline d;print "\nYour name is",d,"\b!\n"}'

代码示例:

awk 'BEGIN {FS=":"; while(getline< "/etc/passwd" >0) { if($1~"050[0-9]_") print $1}}'

代码示例:

awk '{ i=1;while(i<NF) {print NF,$i;i++}}' file 通过while语句实现循环。
awk '{ for(i=1;i<NF;i++) {print NF,$i}}'file 通过for语句实现循环。
type file|awk -F "/" '
{ for(i=1;i<NF;i++)
{ if(i==NF-1) { printf "%s",$i }
else { printf "%s/",$i } }}' 显示一个文件的全路径。

代码示例:

awk  'BEGIN {
for(j=1;j<=12;j++)
{ flag=0;
  printf "\n%d月份\n",j;
for(i=1;i<=31;i++)
{
if (j==2&&i>28) flag=1;
if ((j==4||j==6||j==9||j==11)&&i>30) flag=1;
if (flag==0) {printf "%02d%02d ",j,i}
}
}
}'

代码示例:

Flag=abcd
awk '{print '$Flag'}'结果为abcd
awk '{print  "$Flag"}'结果为$Flag

代码示例:

#!/bin/bash
LOGPATH="/home/andyguo"
LOGNAME="h_access.log"
#恢复被封闭ip时间单位是秒
TIME=50
#被封ip记录的log位置
FILENAME="/home/andyguo/msgreporter.log"
#过滤的内容
GR="GET /resume/showresumedetail"
#过滤内部特殊ip
gre_ip='27.115.103.179|58.246.147.*'
#---报警阀值设置#---##
typeset -i H #将其设置成数字类型便于比较大小
H=10#`date '+%H'`
echo  "当前时间"$H
#早上8点到下午16点为高峰时段
if([ $H -ge 8 -a $H -le 18 ])
then
   echo "高峰时段"
    N=1 #短信报警阀值
    FN=100 #封ip的阀值
    RN=1 #扫描简历报警阀值
#下午18点到23点为普通访问时段
elif([ $H -gt 18 -a $H -le 23 ])
then
  echo "普通访问时段"
    N=1 #短信报警阀值
    FN=1 #封ip的阀值
    RN=1 #扫描简历报警阀值
#其他时段
else
   echo "低谷时段"
   N=9 #短信报警阀值
   FN=1 #封iP的阀值
   RN=1 #扫描简历报警阀值
fi
echo "报警阀值" $N
echo "封ip阀值" $FN
echo "扫描简历阀值" $RN
#时间段截取
Y=`date '+%Y:'`
STARTTIME=$Y` date -d   ' minutes' |awk '{print $4}'`
ENDTIME=$Y`date -d ' -9 minutes'|awk '{print $4}'`
STARTTIME="2012:16:04:33"
ENDTIME="2012:16:00:33"
echo "开始时间：" $STARTTIME
echo "结束时间："$ENDTIME

cd $LOGPATH

MSG="$LOGNAME: "
BOOL=0 #判断是否发短信

for ((i=1;i<=3;i++)) 
   do
msg=`cat $LOGNAME |awk -F \/ -v date1=$STARTTIME -v date2=$ENDTIME  '{if ($3>=date2 && $3<=date1) print}'|awk '{print $1}'|grep -v -|egrep -v $gre_ip |sort|uniq -c|sort -nr|sed -n ${i}p |awk -v n=$N '{if ($1>n) print "ip="$2"("$1")"}'`
        if [ -n "$msg" ];then
           BOOL=1
        fi
       MSG=$MSG$msg" "   
  done
echo "普通报警: " $MSG
echo "普通报警："$MSG  >>/var/log/$LOGNAME

if [ $BOOL == 1 ];then
  for phone_num in   13810697234
  #for phone_num in 13810697234
  do
   echo "发短信"
    # wget -O /dev/null "http://127.0.0.1/sms/send?view_id=0&client_id=1004&data=[{%22tel%22:%22$phone_num%22,%22context%22:%22$SEND_MSG.[testcom]%22,%22kind%22:%2206%22}]"
   done
fi
#---
SEND_MSG="$LOGNAME "
SEND_BOOL=0
for ((i=1;i<=3;i++))
do
      send_msg=`cat $LOGNAME |grep "$GR"|awk -F \/ -v date1=$STARTTIME -v date2=$ENDTIME  '{if ($3>=date2 && $3<=date1) print}'|awk '{print $1}'|grep -v -|egrep -v $gre_ip|sort|uniq -c|sort -nr|sed -n ${i}p |awk -v n=$RN '{if ($1>n) print "ip="$2"("$1")"}'`
      if [ -n "$send_msg" ];then
          SEND_BOOL=1
       fi
      ip=`echo $send_msg |awk -F "(" '{print $1}'|awk -F "=" '{print $2}'`
      userid_nu=`cat $LOGNAME |awk -F \/ -v date1=$STARTTIME -v date2=$ENDTIME  '{if ($3>=date2 && $3<=date1) print}'|grep "$ip"|grep "$GR"|awk -F '\t' '{print $11}'|grep -v "0"|sort|uniq -c|wc -l`
      SEND_MSG=$SEND_MSG$send_msg"(""$userid_nu"")"
done

echo "抓简历报警: "$SEND_MSG
echo "抓简历报警："$SEND_MSG  >>/var/log/$LOGNAME
if [ $SEND_BOOL == 1 ];then
  for phone_num in   13810697234
  #for phone_num in 13810697234
  do
   echo "发短信"
   #   wget -O /dev/null "http://127.0.0.1/sms/send?view_id=0&client_id=1004&data=[{%22tel%22:%22$phone_num%22,%22context%22:%22$SEND_MSG.[testcom]%22,%22kind%22:%2206%22}]"
   done
fi

#---
#被封闭ip地址和时间记录的文件名称和地址

#现在时间
now=`date "+%Y-%m-%d %H:%M:%S"`
echo  "封ip的时间：" $now
IPTABLES_MSG="$LOGNAME: "" unable visit ip "
IPTABLES_BOOL=0

for((i=1;i<=3;i++))
do
      iptables_msg=`cat $LOGNAME |awk -F \/ -v date1=$STARTTIME -v date2=$ENDTIME  '{if ($3>=date2 && $3<=date1) print}'|awk '{print $1}'|grep -v -|egrep -v $gre_ip|sort|uniq -c|sort -nr|sed -n ${i}p |awk -v n=$FN '{if ($1>n) print $2"("$1")"}'`
     if [ -n "$iptables_msg" ];then
          ip=`echo $iptables_msg|awk -F "(" '{print $1}'`
              IPTABLES_BOOL=1
              echo "封闭ip和时间"${ip}";"${now}
              echo ${ip}";"${now}>> $FILENAME
              echo "封闭IP:"$ip
              `/sbin/iptables -I INPUT -s ${ip} -p tcp --dport 80 -j DROP`
     fi

     IPTABLES_MSG=$IPTABLES_MSG$iptables_msg" "
done
echo $IPTABLES_MSG
echo $IPTABLES_MSG  >>/var/log/$LOGNAME
if [ $IPTABLES_BOOL == 1 ];then
  for phone_num in  13810697234
  #for phone_num in 13810697234
  do
    echo "发短信"
  #   wget -O /dev/null "http://127.0.0.1/sms/send?view_id=0&client_id=1004&data=[{%22tel%22:%22$phone_num%22,%22context%22:%22$SEND_MSG.[testcom]%22,%22kind%22:%2206%22}]"   done
fi

#---
#计算时间差
typeset -i result
#现在时间
now=`date "+%Y-%m-%d %H:%M:%S"`
echo  "解封ip时间：" $now
end=`date +%s -d "$now"
while read LINE
do
startime=`echo $LINE |awk  -F ";" '{print $2}'`
star=`date +%s -d "$startime"`
result=$(($end-$star))
if([ $result -ge $TIME ]);then
       ip=`echo $LINE |awk  -F ";" '{print $1}'`
            echo "封闭ip离现在已经"$result"秒"
            echo "清除ip"$ip
            `/sbin/iptables -D INPUT -s $ip -p tcp --dport 80 -j DROP`
             sed -i -e "/$LINE/d" $FILENAME
             echo $LINE
       fi
done < $FILENAME

代码示例:

grep '\<Tom\>' file   包含单词Tom的行
grep 'Tom savage' file 包含Tom savage的行
grep '^Tommy' file 包含以Tommy开头的行
grep '\.bak$' file 包含以.bak结束的行
grep '[Pp]yramid' file 包含pyramid 或Pyramid的单词的行
grep '[A-Z]' file 包含至少一个大写字母的行
grep '[0-9]' file 包含至少一个数字的行
grep '[A-Z]...[0-9]' file 包含五个字符,以大写开头, 和一个数字结尾的行.
grep -w '[tT]est' file 包含单词和test的行.
grep -s 'ken sun' file 找到包含ken sun的行, 但不打印行, 而是用来检查退出状态.
grep -v aaa file 打印不包含aaa的行.
grep -i cathy file 打印所有包含cathy的行, 而不考虑大小些.
grep -l 'dear cathy' * 打印包含dear cathy的文件的文件名清单.
grep -n tom file   打印匹配的行并追加行号.
grep "$LOGNAME" file 包含变量内容的行, 注意必须用双引号, 单引号则无法引用变量.
grep '$name' file 打印包含字符$name的行.

代码示例:

+ 匹配一个或者多个先前的字符, 至少一个先前字符.
? 匹配0个或者多个先前字符.
a|b|c 匹配a或b或c
() 字符组, 如: love(able|ers) 匹配loveable或lovers.
(..)(..)\1\2 模板匹配. \1代表前面第一个模板, \2代第二个括弧里面的模板.
x{m,n} =x\{m,n\} x的字符数量在m到n个之间.

egrep '^+' file   以一个或者多个空格开头的行.
grep '^*' file   同上
egrep '(TOM|DAN) SAVAGE' file 包含 TOM SAVAGE 和DAN SAVAGE的行.
egrep '(ab)+' file 包含至少一个ab的行.
egrep 'x[0-9]?' file 包含x或者x后面跟着0个或者多个数字的行.
egrep 'fun\.$' * 所有文件里面以fun.结尾的行.
egrep '[A-Z]+' file 至少包含一个大写字母的行.
egrep '[0-9]' file 至少一个数字的行.
egrep '[A-Z]...[0-9]' file 有五个字符, 第一个式大写, 最后一个是数字的行.
egrep '[tT]est' file 包含单词test或Test的行.
egrep 'ken sun' file 包含ken sun的行.
egrep -v 'marry' file 不包含marry的行.
egrep -i 'sam' file 不考虑sam的大小写,含有sam的行.
egrep -l "dear ken" * 包含dear ken的所有文件的清单.
egrep -n tom file 包含tom的行, 每行前面追加行号.
egrep -s "$name" file 找到变量名$name的, 不打印而是显示退出状态. 0表示找到. 1表示表达式没找到符合要求的, 2表示文件没找到。

代码示例:

fgrep "$name...[a-z]" file 就是在file里面找到和字符$name...[a-z]一样的行. 其中$和...等没有转义的意义。

代码示例:

HELLO，WORLD
$echo 'this line of data is ignored' > test
$ awk'{ print "Hello, world" }' test
Hello,world

代码示例:

$ cattest2
Hello,world
$ awk'{ print }' test2
Hello,world

代码示例:

$ awk‘BEGIN {print “hello,World”}’
Hello,World

代码示例:

#test for integer, string or empty line.
/[0-9]+/{ print "That is an integer" }
/[A-Za-z]+/{ print "This is a string" }
/^$/{ print "This is a blank line." }

代码示例:

$ awk-f awksrc
4T
Thatis an integer
Thisis a string

代码示例:

$ awk'{ print $2, $1, $3 }' names
RobinsonJohn 666-555-1111

代码示例:

$echo a b c d | awk 'BEGIN { one = 1; two = 2 }
>{ print $(one + two) }'
c

代码示例:

$ awk-F"\t" '{ print $2 }' names
666-555-1111
$ awk-F"\t+" '{ print $2 }' names
$ awk-F"[‘:\t]"'{ print $2 }' names

代码示例:

BEGIN{ FS = "," } # comma-delimited fields
{print $1 "-" $2 }
 

代码示例:

/MA/{ print $1 ", " $6 }

代码示例:

$5 ~/MA/ { print $1 ", " $6 }

代码示例:

$5 !~/MA/ { print $1 ", " $6 }

z ="Hello" 
z ="Hello" "World"
z =$1

代码示例:

++Add 1 to variable.
--Subtract 1 from variable.
+=Assign result of addition.
-=Assign result of subtraction.
*=Assign result of multiplication.
/=Assign result of division.
%=Assign result of modulo.
^=Assign result of exponentiation.(取幂)

代码示例:

#Count blank lines.
/^$/{
printx += 1
}
x=x+1x+=1 ++x x++

代码示例:

#Count blank lines.
/^$/{
++x
}
END {
printx
}

代码示例:

mona70 77 85 83 70 89
john85 92 78 94 88 91
andrea89 90 85 94 90 95
jasper84 88 80 92 84 82
dunce64 80 60 60 61 62
ellis90 98 89 96 96 92
$ awk-f src2.awk grades
john87.4
andrea86
jasper85.6
src2.awk
#average five grades
{total = $2 + $3 + $4 + $5 + $6
avg =total / 5
print$1, avg }

FS 定义字段分隔符,默认为一个空格
OFS 输出的字段分隔符，默认为一个空格
RS 记录分隔符，默认为一个换行符
ORS 输出的记录分隔符，默认为一个换行符
NR 行数
FNR行数，多文件操作时会重新排序
NF 输出当前输入记录的编号（字段的个数）
FILENAME文件名

代码示例:

$ awk–F: ‘OFS=”aaa”,ORS=”bbb” {print NR,FNR,NF,FILENAME}’
/etc/passwda.txt
$print NR “.”,$1, avg
1.john 87.4
2.andrea 86
3.jasper 85.6

代码示例:

#block.awk - print first and last fields
# $1 =name; $NF = phone number
BEGIN{ FS = "\n"; RS = " " }
{print $1, $NF }
$ awk-f block.awk phones.block
JohnRobinson 696-0987
PhyllisChapman 879-0900
JeffreyWillis 914-636-0000
AliceGold (707) 724-0000
BillGold 1-707-724-0000

<Less than
>Greater than
<=Less than or equal to
>=Greater than or equal to
==Equal to
!=Not equal to
~Matches
!~Does not match

代码示例:

$5 ~/MA/ {print $1 “,”$6}

||Logical OR
&&Logical AND
!Logical NOT
NF ==6 && NR > 1

NR>1 && NF >=2 || $1 ~ /\t/
(NR>1 && NF >=2 )|| $1 ~ /\t/
!(NR> 1 && NF > 3)

代码示例:

$ ls-l |awk -f src3.awk
BEGIN{ print "BYTES", "\t", "FILE" }
{
sum+= $5
++filenum
print$5, "\t", $8
}
END {print "Total: ", sum, "bytes (" filenum " files)"}

代码示例:

printf("%d \t %s \n ", $5 , $8 )
printf("|%10s|\n","hello") 右对齐
printf("|%-10s|\n","hello") 左对齐
printf("%*.*f\n",5, 3, myvar) 宽度5 精度3 打印myvar

代码示例:

awk'script' var=value inputfile
$var=root
$ awk–F: -v a=$var ‘$1==a {print}’ /etc/passwd

代码示例:

if (avg >= 65 )
grade= "Pass"
else
grade= "Fail"
if(avg >= 90) grade = "A"
elseif (avg >= 80) grade = "B"
elseif (avg >= 70) grade = "C"
elseif (avg >= 60) grade = "D"
 
else grade = "F"

代码示例:

i = 1
while( i <= 4 ) {
print$i
++i
}

代码示例:

BEGIN{
do {
++x
printx
}while ( x <= 4 )
}

代码示例:

从第一个字段到最后一个字段
for (i = 1; i <= NF; i++ )
print$i
从最后一个字段到第一个字段
for (i = NF; i >= 1; i-- )
 
print$i

代码示例:

total= 0
for(i = 2; i <= NF; ++i)
#total= $2 + $3 + $4 + $5 + $6
#avg= total / 5
total+= $i
avg =total / (NF - 1)

代码示例:

5！=5*4*3*2*1
fact= number
for(x = number - 1 ; x > 1; x--)
fact*= x