Linux 常用指令(二)

• find
• awk
• wc
• ps
• more

Linux下的常用指令，便于查看log和一些文件操作。
对于Cygwin 在Win环境下出现command not found 问题，两种解决方式:
1、将cygwin的bin目录 加到环境变量中的系统变量里:
2、source /etc/profile

pwd 显示当前的路径
ps 查看当前进程 win cmd是tasklist
exit 执行退出 win 是 taskkill
cd ~ 切换到用户目录下

find

Linux find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。

Syntax:
find   path   -option   [-print]   [-exec -ok command ] {} \;

• name选项
  eg.如果想在当前目录查找文件名以一个个小写字母开头，最后是4到9加上.log结束的文件：
  find . -name “[a-z]*[4-9].log” -print
  find ~ -name “*.log” -print 相当于从根目录下开始查找文件

• perm选项
  perm 根据文件的权限去查找文件
  find -perm mode 文件三种权限 r(读)、w(写)、x(可执行),那么这三者之间有什么区别呢？解释之前首先得简单说一下linux中文件权限位的概念。
  在linux中文件或目录有三者权限r,w,x，代表的含义分别是读、写、可执行。
  而一个文件或目录的属性中又包括所属用户u、所属组g、其他o三个部分的属性，分别表示所属用户、所属组、其他用户对这个文件所拥有的权限。
  看起来大概是这个样子：

  所属用户 所属组 其他
  rwx rwx rwx

find -perm mode ， 表示严格匹配，也就是你的文件权限位转换成对应的十进制数字与mode一模一样，那么匹配成功，需要注意的是如果mode给的数字不足3位，那么前面自动添0(严格的说是不足4位，原因就是前面所说的setuid,setgid，稍后解释)

find -perm -mode ， 表示mode中转换成二进制的1在文件权限位里面必须匹配，比如mode=644那么转换成二进制为110 100 100，
而被查找的文件的权限位也可以被转换成一个二进制数，两者在位上为1的部分必须完全匹配，而0则不管。
例如被查找的文件的权限为转换成二进制数是111 111 111那么这个比如被匹配，而假如是100 100 100那么则不会匹配。
所以这个’-‘的作用归结起来就是匹配比mode权限更充足的文件(找不到什么词语来形容了)

find -perm +mode ， 与 -mode的区别是+mode只需其中的任意一个1的部分被匹配，
-mode是所有1的部分都必须被匹配，同样+mode也不管0位。

• 忽略某个目录：
  如果在查找文件时希望忽略某个目录，因为你知道那个目录中没有你所要查找的文件，那么可以使用-prune选项来指出需要忽略的目录。
  在使用-prune选项时要当心，因为如果你同时使用了-depth选项，那么-prune选项就会被find命令忽略。
  如果希望在test目录下查找文件，但不希望在test/test3目录下查找，可以用：

find test -path "test/test3" -prune -o -print

• 使用find查找文件的时候怎么避开某个文件目录：
  在test 目录下查找不在test4子目录之内的所有文件

find test -path "test/test4" -prune -o -print
find [-path ..] [expression] 
-path "test" -prune -o -print 是 -path "test" -a -prune -o -print 的简写表达式按顺序求值,


//避开多个文件夹:
find test \( -path test/test4 -o -path test/test3 \) -prune -o -print 

//prune 是在类似修剪？的东西0 0 相当于条件为真忽视掉的意思把
if -path "test" then  
-prune  
else  
-print

//查找某一确定文件，-name等选项加在-o 之后
find test \(-path test/test4 -o -path test/test3 \) -prune -o -name "*.log" -print

• 按照更改时间或访问时间等查找文件：
  如果希望按照更改时间来查找文件，可以使用mtime,atime或ctime选项。
  如果系统突然没有可用空间了，很有可能某一个文件的长度在此期间增长迅速，这时就可以用mtime选项来查找这样的文件。
  用减号-来限定更改时间在距今n日以内的文件，而用加号+来限定更改时间在距今n日以前的文件。

//希望在系统根目录下查找更改时间在5日以内的文件，可以用：
find / -mtime -5 -print

//为了在/var/adm目录下查找更改时间在3日以前的文件，可以用:
find /var/adm -mtime +3 -print

• 查找比某个文件新或旧的文件：
  如果希望查找更改时间比某个文件新但比另一个文件旧的所有文件，可以使用-newer选项。
  它的一般形式为：
  newest_file_name ! oldest_file_name
  其中，！是逻辑非符号。

//查找更改时间比文件log2012.log新但比文件log2017.log旧的文件
find -newer log2012.log ! -newer log2017.log

//查找更改时间在比log2012.log文件新的文件  
find . -newer log2012.log -print

• 使用size选项：

实例1：在当前目录下查找文件长度大于1 M字节的文件
命令：
find . -size +1000000c -print
实例2：在/home/apache目录下查找文件长度恰好为100字节的文件:  
命令：
find /home/apache -size 100c -print  
实例3：在当前目录下查找长度超过10块的文件（一块等于512字节） 
命令：
find . -size +10 -print

awk

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。
awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

语法

awk [选项参数] ‘script’ var=value file(s)
或 awk [选项参数] -f scriptfile var=value file(s)

EG:

log.txt文本内容如下：

2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo

基本用法

• 用法一：

awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号

# 每行按空格或TAB分割，输出文本中的1、4项
$ awk '{print $1,$4}' log.txt

# 格式化输出
$ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt

• 用法二：

awk -F  #-F相当于内置变量FS, 指定分割字符
# 使用","分割
$  awk -F, '{print $1,$2}'   log.txt

# 或者使用内建变量
$ awk 'BEGIN{FS=","} {print $1,$2}'     log.txt

# 使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割
$ awk -F '[ ,]'  '{print $1,$2,$5}'   log.txt

• 用法三：

awk -v  # 设置变量
实例：

$ awk -va=1 '{print $1,$1+a}' log.txt
---------------------------------------------
2 3
3 4
This's 1
10 11
$ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt
---------------------------------------------
2 3 2s
3 4 3s
This's 1 This'ss
10 11 10s

• 用法四：

awk -f {awk脚本} {文件名}
实例：

$ awk -f cal.awk log.txt

过滤第一列大于2的行
$ awk '$1>2' log.txt    #命令

过滤第一列等于2的行
$ awk '$1==2 {print $1,$3}' log.txt    #命令

过滤第一列大于2并且第二列等于'Are'的行
$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令

$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1    '    1    1
log.txt    2    2    '    1    2
log.txt    2    3    '    2    3
log.txt    2    4    '    1    4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are

# 指定输出分割符
$  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $

• 使用正则，字符串匹配

# 输出第二列包含 "th"，并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
~ 表示模式开始。// 中是模式。

# 输出包含"re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Are you like awk
10 There are orange,apple,mongo

• 忽略大小写

$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test

• 模式取反

$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo

awk脚本

关于awk脚本，我们需要注意两个关键词BEGIN和END。

BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句}

EG:
假设有这么一个文件（学生成绩表）：

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

• 我们的awk脚本如下：

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

我们来看一下执行结果：

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

• 另外一些实例

#AWK的hello world程序为：
BEGIN { print "Hello, world!" }

#计算文件大小
$ ls -l *.txt | awk '{sum+=$6} END {print sum}'
--------------------------------------------------
666581

#从文件中找出长度大于80的行
awk 'length>80' log.txt

#打印九九乘法表
seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

• awk、sed、grep更适合的方向：
  grep 更适合单纯的查找或匹配文本
  sed 更适合编辑匹配到的文本
  awk 更适合格式化文本，对文本进行较复杂格式处理

关于awk内建变量的见解，简单易懂

解释一下变量：

变量：分为内置变量和自定义变量;输入分隔符FS和输出分隔符OFS都属于内置变量。

内置变量就是awk预定义好的、内置在awk内部的变量，而自定义变量就是用户定义的变量。

• FS(Field Separator)：输入字段分隔符， 默认为空白字符
• OFS(Out of Field Separator)：输出字段分隔符， 默认为空白字符
• RS(Record Separator)：输入记录分隔符(输入换行符)， 指定输入时的换行符
• ORS(Output Record Separate)：输出记录分隔符（输出换行符），输出时用指定符号代替换行符
• NF(Number for Field)：当前行的字段的个数(即当前行被分割成了几列)
• NR(Number of Record)：行号，当前处理的文本行的行号。
• FNR：各文件分别计数的行号
• ARGC：命令行参数的个数
• ARGV：数组，保存的是命令行所给定的各参数

自定义变量的方法

方法一：-v varname=value ，变量名区分字符大小写。
方法二：在program中直接定义。

awk 函数使用方法

wc

Word Count 命令，统计指定文本中的字节数、字数、行数，并将统计结果显示输出。

格式

wc [选项]文件…

功能

统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。

参数

-c 统计字节数。
-l 统计行数。
-m 统计字符数。这个标志不能与 -c 标志一起使用。
-w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
-L 打印最长行的长度。
-help 显示帮助信息
--version 显示版本信息

实例

#用来统计当前目录下的文件数
ls -l | wc -l

ps

是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。
要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行和运行的状态、进程是否结束、进程有没有僵死、哪些进程占用了过多的资源等等。总之大部分信息都是可以通过执行该命令得到的。
ps 为我们提供了进程的一次性的查看，它所提供的查看结果并不动态连续的；如果想对进程时间监控，应该用 top 工具。
kill 命令用于杀死进程。

linux上进程有5种状态:

1. 运行(正在运行或在运行队列中等待)
2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号)
3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生)
4. 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放)
5. 停止(进程收到SIGSTOP, SIGSTP, SIGTIN, SIGTOU信号后停止运行运行)

ps工具标识进程的5种状态码:
D 不可中断 uninterruptible sleep (usually IO)
R 运行 runnable (on run queue)
S 中断 sleeping
T 停止 traced or stopped
Z 僵死 a defunct (”zombie”) process

命令格式：

ps[参数]

命令功能：

用来显示当前进程的状态

命令参数：

a               #显示所有进程
-a              #显示同一终端下的所有程序
-A              #显示所有进程
c               #显示进程的真实名称
-N              #反向选择
-e              #等于“-A”
e               #显示环境变量
f               #显示程序间的关系
-H              #显示树状结构
r               #显示当前终端的进程
T               #显示当前终端的所有程序
u               #指定用户的所有进程
-au             #显示较详细的资讯
-aux            #显示所有包含其他使用者的行程 
-C<命令>        #列出指定命令的状况
--lines<行数>   #每页显示的行数
--width<字符数> #每页显示的字符数
--help          #显示帮助信息
--version       #显示版本显示

EG

ps -ef|grep ssh

#找出与 cron 与 syslog 这两个服务有关的 PID 号码
#命令：ps aux
ps aux | egrep '(cron|syslog)'

#把所有进程显示出来，并输出到ps001.txt文件
ps -aux > ps001.txt

more

类似cat，cat是从上到下显示在屏幕上。more 会以一页一页的显示方便使用者逐页阅读，
最基本的指令就是按space就向下一页显示，按b会back，在启动时加载整个文件。

命令格式：

more [-dlfpcsu ] [-num ] [+/ pattern] [+ linenum] [file … ]

命令功能：

more命令和cat的功能一样都是查看文件里的内容，但有所不同的是more可以按页来查看文件的内容，还支持直接跳转行等功能。

命令参数：

+n           #从笫n行开始显示
-n           #定义屏幕大小为n行
+/pattern    #在每个档案显示前搜寻该字串（pattern），然后从该字串前两行之后开始显示  
-c           #从顶部清屏，然后显示
-d           #提示“Press space to continue，’q’ to quit（按空格键继续，按q键退出）”，禁用响铃功能
-l           #忽略Ctrl+l（换页）字符
-p           #通过清除窗口而不是滚屏来对文件进行换页，与-c选项相似
-s           #把连续的多个空行显示为一行
-u           #把文件内容中的下画线去掉

常用操作命令：

Enter       #向下n行，需要定义。默认为1行
Ctrl+F      #向下滚动一屏
空格键      #向下滚动一屏
Ctrl+B      #返回上一屏
=           #输出当前行的行号
：f         #输出文件名和当前行的行号
V           #调用vi编辑器
!命令       #调用Shell，并执行命令 
q           #退出more

EG：

#列一个目录下的文件，用more来分页显示
ls -l  | more -5