Shell文本處理三劍客(一)

2018-06-08 17:08 更新

防偽碼:老驥伏櫪,志在千里。

7.1 grep

過濾來自一個文件或標(biāo)準(zhǔn)輸入匹配模式內(nèi)容。

除了 grep 外,還有 egrep、fgrep。egrep 是 grep 的擴展,相當(dāng)于 grep -E。fgrep 相當(dāng)于 grep -

f,用的少。

Usage: grep [OPTION]... PATTERN [FILE]...

支持的正則  描述

-E,--extended-regexp  模式是擴展正則表達式(ERE)

-P,--perl-regexp  模式是 Perl 正則表達式。

與 Shell 正則字符使用方式一樣,這里不過多講解

-e,--regexp=PATTERN  使用模式匹配,可指定多個模式匹配

-f,--file=FILE  從文件每一行獲取匹配模式

-i,--ignore-case  忽略大小寫

-w,--word-regexp  模式匹配整個單詞

-x,--line-regexp  模式匹配整行

-v,--invert-match  打印不匹配的行

輸出控制  描述

-m,--max-count=NUM  輸出匹配的結(jié)果 num 數(shù)

-n,--line-number  打印行號

-H,--with-filename  打印每個匹配的文件名

-h,--no-filename  不輸出文件名

-o,--only-matching  只打印匹配的內(nèi)容

-q,--quiet  不輸出正常信息

-s, --no-messages  不輸出錯誤信息

-r,--recursive

--include=FILE_PATTERN

--exclude=FILE_PATTERN

--exclude-from=FILE

--exclude-dir=PATTERN

遞歸目錄

只搜索匹配的文件

跳過匹配的文件

跳過匹配的文件,來自文件模式

跳過匹配的目錄

-c,--count  只打印每個文件匹配的行數(shù)

內(nèi)容行控制  描述

-B,--before-context=NUM  打印匹配的前幾行

-A,--after-context=NUM  打印匹配的后幾行

-C,--context=NUM  打印匹配的前后幾行

--color[=WHEN],  匹配的字體顏色

示例:

1) 輸出 b 文件中在 a 文件相同的行

# grep -f a b

2) 輸出 b 文件中在 a 文件不同的行

# grep -v -f a b

3) 匹配多個模式

# echo "a bc de" |xargs -n1 |grep -e 'a' -e 'bc'

a

bc

4) 去除空格 http.conf 文件空行或開頭#號的行

# grep -E -v "^$|^#" /etc/httpd/conf/httpd.conf

5) 匹配開頭不分大小寫的單詞

# echo "A a b c" |xargs -n1 |grep -i a

# echo "A a b c" |xargs -n1 |grep '[Aa]'

A

a

6) 只顯示匹配的字符串

# echo "this is a test" |grep -o 'is'

is

is

7) 輸出匹配的前五個結(jié)果

# seq 1 20 |grep -m 5 -E '[0-9]{2}'

10

11

12

13

14

8)統(tǒng)計匹配多少行

# seq 1 20 |grep -c -E '[0-9]{2}'

11

9) 匹配 b 字符開頭的行

# echo "a bc de" |xargs -n1 |grep '^b'

bc

10) 匹配 de 字符結(jié)尾的行并輸出匹配的行

# echo "a ab abc abcd abcde" |xargs -n1 |grep -n 'de$'

5:abcde

11) 遞歸搜索/etc 目錄下包含 ip 的 conf 后綴文件

# grep -r '192.167.1.1' /etc --include *.conf

12) 排除搜索 bak 后綴的文件

# grep -r '192.167.1.1' /opt --exclude *.bak

13) 排除來自 file 中的文件

# grep -r '192.167.1.1' /opt --exclude-from file

14) 匹配 41 或 42 的數(shù)字

# seq 41 45 |grep -E '4[12]'

41

42

15) 匹配至少 2 個字符

# seq 13 |grep -E '[0-9]{2}'

10

11

12

13

16) 匹配至少 2 個字符的單詞,最多 3 個字符的單詞

# echo "a ab abc abcd abcde" |xargs -n1 |grep -E -w -o '[a-z]{2,3}'

ab

abc

17) 匹配所有 IP

# ifconfig |grep -E -o "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}"

18) 打印匹配結(jié)果及后 3 行

# seq 1 10 |grep 5 -A 3

5

6

7

8

19) 打印匹配結(jié)果及前 3 行

# seq 1 10 |grep 5 -B 3

2

3

4

5

20) 打印匹配結(jié)果及前后 3 行

# seq 1 10 |grep 5 -C 3

2

3

4

5

6

7

8

21) 不顯示輸出

不顯示錯誤輸出:

# grep 'a' abc

grep: abc: No such file or directory

# grep -s 'a' abc

# echo $?

2

不顯示正常輸出:

# grep -q 'a' a.txt

grep 支持上一章的基礎(chǔ)和擴展正則表達式字符。

7.2  sed

流編輯器,過濾和替換文本。

工作原理:sed 命令將當(dāng)前處理的行讀入模式空間進行處理,處理完把結(jié)果輸出,并清空模式空

間。然后再將下一行讀入模式空間進行處理輸出,以此類推,直到最后一行。還有一個空間叫保持

空間,又稱暫存空間,可以暫時存放一些處理的數(shù)據(jù),但不能直接輸出,只能放到模式空間輸出。

這兩個空間其實就是在內(nèi)存中初始化的一個內(nèi)存區(qū)域,存放正在處理的數(shù)據(jù)和臨時存放的數(shù)據(jù)。

Usage:

sed [OPTION]... {script-only-if-no-other-script} [input-file]...

sed [選項] '地址 命令' file

選項  描述

-n  不打印模式空間

-e  執(zhí)行腳本、表達式來處理

-f  執(zhí)行動作從文件讀取執(zhí)行

-i  修改原文件

-r  使用擴展正則表達式

命令  描述

s/regexp/replacement/  替換字符串

p  打印當(dāng)前模式空間

P  打印模式空間的第一行

d  刪除模式空間,開始下一個循環(huán)

D  刪除模式空間的第一行,開始下一個循環(huán)

=  打印當(dāng)前行號

a \text  當(dāng)前行追加文本

i \text  當(dāng)前行上面插入文本

c \text  所選行替換新文本

q  立即退出 sed 腳本

r  追加文本來自文件

: label  label 為 b 和 t 命令

b label  分支到腳本中帶有標(biāo)簽的位置,如果分支不存在則分支到腳本

的末尾

t label  如果 s///是一個成功的替換,才跳轉(zhuǎn)到標(biāo)簽

h H  復(fù)制/追加模式空間到保持空間

g G  復(fù)制/追加保持空間到模式空間

x  交換模式空間和保持空間內(nèi)容

l  打印模式空間的行,并顯示控制字符$

n N  讀取/追加下一行輸入到模式空間

w filename  寫入當(dāng)前模式空間到文件

!  取反、否定

&  引用已匹配字符串

地址  描述

first~step  步長,每 step 行,從第 first 開始

$  匹配最后一行

/regexp/  正則表達式匹配行

number  只匹配指定行

addr1,addr2  開始匹配 addr1 行開始,直接 addr2 行結(jié)束

addr1,+N  從 addr1 行開始,向后的 N 行

addr1,~N  從 addr1 行開始,到 N 行結(jié)束

借助以下文本內(nèi)容作為示例講解:

# tail /etc/services

nimgtw 48003/udp # Nimbus Gateway

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

7.2.1  匹配 打印 (p p )

1)打印匹配 blp5 開頭的行

# tail /etc/services |sed -n '/^blp5/p'

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

2)打印第一行

# tail /etc/services |sed -n '1p'

nimgtw 48003/udp # Nimbus Gateway

3)打印第一行至第三行

# tail /etc/services |sed -n '1,3p'

nimgtw 48003/udp # Nimbus Gateway

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol

isnetserv 48128/tcp # Image Systems Network Services

4)打印奇數(shù)行

# seq 10 |sed -n '1~2p'

1

3

5

7

9

5)打印匹配行及后一行

# tail /etc/services |sed -n '/blp5/,+1p'

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

6)打印最后一行

# tail /etc/services |sed -n '$p'

iqobject 48619/udp # iqobject

7)不打印最后一行

# tail /etc/services |sed -n '$!p'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

感嘆號也就是對后面的命令取反。

8)匹配范圍

# tail /etc/services |sed -n '/^blp5/,/^com/p'

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

匹配開頭行到最后一行:

# tail /etc/services |sed -n '/blp5/,$p'

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

以逗號分開兩個樣式選擇某個范圍。

9)引用系統(tǒng)變量,用引號

# a=1

# tail /etc/services |sed -n ''$a',3p'

# tail /etc/services |sed -n "$a,3p"

sed 命令用單引號時,里面變量用單引號引起來,或者 sed 命令用雙引號,因為雙引號解釋特殊符

號原有意義。

7.2.2  匹配 刪除 (d d )

刪除與打印使用方法類似,簡單舉幾個例子。

# tail /etc/services |sed '/blp5/d'

nimgtw 48003/udp # Nimbus Gateway

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

# tail /etc/services |sed '1d'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

Protocol

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

# tail /etc/services |sed '1~2d'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/udp # iqobject

# tail /etc/services |sed '1,3d'

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

去除空格 http.conf 文件空行或開頭#號的行:

# sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf

打印是把匹配的打印出來,刪除是把匹配的刪除,刪除只是不用-n 選項。

7.2.3  替換 ( s/// )

1)替換 blp5 字符串為 test

# tail /etc/services |sed 's/blp5/test/'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

test 48129/tcp # Bloomberg locator

test 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

全局替換加 g:

# tail /etc/services |sed 's/blp5/test/g'

2)替換開頭是 blp5 的字符串并打印

# tail /etc/services |sed -n 's/^blp5/test/p'

test 48129/tcp # Bloomberg locator

test 48129/udp # Bloomberg locator

3)使用&命令引用匹配內(nèi)容并替換

# tail /etc/services |sed 's/48049/&.0/'

3gpp-cbsp 48049.0/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

IP 加單引號:

# echo '10.10.10.1 10.10.10.2 10.10.10.3' |sed -r 's/[^ ]+/"&"/g'

"10.10.10.1" "10.10.10.2" "10.10.10.3"

4)對 1-4 行的 blp5 進行替換

# tail /etc/services | sed '1,4s/blp5/test/'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

test 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

5)對匹配行進行替換

# tail /etc/services | sed '/48129\/tcp/s/blp5/test/'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

test 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

6)二次匹配替換

# tail /etc/services |sed 's/blp5/test/;s/3g/4g/'

4gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

test 48129/tcp # Bloomberg locator

test 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

7)分組使用,在每個字符串后面添加 123

# tail /etc/services |sed -r 's/(.*) (.*)(#.*)/\1\2test \3/'

3gpp-cbsp 48049/tcp test # 3GPP Cell Broadcast Service

isnetserv 48128/tcp test # Image Systems Network Services

isnetserv 48128/udp test # Image Systems Network Services

blp5 48129/tcp test # Bloomberg locator

blp5 48129/udp test # Bloomberg locator

com-bardac-dw 48556/tcp test # com-bardac-dw

com-bardac-dw 48556/udp test # com-bardac-dw

iqobject 48619/tcp test # iqobject

iqobject 48619/udp test # iqobject

matahari 49000/tcp test # Matahari Broker

第一列是第一個小括號匹配,第二列第二個小括號匹配,第三列一樣。將不變的字符串匹配分組,

再通過\數(shù)字按分組順序反向引用。

8)將協(xié)議與端口號位置調(diào)換

# tail /etc/services |sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'

3gpp-cbsp tcp/48049 # 3GPP Cell Broadcast Service

isnetserv tcp/48128 # Image Systems Network Services

isnetserv udp/48128 # Image Systems Network Services

blp5 tcp/48129 # Bloomberg locator

blp5 udp/48129 # Bloomberg locator

com-bardac-dw tcp/48556 # com-bardac-dw

com-bardac-dw udp/48556 # com-bardac-dw

iqobject tcp/48619 # iqobject

iqobject udp/48619 # iqobject

matahari tcp/49000 # Matahari Broker

9)位置調(diào)換

# echo "abc:cde;123:456" |sed -r 's/([^:]+)(;.*:)([^:]+$)/\3\2\1/'

abc:456;123:cde

10)注釋匹配行后的多少行

# seq 10 |sed '/5/,+3s/^/#/'

1

2

3

4

#5

#6

#7

#8

9

10

11)去除開頭和結(jié)尾空格或制表符

# echo " 1 2 3 " |sed 's/^[ \t]*//;s/[ \t]*$//'

1 2 3

7.2.4  多重編輯(- -e e )

# tail /etc/services |sed -e '1,2d' -e 's/blp5/test/'

isnetserv 48128/udp # Image Systems Network Services

test 48129/tcp # Bloomberg locator

test 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

也可以使用分號分隔:

# tail /etc/services |sed '1,2d;s/blp5/test/'

7.2.5  添加新內(nèi)容(a a 、i i 和 和 c c )

1)在 blp5 上一行添加 test

# tail /etc/services |sed '/blp5/i \test'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

test

blp5 48129/tcp # Bloomberg locator

test

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

2)在 blp5 下一行添加 test

# tail /etc/services |sed '/blp5/a \test'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

test

blp5 48129/udp # Bloomberg locator

test

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

3)將 blp5 替換新行

# tail /etc/services |sed '/blp5/c \test'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

test

test

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

4)在指定行下一行添加一行

# tail /etc/services |sed '2a \test'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

test

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

5)在指定行前面和后面添加一行

# seq 5 |sed '3s/.*/txt\n&/'

1

2

txt

3

4

5

# seq 5 |sed '3s/.*/&\ntxt/'

1

2

3

txt

4

5

7.2.6  讀取文件并追加到匹配行后 (r r )

# cat a.txt

123

456

# tail /etc/services |sed '/blp5/r a.txt'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

123

456

blp5 48129/udp # Bloomberg locator

123

456

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

7.2.7  將匹配行寫到文件 (w w )

# tail /etc/services |sed '/blp5/w b.txt'

3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service

isnetserv 48128/tcp # Image Systems Network Services

isnetserv 48128/udp # Image Systems Network Services

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

com-bardac-dw 48556/tcp # com-bardac-dw

com-bardac-dw 48556/udp # com-bardac-dw

iqobject 48619/tcp # iqobject

iqobject 48619/udp # iqobject

matahari 49000/tcp # Matahari Broker

# cat b.txt

blp5 48129/tcp # Bloomberg locator

blp5 48129/udp # Bloomberg locator

7.2.8  讀取下一行(n n 和 和 N N )

n 命令的作用是讀取下一行到模式空間。

N 命令的作用是追加下一行內(nèi)容到模式空間,并以換行符\n 分隔。

1)打印匹配的下一行

# seq 5 |sed -n '/3/{n;p}'

4

2)打印偶數(shù)

# seq 6 |sed -n 'n;p'

2

4

6

sed 先讀取第一行 1,執(zhí)行 n 命令,獲取下一行 2,此時模式空間是 2,執(zhí)行 p 命令,打印模式空

間。 現(xiàn)在模式空間是 2,sed 再讀取 3,執(zhí)行 n 命令,獲取下一行 4,此時模式空間為 4,執(zhí)行 p 命

令,以此類推。

3)打印奇數(shù)

# seq 6 |sed 'n;d'

1

3

5

sed 先讀取第一行 1,此時模式空間是 1,并打印模式空間 1,執(zhí)行 n 命令,獲取下一行 2,執(zhí)行 d

命令,刪除模式空間的 2,sed 再讀取 3,此時模式空間是 3,并打印模式空間,再執(zhí)行 n 命令,獲

取下一行 4,執(zhí)行 d 命令,刪除模式空間的 3,以此類推。

# seq 6 |sed -n 'p;n'

1

3

5

4)每三行執(zhí)行一次 p 命令

# seq 6 |sed 'n;n;p'

1

2

3

3

4

5

6

6

sed 先讀取第一行 1,并打印模式空間 1,執(zhí)行 n 命令,獲取下一行 2,并打印模式空間 2,再執(zhí)行 n

命令,獲取下一行 3,執(zhí)行 p 命令,打印模式空間 3。sed 讀取下一行 3,并打印模式空間 3,以此類

推。

5)每三行替換一次

方法 1:

# seq 6 |sed 'n;n;s/^/=/;s/$/=/'

1

2

=3=

4

5

=6=

我們只是把 p 命令改成了替換命令。

方法 2:

這次用到了地址匹配,來實現(xiàn)上面的效果:

# seq 6 |sed '3~3{s/^/=/;s/$/=/}'

1

2

=3=

4

5

=6=

當(dāng)執(zhí)行多個 sed 命令時,有時相互會產(chǎn)生影響,我們可以用大括號{}把他們括起來。

6)再看下 N 命令的功能

# seq 6 |sed 'N;q'

1

2

將兩行合并一行:

# seq 6 |sed 'N;s/\n//'

12

34

56

第一個命令:sed 讀取第一行 1,N 命令讀取下一行 2,并以\n2 追加,此時模式空間是 1\n2,再執(zhí)

行 q 退出。

為了進一步說明 N 的功能,看第二個命令:執(zhí)行 N 命令后,此時模式空間是 1\n2,再執(zhí)行把\n 替換

為空,此時模式空間是 12,并打印。

# seq 5 |sed -n 'N;p'

1

2

3

4

# seq 6 |sed -n 'N;p'

1

2

3

4

5

6

為什么第一個不打印 5 呢?

因為 N 命令是讀取下一行追加到 sed 讀取的當(dāng)前行,當(dāng) N 讀取下一行沒有內(nèi)容時,則退出,也不會

執(zhí)行 p 命令打印當(dāng)前行。

當(dāng)行數(shù)為偶數(shù)時,N 始終就能讀到下一行,所以也會執(zhí)行 p 命令。

7)打印奇數(shù)行數(shù)時的最后一行

# seq 5 |sed -n '$!N;p'

1

2

3

4

5

加一個滿足條件,當(dāng) sed 執(zhí)行到最后一行時,用感嘆號不去執(zhí)行 N 命令,隨后執(zhí)行 p 命令。

7.2.9  打印和刪除模式空間第一行(P P 和 和 D D )

P 命令作用是打印模式空間的第一行。

D 命令作用是刪除模式空間的第一行。

1)打印奇數(shù)

# seq 6 |sed -n 'N;P'

1

3

5

2)保留最后一行

# seq 6 |sed 'N;D'

6

讀取第一行 1,執(zhí)行 N 命令讀取下一行并追加到模式空間,此時模式空間是 1\n2,執(zhí)行 D 命令刪除

模式空間第一行 1,剩余 2。

讀取第二行,執(zhí)行 N 命令,此時模式空間是 3\n4,執(zhí)行 D 命令刪除模式空間第一行 3,剩余 4。

以此類推,讀取最后一行打印時,而 N 獲取不到下一行則退出,不再執(zhí)行 D,因此模式空間只剩余 6

就打印。

7.2.10  保持空間操作(h h 與 與 H H 、g g 與 與 G G 和 和 x x )

h 命令作用是復(fù)制模式空間內(nèi)容到保持空間(覆蓋)。

H 命令作用是復(fù)制模式空間內(nèi)容追加到保持空間。

g 命令作用是復(fù)制保持空間內(nèi)容到模式空間(覆蓋)。

G 命令作用是復(fù)制保持空間內(nèi)容追加到模式空間。

x 命令作用是模式空間與保持空間內(nèi)容互換

1)將匹配的內(nèi)容覆蓋到另一個匹配

# seq 6 |sed -e '/3/{h;d}' -e '/5/g'

1

2

4

3

6

h 命令把匹配的 3 復(fù)制到保持空間,d 命令刪除模式空間的 3。后面命令再對模式空間匹配 5,并用

g 命令把保持空間 3 覆蓋模式空間 5。

2)將匹配的內(nèi)容放到最后

# seq 6 |sed -e '/3/{h;d}' -e '$G'

1

2

4

5

6

3

3)交換模式空間和保持空間

# seq 6 |sed -e '/3/{h;d}' -e '/5/x' -e '$G'

1

2

4

3

6

5

看后面命令,在模式空間匹配 5 并將保持空間的 3 與 5 交換,5 就變成了 3,。最后把保持空間的 5

追加到模式空間的。

4)倒敘輸出

# seq 5 |sed '1!G;h;$!d'

5

4

3

2

1

分析下:

1!G 第一行不執(zhí)行把保持空間內(nèi)容追加到模式空間,因為現(xiàn)在保持空間還沒有數(shù)據(jù)。

h 將模式空間放到保持空間暫存。

$!d 最后一行不執(zhí)行刪除模式空間的內(nèi)容。

讀取第一行 1 時,跳過 G 命令,執(zhí)行 h 命令將模式空間 1 復(fù)制到保持空間,執(zhí)行 d 命令刪除模式空

間的 1。

讀取第二行 2 時,模式空間是 2,執(zhí)行 G 命令,將保持空間 1 追加到模式空間,此時模式空間是

2\n1,執(zhí)行 h 命令將 2\n1 覆蓋到保持空間,d 刪除模式空間。

讀取第三行 3 時,模式空間是 3,執(zhí)行 G 命令,將保持空間 2\n1 追加到模式空間,此時模式空間是

3\n2\n1,執(zhí)行 h 命令將模式空間內(nèi)容復(fù)制到保持空間,d 刪除模式空間。

以此類推,讀到第 5 行時,模式空間是 5,執(zhí)行 G 命令,將保持空間的 4\n3\n2\n1 追加模式空間,

然后復(fù)制到模式空間,5\n4\n3\n2\n1,不執(zhí)行 d,模式空間保留,輸出。

由此可見,每次讀取的行先放到模式空間,再復(fù)制到保持空間,d 命令刪除模式空間內(nèi)容,防止輸

出,再追加到模式空間,因為追加到模式空間,會追加到新讀取的一行的后面,循環(huán)這樣操作, 就

把所有行一行行追加到新讀取行的后面,就形成了倒敘。

5)每行后面添加新空行

# seq 10 |sed G

1

2

3

4

5

6)打印匹配行的上一行內(nèi)容

# seq 5 |sed -n '/3/{x;p};h'

2

讀取第一行 1,沒有匹配到 3,不執(zhí)行{x;p},執(zhí)行 h 命令將模式空間內(nèi)容 1 覆蓋到保持空間。

讀取第二行 2,沒有匹配到 3,不執(zhí)行{x;p},執(zhí)行 h 命令將模式空間內(nèi)容 2 覆蓋到保持空間。

讀取第三行 3,匹配到 3,執(zhí)行 x 命令把模式空間 3 與保持空間 2 交換,再執(zhí)行 p 打印模式空間 2.

以此類推。

7)打印匹配行到最后一行或下一行到最后一行

# seq 5 |sed -n '/3/,$p'

3

4

5

# seq 5 |sed -n '/3/,${h;x;p}'

3

4

5

# seq 5 |sed -n '/3/{:a;N;$!ba;p}'

3

4

5

# seq 5 |sed -n '/3/{n;:a;N;$!ba;p}'

4

5

匹配到 3 時,n 讀取下一行 4,此時模式空間是 4,執(zhí)行 N 命令讀取下一行并追加到模式空間,此時

模式空間是 4\n5,標(biāo)簽循環(huán)完成后打印模式空間 4\n5。

7.2.11  標(biāo)簽 (: : 、b b 和 和 t t )

標(biāo)簽可以控制流,實現(xiàn)分支判斷。

: lable name 定義標(biāo)簽

b lable 跳轉(zhuǎn)到指定標(biāo)簽,如果沒有標(biāo)簽則到腳本末尾

t lable 跳轉(zhuǎn)到指定標(biāo)簽,前提是 s///命令執(zhí)行成功

1)將換行符替換成逗號

方法 1:

# seq 6 |sed 'N;s/\n/,/'

1,2

3,4

5,6

這種方式并不能滿足我們的需求,每次 sed 讀取到模式空間再打印是新行,替換\n 也只能對 N 命令

追加后的 1\n2 這樣替換。

這時就可以用到標(biāo)簽了:

# seq 6 |sed ':a;N;s/\n/,/;b a'

1,2,3,4,5,6

看看這里的標(biāo)簽使用,:a 是定義的標(biāo)簽名,b a 是跳轉(zhuǎn)到 a 位置。

sed 讀取第一行 1,N 命令讀取下一行 2,此時模式空間是 1\n2$,執(zhí)行替換,此時模式空間是

1,2$,執(zhí)行 b 命令再跳轉(zhuǎn)到標(biāo)簽 a 位置繼續(xù)執(zhí)行 N 命令,讀取下一行 3 追加到模式空間,此時模式

空間是 1,2\n3$,再替換,以此類推,不斷追加替換,直到最后一行 N 讀不到下一行內(nèi)容退出。

方法 2:

# seq 6 |sed ':a;N;$!b a;s/\n/,/g'

1,2,3,4,5,6

先將每行讀入到模式空間,最后再執(zhí)行全局替換。$!是如果是最后一行,則不執(zhí)行 b a 跳轉(zhuǎn),最后

執(zhí)行全局替換。

# seq 6 |sed ':a;N;b a;s/\n/,/g'

1

2

3

4

5

6

可以看到,不加$!是沒有替換,因為循環(huán)到 N 命令沒有讀到行就退出了,后面的替換也就沒執(zhí)行。

2)每三個數(shù)字加個一個逗號

# echo "123456789" |sed -r 's/([0-9]+)([0-9]+{3})/\1,\2/'

123456,789

# echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{3})/\1,\2/;t a'

123,456,789

# echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{2})/\1,\2/;t a'

1,23,45,67,89

執(zhí)行第一次時,替換最后一個,跳轉(zhuǎn)后,再對 123456 匹配替換,直到匹配替換不成功,不執(zhí)行 t 命

令。

7.2.12  忽略大小寫匹配 (I I )

# echo -e "a\nA\nb\nc" |sed 's/a/1/Ig'

1

1

b

c

7.2.13  獲取總行數(shù) (# # )

# seq 10 |sed -n '$='

謝謝觀看,真心的希望能幫到您!


本文出自 “一盞燭光” 博客,謝絕轉(zhuǎn)載!

以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號