sed(stream editor)对文本的处理很强大,并且sed非常小,参数少,容易掌握,他的操作方式跟awk有点像。sed按顺序逐行读取文件。然后,它执行为该行指定的所有操作,并在完成请求的修改之后的内容显示出来,也可以存放到文件中。完成了一行上的所有操作之后,它读取文件的下一行,然后重复该过程直到它完成该文件。在这里要注意一点,源文件(默认地)保持不被修改。sed默认读取整个文件并对其中的每一行进行修改。说白了就是一行一行的操作。sed命令中用的最多的就是替换功能,真的很强大。下面以实例,详细的说一下,先从替换开始,最常用的。

 sed命令是一个面向字符流的非交互式编辑器,也就是说sed不允许用户与它进行交互操作。在shell中,使用sed来批量修改文本内容是非常方便的。

1.命令格式:

1
sed [选项] [动作] [文件]

2.命令功能:

 sed可依照脚本的指令来处理、编辑文本文件。

3.命令参数:

选项与参数:

1
2
3
4
5
-n, 使用安静(silent)模式。在一般sed的用法中,所有来自STDIN的数据一般都会被列出到终端上。但如果加上-n参数后,则只有经过sed特殊处理的那一行(或者动作)才会被列出来。
-e, 直接在命令列模式上进行sed的动作编辑;
-f, 直接将sed的动作写在一个文件内,-f filename则可以运行filename内的sed动作;
-r, sed的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i, 直接修改读取的文件内容,而不是输出到终端。

动作(function):

1
2
3
4
5
6
a, 新增行,a的后面可以是字串,而这些字串会在新的一行出现(目前的下一行)
c, 取代行,c的后面可以接字串,这些字串可以取代n1,n2之间的行
d, 删除行,因为是删除,所以d后面通常不接任何参数,直接删除地址表示的行;
i, 插入行,i的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p, 列印(输出print),亦即将某个选择的数据印出。通常p会与参数sed -n一起运行
s, 替换,可以直接进行替换的工作,通常这个s的动作可以搭配正规表示法,例如 1,20s/old/new/g 一般是替换符合条件的字符串而不是整行

一般function的前面会有一个地址的限制,例如:[地址]function,表示我们的动作要操作的行。下面我们通过具体的例子直观的看看sed的使用方法。

4.使用实例:

4.1 删除行:

实例1:删除第一行和第二行

1
sed '1,2d' test.txt

其中1,2d中的d表示删除,而d前面的表示删除的行的地址,而1,2表示一个地址范围,也就是删除第1行和第2行。

地址范围的表示一般是m,n表示对m和n行之间的所有行进行操作,也包含第m行和第n行。

sed的地址寻址中可以使用$表示最后一行,例如m,$表示对m行以及其后面的所有行进行操作,包括最后一样。m,$d就是删除m行以及其后面的所有行内容。

当然我们还可以对某一行进行操作,例如2d表示仅仅删除第2行。除了使用数字范围m,n表示多行区间,以及m表示单行以外,我们还可以使用正则表达式选出符合条件的行,并对这些行进行操作,同样的是上面的文件:

实例2:删除内容包含2的所有行:

1
sed '/2/d' test.txt

上面的命令中/2/是一个正则表达式,在sed中正则表达式是写在/.../两个斜杠中间的,这个正则的意思是寻找所有包含2的行,执行相应的操作,也就是删除所有包含2的行,如果我们只想删除以2开头的行呢,只需要修改一下正则表达式就可以了:

实例3:删除内容以2开头的行:

1
sed '/^2/d' test.txt

4.2 新增行:

实例4:在第一行后面新增一行:

1
sed '1a hello world' test.txt

a命令表示在指定行后面附加一行,1a则是在第一行的后面添加一行,添加的内容就是a后面的内容,如果a的前面没有地址限定则在所有行的后面都会添加指定的字符串.
实例5:在第一行前面增加一行:

1
sed '1i hello world' test.txt

i命令表示在指定行前面插入一行,插入的内容为其后面的字符串。

4.3 替换行:

实例5:替换第一行的内容:

1
sed '1c hello world' test.txt

c命令会替换指定的行的所有内容替换成其后面的字符串,所有的新增,删除,替换行,这些命令前面的地址修饰都可以指定地址空间,也都可以使用正则表达式,命令会应用在选出的符合地址条件的所有行上面,例如:
实例6:替换内容以2开头的行,其内容是c命令后面的字符串

1
sed '/^2/c hello world' test.txt

4.4 替换部分字符串而不是整行

sed中除了上面的命令是针对整行进行操作的之外,还提供一个替换命令,该命令对某一行中的部分字符串进行操作,下面举一个简单的例子,还是同样的文本内容,执行下面的命令:
实例7:将aa替换成AA(仅替换每一行遇到的第一个aa)

1
sed 's/aa/AA/' test.txt

我们这里说的就是s命令,执行的结果是我们文件中的aa被替换成AA,我们看一下s命令后面接的是3个斜杠分隔的两串字符串,其含义是s/待替换的字符串/新字符串/也就是说使用后面的AA替换文件中出现的前面的aa。实际上这里的替换仅仅替换每一行遇到的第一个aa。
实例8:将aa替换成AA(对一行里面的所有的符合条件的字符串都做替换操作)

1
sed 's/aa/AA/g' test.txt

在最后一个斜杠后面加上g选项之后,表示进行全局替换,也就是说一行中所有符合条件的旧字符串都会被替换成新字符串,而不仅仅是第一个。与其他针对行的操作一样,s命令也可以进行地址选择,其地址使用方法与我们之前的一样,也就是在s的前面加上地址空间限定,例如:

实例9:将aa替换成AA(对第一行里面的所有的符合条件的字符串都做替换操作)

1
sed '1s/aa/AA/g' test.txt

仅仅对第一行进行了替换操作,其他的地址限定方法同样也是可以使用的,我们可以使用m,n的限定,例如:

实例10:对第5行直到文件末尾的所有行进行搜索替换操作

1
sed '5,$s/aa/AA/g' test.txt

同样s命令的地址限定也支持使用正则表达式限定符合条件的行,然后在这些行中进行字符串的搜索替换操作,例如:

实例10:对以数字开头的行进行搜索替换操作

1
sed '/^[0-9]/s/aa/AA/g' test.txt

我们在s命令前面添加了/^[0-9]/这个修饰,该正则表达式表示对所有以数字开头的行,执行s操作

另外一个要说明的是s/待替换的字符串/新字符串/这种格式中/作为分隔符并不是一定的,当使用s命令时候,我们可以使用别的分隔符,实际上s后面紧接着的字符就是分隔符,所以不一定是/符号。例如:

实例11:将echo输出的内容进行替换(以#为分隔符)

1
2
# 这里s命令后面跟着的#符号被当作分隔符了
echo 'aabbccaadd' | sed s#aa#AA#g

4.5 搜索并输出行内容

sed还提供一个p命令用于搜索符合条件的行,并输出该行的内容,而不做其他的任何修改.

实例12:输出第二行内容(sed命令默认会输出文件的所有内容)

1
sed '2p' test.txt

可以看到第二行被输出来了,但是sed好像将文件的所有内容输出了一遍,而第2行则多输出了一次,实际上sed默认情况下是会将所有标准输入的数据又重新输出到标准输出的,我们可以加上-n选项让sed仅仅是输出经过处理之后的那些行,而不是输出之前从标准输入中获取到的所有行内容,例如:

实例13:输出第二行内容(使用安静模式,只输出经过特殊处理的内容)

1
2
# -n选项一般是与p命令联合使用的,其他的增加,删除,替换行的命令是不需要-n选项的
sed -n '2p' test.txt

4.6 将修改应用到文件中

我们之前做的所有实验,实际上并没有修改test.txt文件的内容,也就是说我们看到的修改结果仅仅输出到控制台上,而文件test.txt的内容是没有修改的,我们可以使用-i选项告诉sed直接修改文件的内容,而不是将修改结果输出到终端上,例如:

实例13:直接删除文件的第二行:

1
sed -i '2d' test.txt 

4.7 sed正则中的元字符

我们知道sed中的命令前面可以使用地址范围进行限制,表示对文件的某些符合条件的行执行相应的操作,其中我们可以使用正则表达式选出要操作的行,而sed中正则的语法可能与我们其他命令的正则语法有一些不同,这里我们有必要列出sed中常用的正则元字符:

1
2
3
4
5
6
7
8
9
10
11
$, 表示行尾
^, 表示行首
[a-z0-9], 表示字符范围
[^], 表示除了字符集中的字符以外的字符

sed的正则中 \(\) 和 \{m,n\} 需要转义
., 表示任意字符
*, 表示零个或者多个
\+, 一次或多次  
\?, 零次或一次
\|, 表示或语法