学习正则表达式之旅

December 03 2017

厌倦了Ctrl-C，Ctrl-V？不妨试试正则表达式，它可以极大地减少某些情况下的机械劳动量，是懒人癌的福音，不过学习曲线也很陡，这也是为什么大部分人望而却步的原因。

正则别看它一段很复杂的英文和符号，其实细细分析总能抽丝剥茧，理清头绪。对于初学者，建议看一看这篇正则表达式30分钟入门教程，不过也仅仅只是入门级别而已，别想着看完之后就能写出牛逼闪闪的正则来。同样身为门外汉的我，也来谈一谈看完之后自己的心得。

什么是正则表达式

在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要。正则表达式就是用于描述这些规则的工具。换句话说，正则表达式就是记录文本规则的代码。

如何测试正则表达式

网上有很多测试正则表达式的工具，在线的网站或者下载安装程序都可以。我使用的是RegexBuddy。

常用的元字符

元字符在正则里有特殊含义，常用的有：

代码	说明
.	匹配除换行符以外的任意字符
\w	匹配字母或数字或下划线或汉字
\s	匹配任意的空白符（空格、换行符、Tab）
\d	匹配数字
\b	匹配单词的开始或结束
^	匹配字符串的开始
$	匹配字符串的结束

转义字符

写程序的都知道，一些特殊字符的转义需要使用转义字符\。比方说我只想要输出字符.，而.在正则里有特殊含义，这个时候就要使用转义字符\.来达到目的。

常用的限定符

限定符用于限定匹配重复的方式，常用的有：

代码	说明
*	重复零次或更多次
+	重复一次或更多次
?	重复零次或一次
{n}	重复n次
{n,}	重复n次或更多次
{n,m}	重复n到m次

字符类

如果想匹配没有预定义元字符的字符集合，就要使用字符类，只需要把它们列在方括号里就行了。比方说，[aeiou]就匹配任何一个英文元音字母，[.?!]匹配标点符号(.或?或!)，[0-9]代表的含意与\d是完全一致的：代表一位数字，[a-z0-9A-Z_]也完全等同于\w（如果只考虑英文的话）。

分枝条件

正则表达式里的分枝条件指的是有几种规则，如果满足其中任意一种规则都应该当成匹配，具体方法是用|把不同的规则分隔开。

举个例子，\d{5}-\d{4}|\d{5}这个表达式用于匹配美国的邮政编码。美国邮编的规则是5位数字，或者用连字号间隔的9位数字。

使用分枝条件时，要注意各个条件的顺序。如果你把它改成\d{5}|\d{5}-\d{4}的话，那么就只会匹配5位的邮编(以及9位邮编的前5位)。原因是匹配分枝条件时，将会从左到右地测试每个条件，如果满足了某个分枝的话，就不会去再管其它的条件了。

分组

如果想要重复多个字符，此时就要用到小括号来指定子表达式(也叫做分组)。

(\d{1,3}\.){3}\d{1,3}是一个简单的IP地址匹配表达式，但是这个表达式还不算规范的IP地址，一个正确的IP地址为((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。由于正则表达式中并不提供关于数学的任何功能，所以只能使用冗长的分组，这也造成了给新手对正则的认知觉得复杂的一个原因。

反义

有时需要查找不属于某个能简单定义的字符类的字符。比如想查找除了数字以外，其它任意字符都行的情况，这时需要用到反义。常用的反义有：

代码	说明
\W	匹配任意不是字母、数字、下划线、汉字的字符
\S	匹配任意不是空白符的字符
\D	匹配任意非数字的字符
\B	匹配不是单词开头或结束的位置
[^aeiou]	匹配除了aeiou以外的任意字符

后向引用

使用小括号指定一个子表达式后，匹配这个子表达式的文本(也就是此分组捕获的内容)可以在表达式或其它程序中作进一步的处理。默认情况下，每个分组会自动拥有一个组号，规则是：从左向右，以分组的左括号为标志，第一个出现的分组的组号为1，第二个为2，以此类推。

请看示例，\b(\w+)\b\s+\1\b可以用来匹配重复的单词，像go go, 或者kitty kitty，\1代表分组1匹配的文本。

你也可以自己指定子表达式的组名。要指定一个子表达式的组名，请使用这样的语法：(?<Word>\w+)(或者把尖括号换成’也行(?'Word'\w+))。要反向引用这个分组捕获的内容，你可以使用\k<Word>,所以上一个例子也可以写成这样：\b(?<Word>\w+)\b\s+\k<Word>\b。

补充：

分组0对应整个正则表达式
实际上组号分配过程是要从左向右扫描两遍的：第一遍只给未命名组分配，第二遍只给命名组分配－－因此所有命名组的组号都大于未命名的组号
你可以使用(?:exp)这样的语法来剥夺一个分组对组号分配的参与权

下面是捕获分组的语法：

代码	说明
(exp)	匹配exp，并捕获文本到自动命名的组里
(?exp)	匹配exp，并捕获文本到名称为name的组里，也可以写成(?’name’exp)
(?:exp)	匹配exp，不捕获匹配的文本，也不给此分组分配组号

零宽断言

零宽断言用于查找在某些内容(但并不包括这些内容)之前或之后的东西，也就是说它们像\b,^,$那样用于指定一个位置，这个位置应该满足一定的条件(即断言)

(?=exp)也叫零宽度正预测先行断言（名字很长），它断言自身出现的位置的后面能匹配表达式exp，即匹配exp前面的位置。比如\b\w+(?=ing\b)，匹配以ing结尾的单词的前面部分(除了ing以外的部分)。

(?<=exp)也叫零宽度正回顾后发断言，它断言自身出现的位置的前面能匹配表达式exp，即匹配exp后面的位置。比如(?<=\bre)\w+\b会匹配以re开头的单词的后半部分(除了re以外的部分)。

之前提到过(?:exp)会剥夺分组对组号的分配，现在知道为什么了吧，在零宽断言里，组号没有任何用处。

断言用来声明一个应该为真的事实。正则表达式中只有当断言为真时才会继续进行匹配。

表达式(?<=<(\w+)>).*(?=<\/\1>)最能表现零宽断言的真正用途，它匹配不包含属性的简单HTML标签内里的内容。。

下面是零宽断言的语法：

代码	说明
(?=exp)	匹配exp前面的位置
(?<=exp)	匹配exp后面的位置

负向零宽断言

负向零宽断言只匹配一个位置，并不消费任何字符。

零宽度负预测先行断言(?!exp)，断言此位置的后面不能匹配表达式exp。比如\d{3}(?!\d)匹配三位数字，而且这三位数字的后面不能是数字；再比如，\b((?!abc)\w)+\b匹配不包含连续字符串abc的单词。

零宽度负回顾后发断言(?<!exp)，断言此位置的前面不能匹配表达式exp。比如，(?<![a-z])\d{7}匹配前面不是小写字母的七位数字。

下面是负向零宽断言的语法：

代码	说明
(?!exp)	匹配后面跟的不是exp的位置
(?<!exp)	匹配前面不是exp的位置

注释

小括号的另一种用途是通过语法(?#comment)来包含注释。

要包含注释的话，最好是启用“忽略模式里的空白符”选项，这样在编写表达式时能任意的添加空格，Tab，换行，而实际使用时这些都将被忽略。启用这个选项后，在#后面到这一行结束的所有文本都将被当成注释忽略掉。

贪婪与懒惰

当正则表达式中包含能接受重复的限定符时，通常的行为是（在使整个表达式能得到匹配的前提下）匹配尽可能多的字符。这被称为贪婪匹配。

举个例子，a.*b，它将会匹配最长的以a开始，以b结束的字符串。如果用它来搜索aabab的话，它会匹配整个字符串aabab。

懒惰匹配，也就是匹配尽可能少的字符。只要在限定符后面加上一个问号?

举个例子，a.*?b匹配最短的，以a开始，以b结束的字符串。如果把它应用于aabab的话，它会匹配aab（第一到第三个字符）和ab（第四到第五个字符）。为什么第一个匹配是aab（第一到第三个字符）而不是ab（第二到第三个字符）？简单地说，因为正则表达式有另一条规则，比懒惰／贪婪规则的优先级更高：最先开始的匹配拥有最高的优先权——The match that begins earliest wins。

常用的懒惰限定符有

代码	说明
*?	重复任意次，但尽可能少重复
+?	重复1次或更多次，但尽可能少重复
??	重复0次或1次，但尽可能少重复
{n,m}?	重复n到m次，但尽可能少重复
{n,}?	重复n次以上，但尽可能少重复

处理选项

常用的正则表达式选项有：

名称	说明
IgnoreCase(忽略大小写)	匹配时不区分大小写
Multiline(多行模式)	更改`^`和`$`的含义，使它们分别在任意一行的行首和行尾匹配，而不仅仅在整个字符串的开头和结尾匹配。(在此模式下，`$`的精确含义是：匹配\n之前的位置及字符串结束前的位置)
Singleline(单行模式)	更改`.`的含义，使它与每一个字符匹配(包括换行符\n)。它和多行模式没有任何关系，二者不能同时使用。
IgnorePatternWhitespace(忽略空白)	忽略表达式中的非转义空白并启用由`#`标记的注释
ExplicitCapture(显示捕获)	仅捕获已被显示命名的组

平衡组/递归匹配

想象一下，平衡组的一个最常见的应用就是匹配HTML，即匹配可嵌套的层次性结构。假如字符串里的左括号和右括号出现的次数不相等，比如( 5 / ( 3 + 2 ) ) )那么如何才能做到正确的匹配呢？下面是需要用到的语法结构：

(?’group’) 把捕获的内容命名为group,并压入堆栈(Stack)

(?’-group’) 从堆栈上弹出最后压入堆栈的名为group的捕获内容，如果堆栈本来为空，则本分组的匹配失败

(?(group)yes|no) 如果堆栈上存在以名为group的捕获内容的话，继续匹配yes部分的表达式，否则继续匹配no部分

(?!) 零宽负向先行断言，由于没有后缀表达式，试图匹配总是失败

我们需要做的是每碰到了左括号，就在压入一个”Open”,每碰到一个右括号，就弹出一个，到了最后就看看堆栈是否为空－－如果不为空那就证明左括号比右括号多，那匹配就应该失败。正则表达式引擎会进行回溯(放弃最前面或最后面的一些字符)，尽量使整个表达式得到匹配。

\(                         #最外层的左括号
    [^()]*                #最外层的左括号后面的不是括号的内容
    (
        (
            (?'Open'\()    #碰到了左括号，在黑板上写一个"Open"
            [^()]*       #匹配左括号后面的不是括号的内容
        )+
        (
            (?'-Open'\))   #碰到了右括号，擦掉一个"Open"
            [^()]*        #匹配右括号后面不是括号的内容
        )+
    )*
    (?(Open)(?!))         #在遇到最外层的右括号前面，判断黑板上还有没有没擦掉的"Open"；如果还有，则匹配失败

\)                         #最外层的右括号

老实讲，要理解这个例子还是有点难度的。容我再消化一会儿。

总结

好了，正则的入门之旅到这里也就基本结束了。有复杂的也有不复杂的，都要花时间理解，最好的方式就是多写正则。正则是一把利器，用得好就像一把匕首一样，直指要害。