正则表达式总结

1、常见匹配模式

• \w：匹配字母数字及下划线
• \W：匹配非字母数字下划线
• \s：匹配任意空白字符，等价于 [\t\n\r\f]
• \S：匹配任意非空字符
• \d：匹配任意数字，等价于 [0-9]
• \D：匹配任意非数字
• \A：匹配字符串开始
• \Z：匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串
• \z：匹配字符串结束
• \G：匹配最后匹配完成的位置
• \n：匹配一个换行符
• \t：匹配一个制表符
• ^：匹配字符串的开头
• $：匹配字符串的末尾
• . ：匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符
• [...] ：用来表示一组字符，单独列出（[amk]匹配'a'，'m'或'k'）
• [^...] ：不在[]中的字符（[^abc]匹配除了a,b,c之外的字符）
• * ：匹配0个或多个的表达式
• + ：匹配1个或多个的表达式
• ？：匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
• {n} ：精确匹配n个前面表达式
• {n,m} ：匹配n到m次由前面的正则表达式定义的片段，贪婪方式
• a|b ：匹配a或b
• () ：匹配括号内的表达式，也表示一个组

2、re.match

尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配的话，match()就会返回None

import re
content = 'Hello 123 4567 World_This is a Regex Demo'

• 最常规的匹配

#常规匹配
result = re.match('^Hello\s\d{3}\s\d{4}\s\w{5}.*$',content)
print(result)
#输出：<re.Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>
print(result.group())
#输出：Hello 123 4567 World_This is a Regex Demo

• 泛匹配

#泛匹配
result = re.match('^Hello.*Demo$',content)
print(result)
#输出：<re.Match object; span=(0, 41), match='Hello 123 4567 World_This is a Regex Demo'>

• 匹配目标

#匹配目标
result = re.match('^Hello\s(\d+)\s.*Demo$',content)
print(result.group(1))  #(正则表达式中出现的第一个小括号是group(1))
#输出：123

• 贪婪匹配

#贪婪匹配(.*匹配尽可能多的字符)
result = re.match('^He.*(\d+)\s(\d+).*Demo$',content)
print(result.group(1))
#输出：3
print(result.group(2))
#输出：4567

• 非贪婪匹配

#非贪婪匹配(.*?匹配尽可能少的字符)
result = re.match('^He.*?(\d+)\s(\d+).*Demo$',content)
print(result.group(1))
#输出：123
print(result.group(2))
#输出：4567

• 指定匹配模式

#当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符
content2 = '''Hello 1234567 World_This
is a Regex Demo
'''
result = re.match('^He.*?(\d+).*?Demo$',content,re.S)
print(result.group(1))
#输出：1234567

• 转义

content3 = 'price is $5.00'
result = re.match('price is \$5\.00',content3)
print(result)
#输出<re.Match object; span=(0, 14), match='price is $5.00'>

总结：

尽量使用泛匹配，使用括号得到匹配目标，尽量使用非贪婪模式，有换行符就用re.S

3、re.search

扫描整个字符串返回第一个成功匹配的结果

import re

content4 = 'Extra strings Hello 1234567 World_This is a Regex Demo Extra strings'
result = re.search('Hello.*?(\d+).*?Demo',content4)
print(result.group(1))
#输出1234567
#[解释]
#与re.match不同，re.search扫描整个字符串并返回第一个成功的匹配

总结：

为匹配方便，能用search就不用match

4、re.findall

搜索字符串，以列表的形式返回全部能匹配的子串

import re

html = '''<div id="songs-list">
    <h2 class="title">经典老歌</h2>
    <p class="introduction">
        经典老歌列表
    </p>
    <ul id="list" class="list-group">
        <li data-view="2">一路上有你</li>
        <li data-view="7">
            <a href="/2.mp3" singer="任贤齐">沧海一声笑</a>
        </li>
        <li data-view="4" class="active">
            <a href="/3.mp3" singer="齐秦">往事随风</a>
        </li>
        <li data-view="6"><a href="/4.mp3" singer="beyond">光辉岁月</a></li>
        <li data-view="5"><a href="/5.mp3" singer="陈慧琳">记事本</a></li>
        <li data-view="5">
            <a href="/6.mp3" singer="邓丽君">但愿人长久</a>
        </li>
    </ul>
</div>'''

#尝试匹配齐秦，往事随风
result1 = re.search('<li.*?active.*?singer="(.*?)">(.*?)</a>',html,re.S)
if result1:
    print(result1.group(1),result1.group(2))
#输出结果：齐秦 往事随风

#尝试使用re.findall进行匹配
#re.findall
result2 = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>',html,re.S)
#print(result2)
for result in result2:
    print(result)
#输出结果：
#('/2.mp3', '任贤齐', '沧海一声笑')
#('/3.mp3', '齐秦', '往事随风')
#('/4.mp3', 'beyond', '光辉岁月')
#('/5.mp3', '陈慧琳', '记事本')
#('/6.mp3', '邓丽君', '但愿人长久')


#尝试匹配所有歌名
result3 = re.findall('<li.*?>\s*?(<a.*?>)?(\w+)(</a>)?\s*?</li>',html,re.S)
for i in result3:
    print(i[1])
#输出结果：
#一路上有你
#沧海一声笑
#往事随风
#光辉岁月
#记事本
#但愿人长久

5、re.sub

替换字符串中每一个匹配的子串后返回替换后的字符串

import re

content = "Extra things hello 123455 World_this is a regex Demo extra things"

content2 = re.sub('(\d+)','testReplace',content)
print(content2)
#输出结果：
#Extra things hello testReplace World_this is a regex Demo extra things


#在有些情况下我们替换字符的时候，还想获取我们匹配的字符串，然后在后面添加一些内容，可以通过下面方式实现：
content3 = re.sub('(\d+)',r'\1 7890',content)
print(content3)
#输出结果：
#Extra things hello 123455 7890 World_this is a regex Demo extra things

这里需要注意的一个问题是\1是获取第一个匹配的结果，为了防止转义字符的问题，我们需要在前面加上r

6、re.compile

将正则表达式编译成正则表达式对象，方便复用该正则表达式

import re
content= """hello 12345 world_this
123 fan
"""

pattern =re.compile("hello.*fan",re.S)

result = re.match(pattern,content)
print(result)
print(result.group())
#输出结果：
#<re.Match object; span=(0, 30), match='hello 12345 world_this\n123 fan'>
#hello 12345 world_this
#123 fan

7、爬取豆瓣读书页面的书籍信息

import requests
import re
content = requests.get('https://book.douban.com/').text
pattern = re.compile('<li.*?cover.*?href="(.*?)".*?title="(.*?)".*?more-meta.*?author">(.*?)</span>.*?year">(.*?)</span>.*?</li>', re.S)
results = re.findall(pattern, content)
print(results)

for result in results:
    url,name,author,date = result
    author = re.sub('\s','',author)
    date = re.sub('\s','',date)
    print(url,name,author,date)

随着网页结构的升级，上述代码可能需要做出相应的调整

#2019.10.12测试运行通过
import requests
import re
content = requests.get('https://book.douban.com/').text
pattern = re.compile('<li.*?title.*?href="(.*?)".*?title="(.*?)".*?more-meta.*?author">(.*?)</span>.*?year">(.*?)</span>.*?</li>', re.S)
results = re.search(pattern, content)
#print(results)

print(results.group(1))
print(results.group(2))
print(results.group(3))
#【输出结果如下】
#https://www.douban.com/doubanapp/redirect?channel=top-nav&direct_dl=1&download=iOS
#世界迷宫三部曲

#                    [法] 玛格丽特·尤瑟纳尔