Python学习笔记之简略爬虫

　　现阶段咱们运用urllib模块，去做最简略的爬虫，由于比较简略，所以直接看代码就行。首要常识便是经过urllib模块的各个函数加上正则表达式去完结。
 

1. #encoding:utf-8 
2.  
3. import re 
4. import urllib 
5.  
6. #运用urllib的urlopen（）函数翻开一个url地址 
7. #并读取一切的html代码， 
8. def gethtml(url): 
9.     content=urllib.urlopen(url) 
10.     html=content.read() 
11.     return html 
12.  
13.  
14. #依据正则表达式去匹配契合规矩的内容 
15. def geturls(html): 
16.     r=r'data-src="(https://.*?)"' 
17.     alllist=re.findall(r,html) 
18.     return alllist 
19.  
20. #运用urlretrieve（）下载文件 
21. def download(list): 
22.     x=0 
23.     for li in list: 
24.         x=x+1 
25.         urllib.urlretrieve(li,"%s.jpg"%x) 
26.  
27. if  __name__ == '__main__': 
28.     #内在段子 
29.     url = "https://neihanshequ.com/pic/" 
30.     #获取网页源码 
31.     html = gethtml(url) 
32.     #依据必定规矩过滤出想要的内容 
33.     list = geturls(html) 
34.     #下载图片 
35.     download(list) 
36.  
37.     print list