import reimport urllib.request -----1def gethtml(url): page=urllib.request.urlopen(url) ------2 html=page.read() return htmldef getimg(html): reg = r'src="(.*?\.jpg)"' img=re.compile(reg) html=html.decode('utf-8')#python3 ---------3 imglist=re.findall(img,html) x = 0 for imgurl in imglist: urllib.request.urlretrieve(imgurl,'%s.jpg'%x) x = x+1html=gethtml("http://news.ifeng.com/a/20161115/50258273_0.shtml")print(getimg(html))
上面标了1,2,3,的三个地方Python3.0及以上版本在学爬虫是需要注意的, 如果没有这代码的话可能会出现以下情况
- TypeError: cannot use a string pattern on a bytes-like object 这种情况解决方法就是加上html=html.decode('utf-8')#python3这句代码
- AttributeError: module 'urllib' has no attribute 'urlopen'这种情况的解决办法就是将urllib改成urllib.request就行了
参考于>