Python学习爬虫时遇到的问题TypeError: cannot use a string pattern on a bytes-like object

来源:转载

import re
import urllib.request-----1
def gethtml(url):
page=urllib.request.urlopen(url) ------2
html=page.read()
return html
def getimg(html):
reg = r'src="(.*?/.jpg)"'
img=re.compile(reg)
html=html.decode('utf-8')#python3---------3
imglist=re.findall(img,html)
x = 0
for imgurl in imglist:
urllib.request.urlretrieve(imgurl,'%s.jpg'%x)
x = x+1
html=gethtml("http://news.ifeng.com/a/20161115/50258273_0.shtml")
print(getimg(html))

上面标了1,2,3,的三个地方Python3.0及以上版本在学爬虫是需要注意的, 如果没有这代码的话可能会出现以下情况


TypeError: cannot use a string pattern on a bytes-like object这种情况解决方法就是加上html=html.decode('utf-8')#python3这句代码
AttributeError: module 'urllib' has no attribute 'urlopen'这种情况的解决办法就是将urllib改成urllib.request就行了

参考于> http://blog.csdn.net/lxh199603/article/details/53192883

分享给朋友:
您可能感兴趣的文章:
随机阅读: