会飞的鱼

一个普普通通的
博主
首页 » python爬虫基础 » urlopen函数用法

urlopen函数用法

urllib库

urllib库是python中一个最基本的网络请求库,可以模拟浏览器的行为,向指定服务器发送请求,并可以保存服务器返回的数据。

urlopen函数:

在python3的urllib库中,所有的网络请求相关的方法,都被集成到了urrlib.request模块下,想来看urlopen函数基本的使用:

#导入模块
form urllib import request
#在request下的urlopen去打开mu60.cn这个网站难后它会放回一个响应对象给resp
resp = request.urlopen('http://www.mu60.cn')
#打印网页源代码
print(resp.read())
#会跟在网页看到的有点不一样

实际上,使用浏览器访问mu60.cn,右键查看源代码。可以看到跟我们打印出来数据是一模一样的。也就是说,上面的三行代码就已经帮我们把mu60.cn的首页的全部代码都爬下来了。一个基本的URL请求对应的python代码非常简单。

urlopen函数讲解:

1、URL:请求的URL

2、data:请求的data,如果设置了这个值,那么将变成post请求。

3、放回值:放回值是一个http.client.HTTPResponse对象,这个对象是一个类文件句柄对象。有read(siad)、readline、readlines、getcode等。

read

form urllib import request

resp = request.urlopen('http://mu60.cn')
#默认read是打印全部我们这里只读取20个字节
print(resp.read(20))

readline

form urllib import request

resp = request.urlopen('http://mu60.cn')
#readline只会读取一行
pirnt(resp.readline())

readlines

form urllib import request

resp = request.urlopen('http://mu60.cn')
#如果想读取多行的话就使用readlines它就会把网页以多行的形式打印出来
pritn(resp.readlines())

gercode

form urllib import request

resp = request.urlopen('http://mu60.cn')
#getcode就是放回状态码
pirnt(resp.gercode())

文章如无特别注明均为原创! 作者: ChuMu, 转载或复制请以 超链接形式 并注明出处 ChuMu
原文地址《 urlopen函数用法》发布于2019-7-27

分享到:
打赏

评论

游客

看不清楚?点图切换
切换注册

登录

您也可以使用第三方帐号快捷登录

切换登录

注册