刚认识爬虫

1.认识爬虫

通用爬虫：

网络请求过程：

HTTP & HTTPS:

客户端发起一个HTTP请求会携带请求的参数和报头，请求报文是严格规范的。HTTP请求主要分为GET,POST两类。

经过三次握手四次挥手建立起稳定连接后，服务端返回完整的数据，包含状态行，响应正文等。常见的状态码有200，302，403，404，503等。

GET & POST :

GET请求 ：

GET是从服务器上获取指定页面信息，GET请求参数都显示在URL上。"Get"请求的参数是URL的一部分。

POST请求 ：

POST是向服务器提交数据并获取页面信息。POST请求参数在请求体当中，消息长度没有限制而且以隐式的方式进行发送，"POST"请求的参数不在URL中，而在请求体中。

常用请求报文：

• Host：对应网址URL中的Web名称和端口号，用于指定被请求资源的Internet主机和端口号,通常属于URL的Host部分。

• User-Agent：标识客户端身份的名称，通常页面会根据不同的User-Agent信息自动做出适配，甚至返回不同的响应内容。

• Referer：表明产生请求的页面来自于哪个URL，用户是从该Referer页面访问到当前请求的页面。这个属性可以用来跟踪Web请求来自哪个页面，是从什么网站来的等。

• Cookie：浏览器用这个属性向服务器发送Cookie。Cookie是在浏览器中寄存的小型数据体，它可以记载和服务器相关的用户信息，也可以用来实现模拟登录。

2.库与开发工具：

pip install requests

2.1 基本爬虫的过程：

1.准备起始URL (准备UA伪装)——>URL

2.起始的URL发送请求(一般分为get请求和post请求)——>requests

3.获取响应(返回HTML类型数据以文本形式处理)——>响应体

4.数据提取(常见的有re,xpath,bs4)——>数据提取方式

requests请求：

GET请求传参方式：

• 1. url 直接传参

     get_url="https://httpbin.org/get?id=123"

• 2. 通过 params 参数传参

     params={"gender":"nan","name":"dongli"}response=requests.get(url=get_url,params=params)

POST请求传参方式：

通过data进行表单提交

post_url="https://httpbin.org/post"data={"user":"dongli"，"password":"123"}response=requests.post(url=post—_url,data=data)

requests响应 ：

response.encoding='utf-8'print(response.text)#响应内容的字符串形式print(type(response.text))#strprint(response.content)#响应内容的二进制形式print(type(response.content))#bytesprint(response.status_code)#状态码print(response.request)#requests对象 请求对象print(response.request.headers)#请求头print(response.request.url)#请求地址 也就是上面的print(response.url)#响应地址 获取重定向之后的地/址cookies=response.cookies#获取响应之后的cookiesprint(requests.utils.dict_from_cookiejar(cookies))

小案例：

伪装UA发起请求：

# 导入爬虫库importrequests headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/116.0.0.0 Safari/537.36",}response=requests.get("https://httpbin.org/get",headers=headers)print(response)# 获取响应体内容text=response.textprint(text)

带参数的post请求：

importrequests url="https://www.baidu.com"headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/116.0.0.0 Safari/537.36",}data={"user":"zhangsan","password":"qwe123"}response=requests.post(url,headers=headers,data=data)print(response.text)print(response.encoding)print(response.content)print(response.status_code)print(response.request)print(response.request.headers)print(response.url)print(response.cookies)print(requests.utils.dict_from_cookiejar(response.cookies))

带参数的get请求：

importrequests# get请求在url传递参数# url = "https://httpbin.org/get?a=1&b=2"url="https://httpbin.org/get"params={"a":1,"b":2}headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/116.0.0.0 Safari/537.36",}# response = requests.get(url, headers=headers)response=requests.get(url,headers=headers,params=params)print(response.text)

get请求基本使用：

importrequests response=requests.get("https://httpbin.org/get")#获取HTML网页的主要方法，对应于HTTP的GET。print(response)text=response.text#http响应内容的 字符串(str) 形式，请求url对应的页面内容print(text)

port requests

response = requests.get(“https://httpbin.org/get”) #获取HTML网页的主要方法，对应于HTTP的GET。
print(response)

text = response.text #http响应内容的 字符串(str) 形式，请求url对应的页面内容
print(text)