五月天狠狠操,狠狠色丁香婷婷久久综合考虑,99久久综合

1、爬取網頁分析

爬取的目標網址為：https://www.gushiwen.cn/
在登陸界面需要做的工作有，獲取驗證碼圖片，并識別該驗證碼，才能實現登錄。

python網絡爬蟲之模擬登錄自動獲取cookie值驗證碼識別的具體實現

使用瀏覽器抓包工具可以看到，登陸界面請求頭包括cookie和user-agent，故在發送請求時需要這兩個數據。其中user-agent可通過手動添加到請求頭中，而cookie值需要自動獲取。

python網絡爬蟲之模擬登錄自動獲取cookie值驗證碼識別的具體實現

分析完畢，實踐開始！??！

2、驗證碼識別

（1）基于線上打碼平臺識別驗證碼
（2）打碼平臺：超級鷹、云打碼、打碼兔
該項目使用超級鷹打碼平臺完成。網站鏈接：https://www.chaojiying.com/

python網絡爬蟲之模擬登錄自動獲取cookie值驗證碼識別的具體實現

將下載好的源碼進行封裝

python網絡爬蟲之模擬登錄自動獲取cookie值驗證碼識別的具體實現

3、cookie自動獲取

import requests

headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
      #手動處理cookie
      # "Cookie": "acw_tc=2760820816186635434807019e3f39e1bf4a8a9b9ad20b50586fb6c8184f56; xq_a_token=520e7bca78673752ed71e19b8820b5eb854123af; xqat=520e7bca78673752ed71e19b8820b5eb854123af; xq_r_token=598dda88240ff69f663261a3bf4ca3d9f9700cc0; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTYyMTIxOTc0OSwiY3RtIjoxNjE4NjYzNTE1MDI1LCJjaWQiOiJkOWQwbjRBWnVwIn0.BGdEgnctB-rv0Xiu8TxrBEshPF4w0StKOE5jKTxy8OFz_pLwNl5VK9v2e8jyU4jaQt9xZTvgsPiYYbiIgmUUpPkamuT0pITHOFoNoKFYFz0syxQMuuAa93pPvSJxeCutqod4cvdWt6f4iRjtHyjAY0zVrv3xLi2ksc9noSf9sH3eLVu9Yjr3PzbF1QDzbXyQsX7oS5Y5Iwt2p-XartCGMlKWzWz9TPiFc3oZ6o7CMWu7Tvfb5D2XGlIU6L8wlPBMwoz2Zdy_zQif9itUqoBvQjNIa3E6UYag-vlY7nNFSDJh0UCobapBjdNITBVVvwFtYn6C-R16y6O8S5iko4E59g; u=461618663543485; Hm_lvt_1db88642e346389874251b5a1eded6e3=1618663545; device_id=24700f9f1986800ab4fcc880530dd0ed; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1618664825"
  }
session = requests.Session() # 創建session對象
# 第一次使用session，捕獲請求cookie
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = session.get(url = url,headers = headers).text
# 解析驗證碼圖片地址
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0]
# 將驗證碼圖片保存到本地
img_data = session.get(img_src,headers = headers).content
with open('./code.jpg','wb') as fp:
  fp.write(img_data)

4、程序源代碼

chaojiying.py

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class Chaojiying_Client(object):

  def __init__(self, username, password, soft_id):
      self.username = username
      password =  password.encode('utf8')
      self.password = md5(password).hexdigest()
      self.soft_id = soft_id
      self.base_params = {
          'user': self.username,
          'pass2': self.password,
          'softid': self.soft_id,
      }
      self.headers = {
          'Connection': 'Keep-Alive',
          'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
      }

  def PostPic(self, im, codetype):
      """
      im: 圖片字節
      codetype: 題目類型 參考 http://www.chaojiying.com/price.html
      """
      params = {
          'codetype': codetype,
      }
      params.update(self.base_params)
      files = {'userfile': ('ccc.jpg', im)}
      r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
      return r.json()

  def ReportError(self, im_id):
      """
      im_id:報錯題目的圖片ID
      """
      params = {
          'id': im_id,
      }
      params.update(self.base_params)
      r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
      return r.json()


if __name__ == '__main__':
  chaojiying = Chaojiying_Client('超級鷹用戶名', '超級鷹用戶名的密碼', '96001')	#用戶中心>>軟件ID 生成一個替換 96001
  im = open('a.jpg', 'rb').read()													#本地圖片文件路徑 來替換 a.jpg 有時WIN系統須要//
  print(chaojiying.PostPic(im, 1902))												#1902 驗證碼類型  官方網站>>價格體系 3.4+版 print 后要加()

sign in.py

# 模擬登錄
# 流程：1 對點擊登錄按鈕對應的請求進行發送（post請求）
#      2 處理請求參數：
#        用戶名 密碼 驗證碼 其他防偽參數
import requests
from lxml import etree
from chaojiying_Python.chaojiying import Chaojiying_Client

headers = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36",
}
# 封裝好的驗證碼識別函數
def tranformImgCode(imgPath,imgType):
  chaojiying = Chaojiying_Client('用戶名', '密碼', '軟件ID')	        # 用戶中心>>軟件ID 生成一個替換 軟件ID
  im = open(imgPath, 'rb').read()													#本地圖片文件路徑 來替換 a.jpg 有時WIN系統須要//
  return(chaojiying.PostPic(im, imgType))['pic_str']

# 自動獲取cookie
session = requests.Session()

# 識別驗證碼
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = session.get(url = url,headers = headers).text
# 解析驗證碼圖片地址
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn/' + tree.xpath('//*[@id="imgCode"]/@src')[0]
# 將驗證碼圖片保存到本地
img_data = session.get(img_src,headers = headers).content
with open('./code.jpg','wb') as fp:
  fp.write(img_data)

# 識別驗證碼
code_text = tranformImgCode('./code.jpg',1902)
print(code_text)

login_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data = {
  '__VIEWSTATE': 'frn5Bnnr5HRYCoJJ9fIlFFjsta310405ClDr+hy0/V9dyMGgBf34A2YjI8iCAaXHZarltdz1LPU8hGWIAUP9y5eLjxKeYaJxouGAa4YcCPC+qLQstMsdpWvKGjg=',
  '__VIEWSTATEGENERATOR': 'C93BE1AE',
  'from': 'http://so.gushiwen.cn/user/collect.aspx',
  'email': '用戶名', # 更換自己的用戶名
  'pwd': '密碼',     # 更換自己的密碼
  'code': code_text,
  'denglu': '登錄'
}
# 對點擊登錄按鈕發起請求,獲取登錄成功后對應的頁面源碼數據
page_text_login = session.post(url = login_url,data = data,headers = headers).text

with open('./gushiwen.html','w',encoding = 'utf-8') as fp:
  fp.write(page_text_login)

覺得不錯的話，就點個贊吧?。?/p>

到此這篇關于python網絡爬蟲之模擬登錄自動獲取cookie值驗證碼識別的具體實現的文章就介紹到這了,更多相關python 模擬登錄內容請搜索服務器之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持服務器之家！

原文鏈接：https://blog.csdn.net/gets_s/article/details/115839687