1、res = requests.get(url,params=params,headers=headers)2、特點:    * url為基準的url地址，不包含查詢參數(shù)   * 該方法會自動對params字典編碼,然后和url拼接

import requestsbaseurl = 'http://tieba.baidu.com/f?'params = {  'kw' : '趙麗穎吧',  'pn' : '50'}headers = {'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'}# 自動對params進行編碼,然后自動和url進行拼接,去發(fā)請求res = requests.get(baseurl,params=params,headers=headers)res.encoding = 'utf-8'print(res.text)

1、針對于需要web客戶端用戶名密碼認證的網(wǎng)站2、auth = ('username','password')

import requestsfrom lxml import etreeimport osclass NoteSpider(object):    def __init__(self):        self.url = 'http://code.com.cn/Code/aid1904/redis/'        self.headers = {'User-Agent':'Mozilla/5.0'}        self.auth = ('code','code_2013')    # 獲取    def get_html(self):        html = requests.get(url=self.url,auth=self.auth,headers=self.headers).text        return html    # 解析提取數(shù)據(jù) + 把筆記壓縮包下載完成    def parse_page(self):        html = self.get_html()        xpath_bds = '//a/@href'        parse_html = etree.HTML(html)        # r_list : ['../','day01','day02','redis_day01.zip']        r_list = parse_html.xpath(xpath_bds)        for r in r_list:            if r.endswith('zip') or r.endswith('rar'):                print(r)if __name__ == '__main__':    spider = NoteSpider()    spider.parse_page()

import requestsfrom lxml import etreeimport osclass NoteSpider(object):    def __init__(self):        self.url = 'http://code.com.cn/Code/redis/'        self.headers = {'User-Agent':'Mozilla/5.0'}        self.auth = ('code','code_2013')    # 獲取    def get_html(self):        html = requests.get(url=self.url,auth=self.auth,headers=self.headers).text        return html    # 解析提取數(shù)據(jù) + 把筆記壓縮包下載完成    def parse_page(self):        html = self.get_html()        xpath_bds = '//a/@href'        parse_html = etree.HTML(html)        # r_list : ['../','day01','day02','redis_day01.zip']        r_list = parse_html.xpath(xpath_bds)        for r in r_list:            if r.endswith('zip') or r.endswith('rar'):                file_url = self.url + r                self.save_files(file_url,r)    def save_files(self,file_url,r):        html_content = requests.get(file_url,headers=self.headers,auth=self.auth).content        # 判斷保存路徑是否存在        directory = '/home/redis/'        filename = directory + r
　　　　 #適用頻率很高
　　　　 #if not os.path.exists('路徑'):
　　　　 #　　os.makedirs('路徑') 可遞歸創(chuàng)建
　　　　 #　　os.mkdir('路徑')不能遞歸創(chuàng)建        if not os.path.exists(directory):            os.makedirs(directory)
　　　　         with open(filename,'wb') as f:            f.write(html_content)            print(r,'下載成功')if __name__ == '__main__':    spider = NoteSpider()    spider.parse_page()

1、適用網(wǎng)站: https類型網(wǎng)站但是沒有經(jīng)過 證書認證機構 認證的網(wǎng)站2、適用場景: 拋出 SSLError 異常則考慮使用此參數(shù)

1、verify=True(默認)   : 檢查證書認證2、verify=False（常用）: 忽略證書認證# 示例response = requests.get(    url=url,    params=params,    headers=headers,    verify=False)

1、定義: 代替你原來的IP地址去對接網(wǎng)絡的IP地址。2、作用: 隱藏自身真實IP,避免被封。

西刺代理、快代理、全網(wǎng)代理、代理精靈、... ... 

1、語法結構       proxies = {           '協(xié)議':'協(xié)議://IP:端口號'       }2、示例    proxies = {        'http':'http://IP:端口號',        'https':'https://IP:端口號'    }

import requestsurl = 'http://httpbin.org/get'headers = {    'User-Agent':'Mozilla/5.0'}# 定義代理,在代理IP網(wǎng)站中查找免費代理IPproxies = {    'http':'http://112.85.164.220:9999',    'https':'https://112.85.164.220:9999'}html = requests.get(url,proxies=proxies,headers=headers,timeout=5).textprint(html)

1.從代理IP網(wǎng)站上,抓取免費的代理IP2.測試抓取的IP,可用的保存在文件中

1、語法結構proxies = {    '協(xié)議':'協(xié)議://用戶名:密碼@IP:端口號'}2、示例proxies = {    'http':'http://用戶名:密碼@IP:端口號',    'https':'https://用戶名:密碼@IP:端口號'}

import requestsurl = 'http://httpbin.org/get'proxies = {    'http': 'http://309435365:szayclhp@106.75.71.140:16816',    'https':'https://309435365:szayclhp@106.75.71.140:16816',}headers = {    'User-Agent' : 'Mozilla/5.0',}html = requests.get(url,proxies=proxies,headers=headers,timeout=5).textprint(html)

#python2urllib :URL地址編碼urllib2:請求#python3 - 把python2中urllib和urllib2合并urllib.parse:編碼urllib.requests: 請求

1、打開瀏覽器，F(xiàn)12打開控制臺，找到Network選項卡2、控制臺常用選項   1、Network: 抓取網(wǎng)絡數(shù)據(jù)包        1、ALL: 抓取所有的網(wǎng)絡數(shù)據(jù)包        2、XHR：抓取異步加載的網(wǎng)絡數(shù)據(jù)包        3、JS : 抓取所有的JS文件   2、Sources: 格式化輸出并打斷點調試JavaScript代碼，助于分析爬蟲中一些參數(shù)   3、Console: 交互模式，可對JavaScript中的代碼進行測試3、抓取具體網(wǎng)絡數(shù)據(jù)包后   1、單擊左側網(wǎng)絡數(shù)據(jù)包地址，進入數(shù)據(jù)包詳情，查看右側   2、右側:       1、Headers: 整個請求信息            General、Response Headers、Request Headers、Query String、Form Data       2、Preview: 對響應內容進行預覽       3、Response：響應內容