日韩欧美综合-国产色影院-黄色欧美大片-奶茶视频黄色-无码粉嫩虎白一线天在线观看-亚洲天堂手机在线-亚洲欧美日本在线-日本特级黄色-亚洲tv在线-婷婷激情综合-亚洲精品无-成人免费黄色-亚洲色图久久久-色噜噜狠狠狠综合曰曰曰-精品久久久精品-蜜臀av在线播放-国产美女高潮流白浆视频

c.setopt(TIMEOUT, 120)

for key in kwargs：

c.setopt(locals()[key], kwargs[key])

c.setopt(URL, url)

c.setopt(WRITEFUNCTION, s.write)

if ‘USERAGENT’ not in kwargs:

c.setopt(USERAGENT, useragent)

if ‘REFERER’ not in kwargs:

c.setopt(REFERER, url)

while 1:

try:

c.perform()

break

except:

if retry:

time.sleep(delay)

else:

return False

return s.getvalue()

　　對于簡單的采集瑯縵沔需要用到的下載功能，已經(jīng)被整合在了這個模塊之中。如User-agent輪換、自動301/302跳轉(zhuǎn)等、使用當(dāng)前URL作為REFERER的有些取巧的體例等。這個模塊的代碼可以日后再慢慢理解，此刻只要知道它的用法即可。

　　首先到放置Python劇本的目錄，將前面一段代碼保留為curl.py，然后在統(tǒng)一目錄下建樹一個新文件，輸入以下測試代碼：

# -*- coding:utf-8 -*-

import curl

print curl.curl('http://g.cn/') #這樣即下載了一個網(wǎng)頁

#以下是斗勁保險的下載體例，因為各類原因，就算總體很不變的網(wǎng)站也偶然會呈現(xiàn)網(wǎng)頁且則無法打開的情形

#當(dāng)網(wǎng)頁下載犯錯時，如不美觀retry為True，則會不竭重試，直到下載完網(wǎng)頁

#delay則指定了幾回重試之間的侍舊肅離，以秒為單元

print curl.curl('http://g.cn/', retry=True, delay=1)

#以下用到了一些Curl的參數(shù)，具體聲名可見：http://curl.haxx.se/libcurl/c/curl_easy_setopt.html

print curl.curl('http://g.cn/', FOLLOWLOCATION=False, COOKIE='mycookie')