<noframes id="h9jpd"><address id="h9jpd"><nobr id="h9jpd"></nobr></address>

<form id="h9jpd"><nobr id="h9jpd"><th id="h9jpd"></th></nobr></form>

<form id="h9jpd"><th id="h9jpd"><th id="h9jpd"></th></th></form>

    <noframes id="h9jpd"><span id="h9jpd"><span id="h9jpd"></span></span>
    <span id="h9jpd"><span id="h9jpd"><track id="h9jpd"></track></span></span>

    <noframes id="h9jpd"><form id="h9jpd"></form>
    <form id="h9jpd"><th id="h9jpd"></th></form>
    咨詢,就免費贈送域名與服務器,咨詢熱線:18923197528當前位置: 主頁 > 網絡推廣 > 百度推廣 >
    推薦內容
    聯系我們
    QQ:835763446
    電話咨詢:18923197528
    E-mail:1261182346@qq.com
    地址:佛山市禪城區江灣三路28號 佛山軟件產業園8號樓6樓

    baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測

    文章來源:http://www.fsyiteng.cn 文章作者:佛山SEO/網站建設 2019-07-27

    baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。佛山網站優化小編為你整理分享baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。

    我們經常在網站日志中看到各種爬蟲抓取記錄,最常見的就是百度蜘蛛等搜索引擎,以百度為例,通常我們判斷是否是百度蜘蛛抓取看用戶代理字符串也就是User-Agent,但是User-Agent是可以模擬的,所以很多時候也會有虛假的模擬偽裝成百度蜘蛛來抓取,這時候我們就需要學會分辨真偽。

    搜素引擎蜘蛛

    首先是百度User-Agent代理字符串,百度官方公布的有如下User-Agent:

    移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

    PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

    新增渲染UA:

    移動UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

    PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

    需要注意的是百度新增了一個移動的User-Agent,和一個PC的User-Agent。我們知道了百度蜘蛛的User-Agent,如何正確識別和判斷某條抓取是否是真實的百度蜘蛛。

    如何識別百度蜘蛛

    1、首選我們需要通過關鍵詞找User-Agent中是否包含Baiduspider;

    2、如果想區分移動和PC的蜘蛛的話,我們還需要在結果中再進行關鍵詞過濾,移動端的User-Agent包含:Android 、iPhone、Mobile等三個中至少一個。

    3、通過上述操作我們可以分辨出哪些抓取是百度蜘蛛抓取,但并不能分辨真偽。

    判斷百度蜘蛛真偽

    1、驗證百度蜘蛛真偽我們一般使用的是DNS反查IP的方式來進行判斷,首選我們需要找到上述抓取記錄中蜘蛛的IP。

    真百度蜘蛛

    假百度蜘蛛

    2、以windows操作系統為例,開始運行中輸入cmd 彈出窗口中輸入 nslookup (上述IP地址),判斷百度蜘蛛的真偽,真是百度蜘蛛結果中會返回以*.baidu.com 或*.baidu.jp 的格式命名hostname,如不包含則為假百度蜘蛛。

    3、也可使用本站提供的在線百度蜘蛛真偽查詢工具,鏈接地址在本文頂部。

    baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。佛山網站優化小編為你整理分享baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。

    日韩新片_久久中文字幕免费高清_漂亮人妻被中出中文字幕_寡妇的批日起又紧水又多_狐妖小红娘在线观看_亚洲美女网