無錫
[切換城市]
收藏千搜 網站地圖
讓全世界精準客戶找到你

百度、360、搜狗、神馬、谷歌排名優化

15206197711

您所在的位置: 首頁?>?千搜學院 > 網站優化

搜索引擎蜘蛛標識及其抓取原理 日期:2019-01-03 11:25:34  作者:千搜網絡  點擊:5267  點贊:
0 +1

桐廬SEO工作者對于搜索引擎蜘蛛的知識應了解的蜘蛛工作原理:蜘蛛在瀏覽網站的時候,首先會去看網站里的機器人文本文件。要是這里面設置了一些不讓蜘蛛抓取的東西,那么蜘蛛就會根據協議,不去抓取這部分內容網址。蜘蛛有自己的代理名字,站長能從日志里看到他們不一樣的名字,這樣子能夠將其進行分辨。搜索引擎標識中下面的幾個名字很常見:

Baiduspider+……

……compatible;Yahoo!……

msnbot-academic……

想讓蜘蛛能抓更多的東西,就需要跟蹤鏈接,一個頁面到另一個??崴普嬲闹┲朐诰W上面爬行一樣,所以得名“蜘蛛”。

 

所有的網址全是相互鏈接形成的,理論上的蜘蛛從每一個頁面都能爬向所有頁??蛇@些頁面不是一個簡單的組合體,蜘蛛得通過它特定的爬行戰略方式才能到達每一個頁面。

 

桐廬SEO需要研究蜘蛛的爬行:其中的兩種爬行不太復雜,廣度、深度優先。若a是一個網址,a1、b1、c1是她能訪問到的下一個鏈接,其中深度優先是蜘蛛根據看到的鏈接一直往前,等到沒有鏈接可以往前爬行了就從頭一個頁面再從另一個鏈接爬行。即從aa1a2a3a4a5a6;ab1b2b3b4b5b6……等到第二層1爬完就開始爬第三層2的鏈接,一直把所有的鏈接都爬完。

 

而廣度優先是從aa1b1c1;a1a2a3a4。先把a能連接的頁面都訪問完,再從a鏈接的下一個頁面a1開始把a1鏈接的所有頁面都訪問完。這兩種簡單的訪問方式,要是時間允許,蜘蛛用這兩種方式分別都能夠將網頁瀏覽完?,F實中這兩種方式是一起使用,就可以為更多的網站服務,能瀏覽到更多的網站和網站里面的內容。

 

所以,就算是蜘蛛可以將一切頁面爬行完,但是也不會這樣子做。所以網站優化工作人員想把自己的網站收錄更多內容,就要用一定策略吸引蜘蛛進行抓取。因為不可以每一個頁面都能夠抓取的到,所以蜘蛛會選擇抓重要的內容。搜索引擎蜘蛛標識及爬行原理這篇已經寫了出來,而蜘蛛認為重要的內容是怎樣的呢,下一篇再詳細講一講這方面的內容,敬請期待。


相關熱搜詞:優化策略

分享至:
window._bd_share_config = { common : { bdText : '自定義分享內容', bdDesc : '自定義分享摘要', bdUrl : '自定義分享url地址', bdPic : '自定義分享圖片' }, share : [{ "bdSize" : 16 }], image : [{ viewType : 'list', viewPos : 'top', viewColor : 'black', viewSize : '16', viewList : ['qzone','tsina','huaban','tqq','renren'] }], selectShare : [{ "bdselectMiniList" : ['qzone','tqq','kaixin001','bdxc','tqf'] }] } with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?cdnversion='+~(-new Date()/36e5)];
$(function(){ $("#praise").click(function(){ var praise_img = $("#praise-img"); var text_box = $("#add-num"); var praise_txt = $("#praise-txt"); var num=parseInt(praise_txt.text()); if(praise_img.attr("src") == ("Images/yizan.png")){ $(this).html(""); praise_txt.removeClass("hover"); text_box.show().html("-1"); $(".add-animation").removeClass("hover"); num -=1; praise_txt.text(num); tijiao(274 , "jian");//參數 }else{ $(this).html(""); praise_txt.addClass("hover"); text_box.show().html("+1"); $(".add-animation").addClass("hover"); num +=1; praise_txt.text(num); tijiao(274 , "jia");//參數 } }); //傳參數AJAX function tijiao(newsid,ftype){ $.post('ajax/fabulous.php', {newsid:newsid, ftype:ftype}, function(d){ }, 'json'); } //function tijiao(newsid,ftype)//提交表單 // { //$.ajax({ type:'POST', url:'ajax/fabulous.php',{newsid:newsid,ftype:ftype} , function(data){ // } //}; }); (function(){ window.scrollReveal = new scrollReveal({ reset: true, move: '50px'}); })(); 欧美交a欧美精品喷水|欧美日韩国产综合一区精|精品人妻无码一区|亚洲午夜无码极品久久|337p日本欧洲亚洲大