在做(zuò)網站(zhàn)結構分(fēn)析之前，要(yào)理(lǐ)解搜索引擎蜘蛛是(shìε)拟人(rén)化(huà)的(de)算(suàn)法而已。算(suàn)法就(jiù)是(shì)按部就(jiù)班的(de)執行(xíng)事®(shì)先設計(jì)的(de)抓取策略，所以良好(hǎo)的(de)網站(zhàn)結構具備引導、分(fēn)配權重、提高(gāo)♠抓取效率等作(zuò)用(yòng)，隻有(yǒu)內(nèi)部框架搭建好(hǎo)之後，內(nèi)容的(de)布局才能(néng)井然有(yǒu)序，蜘蛛才能(néng)有(yǒ‌u)序爬行(xíng)。
　　事(shì)先問(wèn)題思考：
　　1.蜘蛛是(shì)否實現(xiàn)邏輯上(shàng)的(de)全站(zhàn)抓取
　　2.蜘蛛是(shì)否可(kě)以區(qū)分(fēn)頁面重要(yào)性
　　3.蜘蛛是(shì)否可(kě)以提取頁面的(de)關鍵詞
　　一(yī)、邏輯上(shàng)全站(zhàn)爬行(xíng)
　　1.網站(zhàn)結構優化(huà)
　　網站(zhàn)物(wù)理(lǐ)結構，即基于內(nèi)容聚合的(de)目錄及文(wén)件(jiàn)位置決定的(de)結構。目前的(de)​主流思維就(jiù)是(shì)網站(zhàn)扁平化(huà)設計(jì)，即平行(xíng)結構。如(rú)：
　　列表目錄扁平化(huà)設計(jì)
　　主要(yào)實現(xiàn)方式：
　　第一(yī)種 隻是(shì)簡單的(de)上(shàng)下(xià)頁操作(zuò)

    第二種 在第一(yī)種的(de)基礎上(shàng) 增加頁面的(de)選擇性

    第三種 目前主流的(de)列表頁設計(jì)方式 交流性比較合理(lǐ)

　　首頁的(de)扁平化(huà)設計(jì)
　　首頁一(yī)般是(shì)權重的(de)最高(gāo)頁面，也(yě)是(shì)蜘蛛最先訪問(wèn)的(de)頁面。所以在首頁鏈接對(duì)于頁面的(de)“重要(yào)£性”有(yǒu)一(yī)定影(yǐng)響，但(dàn)往往一(yī)個(gè)網站(zhàn)的(de)頁面成千上(shàng)萬，首頁的(de)鏈接數(shù)理(lǐ)論上(shσàng)維持100-150是(shì)合理(lǐ)的(de)，所以将想要(yào)頻(pín)道(dào)頁、詳細頁在首頁留下(xià)鏈接，實現(xiàn)邏輯上(shàng)首頁扁平化(huà)$設計(jì)。同樣适用(yòng)頻(pín)道(dào)頁等聚合屬性的(de)頁面。
　　那(nà)麽問(wèn)題來(lái)了(le)，面對(duì)數(shù)量巨大(dà)頁面，如(rú)何保證都(dōu)可(kě)以實現(xiàn)被爬行(xíng)₽抓取?
　　樹(shù)形結構的(de)輔助，就(jiù)是(shì)為(wèi)了(le)解決，扁平化(huà)帶來(lái)的(de)不(bù)足，≈在導航欄、面包屑導航等設計(jì)頁面層級思維，輔助蜘蛛對(duì)網站(zhàn)結構的(de)理(lǐ)解。
　　如(rú)：采用(yòng)二級域名的(de)網站(zhàn)樹(shù)形結構
　　總體(tǐ)上(shàng)扁平化(huà)+樹(shù)形結構才是(shì)合理(lǐ)的(de)網站(zhΩàn)結構優化(huà)策略組合。

　　2.鏈接結構優化(huà)
　　兩種蜘蛛抓取不(bù)到(dào)的(de)頁面：網站(zhàn)本身(shēn)不(bù)希望被收錄的(de)頁面;沒有(yǒu)鏈接到(dào)達的(de)頁面，即孤島'頁面。對(duì)于沒有(yǒu)被首頁推薦的(de)頁面，可(kě)以再內(nèi)鏈上(shàng)補充。合理(lǐ)的(de)內(nèi)鏈φ就(jiù)是(shì)一(yī)個(gè)四通(tōng)八達、井然有(yǒu)序的(de)交通(tōng)系統，蜘蛛就(jiù)是(shì)來(lái)往的(de)車(chē)輛(l∞iàng)。社會(huì)化(huà)、描文(wén)本、設置鏈接入口等。
　　3.Domain結構優化(huà)
　　主要(yào)是(shì)二級域名和(hé)二級目錄的(de)選擇策略。沒有(yǒu)絕對(duì)的(de)好(hǎo)與不(bù)好(hǎo)，就(ji←ù)科(kē)易網小(xiǎo)編來(lái)說(shuō)目前公司網站(zhàn)正在有(yǒu)二級域名網站(zhàn)結構向二級目錄轉變，隻是(shì)采取适應當前科(kē)♣易網發展的(de)核心：塑造公司品牌。所以根據自(zì)身(shēn)特點選擇合理(lǐ)的(de)domain策略。
　　二、重要(yào)性的(de)主導
　　對(duì)于搜索引擎來(lái)說(shuō)，什(shén)麽樣頁面會(huì)被認為(wèi)&ldq±uo;更重要(yào)”?有(yǒu)這(zhè)麽一(yī)句話(huà)：每個(gè)鏈接都(d&ōu)是(shì)一(yī)個(gè)投票(piào)，意思是(shì)：頁面的(de)所有(yǒu)鏈接都(dōu)是(shì)投票(piào)。在搜索引擎看(kàn)來(lái)：獲得(de)<更多(duō)內(nèi)部投票(piào)的(de)網頁相(xiàng)對(duì)來(lái)說(shuō)更加重要(yào )。
　　如(rú)：搜索引擎角度頁面重要(yào)性 黃(huáng)色>紅(hóng)色>藍(lán)色>綠(lǜ)&色
　　三、網頁的(de)标簽：關鍵詞
　　搜索引擎在分(fēn)析頁面的(de)內(nèi)容是(shì)優先從(cóng)TDK入手，即title、descri₹ption、keyword;之後就(jiù)是(shì)H标簽、alt标簽;最後是(shì)TF-IDF ，即詞頻(pín)-文(wén)件(λjiàn)頻(pín)率。從(cóng)三個(gè)的(de)關聯度定義頁面的(de)“标簽”，即抓取的(de)•時(shí)頁面的(de)定義的(de)關鍵詞。