要知道在做SEO優(yōu)化搜索引擎優(yōu)化優(yōu)化的過程傍邊,有時(shí)候是需要對(duì)搜索引擎蜘蛛進(jìn)行屏蔽的,就是阻止對(duì)網(wǎng)站的某個(gè)當(dāng)?shù)剡M(jìn)行抓取,那么我們應(yīng)該如何屏蔽搜索引擎蜘蛛呢?下面我們一起來看一看具體的操作方法。
百度蜘蛛抓取我們的網(wǎng)站,希望我們的網(wǎng)頁能被包括在它的查找引擎中。將來,當(dāng)用戶查找時(shí),它會(huì)給我們帶來一定量的查找引擎優(yōu)化流量。當(dāng)然,我們不想讓查找引擎抓取一切東西。
因而,此時(shí)我們只希望可以抓取查找引擎查找到的內(nèi)容。例如,用戶的隱私和背景信息不希望查找引擎被捕獲和包括。解決這些問題有兩種佳方法,如下所示:
robots協(xié)議文件屏蔽百度蜘蛛抓取
robots協(xié)議是放在網(wǎng)站根目錄下的協(xié)議文件,可以通過網(wǎng)址訪問,當(dāng)百度蜘蛛抓取我們的網(wǎng)站時(shí),它會(huì)先訪問這個(gè)文件。由于它告訴蜘蛛哪些能抓,哪些不能。
robots協(xié)議文件的設(shè)置比較簡(jiǎn)單,可以通過User-Agent、Disallow、Allow這三個(gè)參數(shù)進(jìn)行設(shè)置。
·User-Agent:對(duì)不同查找引擎的聲明;
·Disallow:不容許抓取的目錄或頁面;
·Allow:被容許抓取的目錄或頁面通??梢允〉艋虿粚?,由于假設(shè)你不寫任何不能抓取的東西,它就可以被抓取。
下面我們來看一個(gè)示例,場(chǎng)景是我不希望百度抓取我網(wǎng)站一切的css文件,data目錄、搜索引擎優(yōu)化-tag.html頁面
如上所述,user-agent聲明晰蜘蛛的名稱,這意味著它針對(duì)的是百度蜘蛛。以下內(nèi)容無法獲取"/*。css",首要/指的是根目錄,這是您的域名。 *是代表任何內(nèi)容的通配符。這意味著無法抓取以.css結(jié)束的一切文件。這是你自己的兩個(gè)經(jīng)歷。邏輯是相同的。
假設(shè)要檢測(cè)前次設(shè)置的周游器文件,可以訪問本文《檢查robots是否正確的東西介紹》并獲取具體的東西來檢測(cè)您的設(shè)置。
通過403情況碼,束縛內(nèi)容輸出,屏蔽蜘蛛抓取。
403情況代碼是http協(xié)議中的網(wǎng)頁回來情況代碼。當(dāng)查找引擎遇到403情況代碼時(shí),它知道這些頁面受權(quán)限束縛。我無法訪問它。例如,假設(shè)您需求登錄才能查看內(nèi)容,查找引擎自身將無法登錄。假設(shè)您回來403,他也知道這是權(quán)限設(shè)置頁面,無法讀取內(nèi)容。當(dāng)然,它不會(huì)被包括在內(nèi)。
回來403情況代碼時(shí),應(yīng)該有一個(gè)類似于404頁面的頁面。提示用戶或蜘蛛履行他們想要訪問的內(nèi)容。兩者都是不可或缺的。您只需提示頁面,情況代碼回來200,這是百度蜘蛛的大量重復(fù)頁面。有403個(gè)情況代碼但回來不同的內(nèi)容。這也不是很友好。
終究,關(guān)于機(jī)器人協(xié)議,我想補(bǔ)充一點(diǎn):“現(xiàn)在,查找引擎將通過網(wǎng)頁的布局和布局來辨認(rèn)網(wǎng)頁的用戶友好性。假設(shè)阻止css文件和js文件相關(guān)到布局,然后查找引擎我不知道你的網(wǎng)頁布局是好是壞。因而不主張阻止這些內(nèi)容來自蜘蛛。
365*24小時(shí)全國(guó)統(tǒng)一服務(wù)熱線
400 0769 366
郵箱:dgce@dgce.com.cn
地址:南城街道宏一路G1蜂匯1棟寫字樓803、804
業(yè)務(wù)咨詢微信
華商首頁/ 營(yíng)銷型網(wǎng)站/ 網(wǎng)站建設(shè)/ 外貿(mào)網(wǎng)站/ seo優(yōu)化/ 微信營(yíng)銷/ 網(wǎng)站建設(shè)案例/ 網(wǎng)站建站資訊/ 關(guān)于我們/ 往期案例/ 往期資訊/ 服務(wù)項(xiàng)目/
熱門搜索:東莞網(wǎng)站建設(shè)東莞做網(wǎng)站東莞建網(wǎng)站
華商網(wǎng)絡(luò)專業(yè)為企業(yè)提供基礎(chǔ)互聯(lián)網(wǎng)建設(shè)服務(wù):網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)站設(shè)計(jì),微官網(wǎng)設(shè)計(jì)制作,小程序開發(fā)等等,您的選擇是我們奮力向前的最好動(dòng)力!
版權(quán)所有:廣東華商網(wǎng)絡(luò)科技有限公司 備案號(hào): 粵ICP備13071417號(hào)
今日已有165人獲取方案