国产精品99一区二区三区,91色色色,97色大香蕉,欧美亚洲精品一区二区久久,久久久欧美精品影院,大香蕉色色网,久久久穴,精品一区二区三区四,亚洲精品久久精品99,韩国精品视频一区二区在线播放

歡迎您訪問思政資源庫！
中唐方德官網 | 思政直播
什么是robots協議

什么是robots協議

86
0
展開
下載
收藏
版權說明

發布日期：2023-01-26

true

來源：百度百科

簡介：
robots協議也稱爬蟲協議、爬蟲規則等，是指網站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。但是，這個robots協議不是防火墻，也沒有強制執行力，搜索引擎完全可以忽視robots.txt文件去抓取網頁的快照。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設置合并到根目錄下的robots.txt，或者使用robots元數據（Metadata，又稱元數據）。

適用專業(1)

    本科(1):

  • 數據科學與大數據技術
    • 展開

適用課程(1)

  • 程序設計基礎（Python語言）
    • 展開
版權說明及權利通知
加入資源庫VIP 本文免費下載
2萬VIP文檔下載
海量文檔免費下載
付費資源7折起
專屬客服服務
僅需0.6元/天
開通VIP
繼續閱讀
VIP用戶可繼續閱讀

相關思政元素

收藏
版權說明
下載
VIP專享文檔
付費資源7折起
專屬客服服務
僅需0.6元/天
立即開通