久久精品国产视频_久一在线_欧美一区二区视频_暖暖av_成年人黄色免费视频_国内成人精品2018免费看

robots協(xié)議也稱(chēng)爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則等,是指網(wǎng)站可建立一個(gè)robots.txt文件來(lái)告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取,而搜索引擎則通過(guò)讀取robots.txt文件來(lái)識(shí)別這個(gè)頁(yè)面是否允許被抓取。...