久久精品国产视频_久一在线_欧美一区二区视频_暖暖av_成年人黄色免费视频_国内成人精品2018免费看

robots協(xié)議也稱爬蟲協(xié)議、爬蟲規(guī)則等,是指網(wǎng)站可建立一個robots.txt文件來告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取,而搜索引擎則通過讀取robots.txt文件來識別這個頁面是否允許被抓取。...