聯系官方銷售客服
1835022288
028-61286886
蜘蛛監控中很多這樣的頁面。
/index.php?s=news&c=comment&m=index&id=1807&&type=0&page=1&0.9999794062690222&callback=jQuery110009550518769024592_1646960477020&_=1646960477021
/index.php?s=news&c=comment&m=index&id=2978&&type=0&page=1&0.226611196182682&callback=jQuery110008022063669223576_1646960418323&_=1646960418324
請教下,怎么樣屏蔽蜘蛛爬取這個,或者關閉這個頁面。
https://robots.bmcx.com/
應該是老大把字母打錯了
http://www.robotstxt.org/robotstxt.html
這個就比較權威。
回復@周磊 感謝,只能這么辦了