很多時候robots.txt 包含了很多信息,有些安全軟件把robots當漏洞來處理,實際上這個算不上漏洞,充其量是因此泄露而已! 以下代碼是禁止直接訪問,但匹配并排除搜索引擎蜘蛛
nginx站點配置文件中加入以上節(jié)點
13280692153