很多時候robots.txt 包含了很多信息,有些安全軟件把robots當(dāng)漏洞來處理,實(shí)際上這個算不上漏洞,充其量是因此泄露而已! 以下代碼是禁止直接訪問,但匹配并排除搜索引擎蜘蛛
nginx站點(diǎn)配置文件中加入以上節(jié)點(diǎn)
13280692153