<pre id="yy9bm"><label id="yy9bm"></label></pre>
    <tr id="yy9bm"></tr>
      1. robots.txt使用時的注意事項

        2017/2/20 8:48:05   閱讀:2141    發布者:2141

          robots.txt文件同時也有一定的風險,里面的隱私文檔最好不要寫在里面,否則的話容易給攻擊者指明了網站的目錄結構和私密數據所在的位置。設置訪問權限,對您的隱私內容實施密碼保護,這樣,攻擊者便無從進入。

          1)robots.txt必須放置在站點的根目錄下,而且文件名必須全部小寫。

          2)不要在robots.txt文件中設置所有的文件都可以被搜索蜘蛛抓取。

          3)為安全考慮,建議很重要的文件夾不要寫在robots.txt文件中。

          常見搜索引擎蜘蛛Robots名字:

          百度Baiduspider :http://www.baidu.com

          360搜索360Spider:https://www.so.com/

          SOSOSosospider:https://www.sogou.com/

          有道YoudaoBot/YodaoBot:http://www.yodao.com/

          搜狗Sogou News Spider:https://www.sogou.com/

          MSNmsnbot/msnbot-media:http://www.msn.com/zh-cn

          谷歌Googlebot :http://www.google.com

          雅虎Inktomi Slurp :http://www.yahoo.com

          必應MSNBOT :http://search.msn.com

        国产a免费一级视频_一级黄片欧美尤物_久久美女网操bb_国产91 在线视频

        <pre id="yy9bm"><label id="yy9bm"></label></pre>
          <tr id="yy9bm"></tr>