App下載

在線robots.txt文件生成工具

 這款在線robots.txt生成器提供多種常見的設置選項供站長選擇使用,可根據(jù)具體需要生成符合robots協(xié)議的robots文件,是一款非常實用的SEO工具



默認 - 所有機器人是:  
檢索間隔:
Sitemap: (留空為無)
   
普通搜索機器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti
   
特殊搜索機器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9
   
限制目錄: 路徑是相對的,但每個路徑之前都要包含:"/"
 
 
 
 
 
   
   

現(xiàn)在,你創(chuàng)建一個空白的文本文件,命名為:“robots.txt”,然后把上面的內容,復制并粘貼到“robots.txt”中去。把“robots.txt”放在你網(wǎng)站的根目錄,并確保他能讓訪問者(如搜索引擎)訪問到。