对seoer来说对robots.txt理解是网站优化过程中必不可少的，合理利用可以给网站优化带来不好的效果。

#搜索引擎User-Agent代码对照表#########################    搜索引擎                User-Agent代码#    AltaVista                Scooter#    Infoseek                Infoseek#    Hotbot                    Slurp#    AOL Search                Slurp#    Excite                    ArchitextSpider#    Google                    Googlebot#    Goto                    Slurp#    Lycos                    Lycos#    MSN                     MSNBOT#    Netscape                Googlebot#    NorthernLight            Gulliver#    WebCrawler                ArchitextSpider#    Iwon                    Slurp#    Fast                    Fast#    DirectHit                Grabber#    Yahoo Web Pages            Googlebot#    Looksmart Web Pages        Slurp#    Baiduspider                Baidu

#开放百度搜索引擎User-Agent代码，*表示所有###########User-agent： Baiduspider#限制不能搜索的目录，Disallow： 所有目录都在空间开放####Disallow： /admin/Disallow： /include/Disallow： /html/Disallow： /queue/Disallow： /config/#有限的搜索引擎User-Agent代码，*表示所有###########User-agent： *#禁止捕获所有目录的临时限制Disallow： /#限制不能搜索的目录，Disallow： 所有目录都在空间开放######Disallow： /admin/##Disallow： /include/##Disallow： /html/##Disallow： /queue/##Disallow： /config/#目录包括开放搜索#####################################    /#    /advice/#    /help/#    /lm/#    /main/#    /myblog/

美好未来首创1对1项目负责制，项目经理专人全程负责。我们为您提供网站建设优化解决方案，互联网品牌建设与网络营销，设计、技术开发、网站和SEO优化行业的技术和数据支持服务、营销推广等服务。为您的企业获取网络流量，挖掘精准客户，达到更高的销售指标。是您的企业提升产品销量最好的伙伴。