博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
magento robots.txt
阅读量:6344 次
发布时间:2019-06-22

本文共 1260 字,大约阅读时间需要 4 分钟。

hot3.png

User-agent: *

Sitemap: http://example.com/sitemap/sitemap.xml

Disallow: /app/

Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /media/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /skin/
Disallow: /var/

Disallow: /api.php

Disallow: /cron.php
Disallow: /cron.sh
Disallow: /get.php
Disallow: /install.php

Disallow: /index.php/

Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
Disallow: /catalog/product/gallery/

Disallow: /*.js$

Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?SID=

Disallow: /*?dir*

Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*
Disallow: /*?p=*&

http://turnkeye.com/blog/optimize-robots-txt-for-magento/

http://www.byte.nl/blog/magento-robots-txt/
http://www.magentocommerce.com/magento-connect/xml-sitemap-by-activo.html
http://inchoo.net/ecommerce/ultimate-magento-robots-txt-file-examples/

转载于:https://my.oschina.net/liufeng815/blog/353502

你可能感兴趣的文章
python 字符编码
查看>>
269D Maximum Waterfall
查看>>
C++11 多线程
查看>>
sed-加速你在Linux的文件编辑
查看>>
HttpServer发送数据到kafka
查看>>
phpcms站---去除域名绑定目录中的HTML
查看>>
2017-5-3 打印控件、MDI 窗体容器
查看>>
20155303 2016-2017-2 《Java程序设计》第九周学习总结
查看>>
一次很失败的抄底
查看>>
数据结构C++(10)二叉树——链表实现(linkBinaryTree)
查看>>
利用Condition实现多线程交替执行
查看>>
里氏替换原则(设计模式原则2)
查看>>
lamp一键安装
查看>>
解决“iOS 7 app自动更新,无法在app中向用户展示更新内容”问题
查看>>
OpenCV——Haar-like特征
查看>>
HttpWebResponse发送post请求并接收
查看>>
python 相对路径和绝对路径的区别
查看>>
Day36 python基础--并发编程基础5
查看>>
《Python从小白到大牛》第6章 数据类型
查看>>
三层架构的是与非
查看>>