登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 资源区 › 教程 ›通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛

新程序 2025-5-27 16:22:05
程序园永久vip申请，500美金$，无限下载程序园所有程序/软件/数据/等
通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎
  1. User-agent: Baiduspider
  2. Disallow: /

  4. User-agent: 360Spider
  5. Disallow: /

  7. User-agent: YisouSpider
  8. Disallow: /
复制代码
屏蔽全部蜘蛛
  1. User-agent: *
  2. Disallow: /
复制代码


通过robotstxt文件屏蔽

使用道具 举报

相关推荐
骆贵
2025-10-19 22:09:24

举报

程序园永久vip申请，500美金$，无限下载程序园所有程序/软件/数据/等
前排留名，哈哈哈
杓疠?
2025-10-21 00:47:42

举报

程序园永久vip申请，500美金$，无限下载程序园所有程序/软件/数据/等
分享、互助 让互联网精神温暖你我
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
新程序
2025-10-21 00:47:42

5

粉丝关注

1112

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫