新程序 发表于 2025-5-27 16:22:05

通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎
User-agent: Baiduspider
Disallow: /

User-agent: 360Spider
Disallow: /

User-agent: YisouSpider
Disallow: /屏蔽全部蜘蛛
User-agent: *
Disallow: /

骆贵 发表于 2025-10-19 22:09:24

前排留名,哈哈哈

杓疠? 发表于 2025-10-21 00:47:42

分享、互助 让互联网精神温暖你我

寥唏 发表于 2025-12-8 15:44:28

鼓励转贴优秀软件安全工具和文档!

班嘉淑 发表于 2025-12-8 20:59:10

懂技术并乐意极积无私分享的人越来越少。珍惜

闹忧踫 发表于 2025-12-18 09:35:28

分享、互助 让互联网精神温暖你我

栓汨渎 发表于 2025-12-23 12:46:51

收藏一下   不知道什么时候能用到

县挫伪 发表于 2026-1-11 03:40:57

谢谢楼主提供!

司空娅玲 发表于 2026-1-17 15:05:05

很好很强大我过来先占个楼 待编辑

诘琅 发表于 2026-1-18 03:54:21

感谢分享,下载保存了,貌似很强大

郜庄静 发表于 2026-1-19 05:21:29

喜欢鼓捣这些软件,现在用得少,谢谢分享!

跟尴 发表于 2026-1-20 17:53:10

收藏一下   不知道什么时候能用到

扎先 发表于 2026-1-21 11:22:09

懂技术并乐意极积无私分享的人越来越少。珍惜

啦汇 发表于 2026-1-22 20:31:16

用心讨论,共获提升!

柩通奉 发表于 2026-1-23 07:04:04

前排留名,哈哈哈

咪四 发表于 2026-1-24 06:37:09

yyds。多谢分享

阮蓄 发表于 2026-1-24 09:11:52

热心回复!

醋辛 发表于 2026-1-24 12:23:42

很好很强大我过来先占个楼 待编辑

诈知 发表于 7 天前

yyds。多谢分享

坏级尹 发表于 5 天前

过来提前占个楼
页: [1]
查看完整版本: 通过robots.txt文件屏蔽搜索引擎蜘蛛