鹅鹅鹅
  • 独立站
  • 社交媒体
  • 百宝箱
  • 穷鬼专区

#Robots

什么是Robots.txt

2025年04月26日  |   2 分钟  |  222 个字

/cover/what-is-robots-cover.webp
robots.txt 是一个纯文本文件,用于控制搜索引擎爬虫(如 Googlebot、Bingbot)对网站的访问权限。它遵循特定的语法规则,并支持多种指令。
阅读全文

大鹅  • © 2025  •  鹅鹅鹅

Powered by Hugo & Lightbi. Made with ❤ by Bino