#Robots

robots.txt 是一个纯文本文件，用于控制搜索引擎爬虫（如 Googlebot、Bingbot）对网站的访问权限。它遵循特定的语法规则，并支持多种指令。