首页
工具箱
网络与运维
robots.txt生成器

robots.txt 生成器

可视化配置爬虫规则，生成标准 robots.txt 文件

Sitemap URL（可选，每行一个）

点击「添加规则组」开始配置

生成的 robots.txt

场景示例 — 点击「填入」加载常用配置

禁止爬取管理后台

允许所有爬虫，但禁止访问 /admin/ 目录

只允许 Googlebot

只允许 Google 爬虫，禁止其他所有爬虫

允许所有爬虫

完全开放，允许所有爬虫访问所有页面

关于 robots.txt 生成器

robots.txt 是网站根目录下的文本文件，告知搜索引擎爬虫哪些页面可以抓取、哪些不可以
支持多个 User-agent 规则组，可针对不同爬虫设置不同的访问规则
生成的文件需上传到网站根目录，通过 https://yourdomain.com/robots.txt 访问

操作说明

点击「添加规则组」新增一个 User-agent 规则块，选择爬虫类型并添加 Allow/Disallow 规则
每个规则组可添加多条路径规则，支持通配符（* 匹配任意字符，$ 匹配行尾）
右侧实时预览生成内容，点击「下载 robots.txt」保存文件

注意事项

robots.txt 是君子协议，恶意爬虫不会遵守；敏感内容应通过登录验证保护，而非仅依赖 robots.txt
Disallow 规则不会阻止页面被索引，如需阻止索引应在页面中添加 <meta name="robots" content="noindex">
所有处理均在浏览器本地完成，不会上传任何数据

robots.txt 知识详解

常见爬虫 User-agent 列表

爬虫名称	User-agent	所属
Google 搜索	`Googlebot`	Google
Google 图片	`Googlebot-Image`	Google
Bing 搜索	`Bingbot`	Microsoft
百度搜索	`Baiduspider`	百度
所有爬虫	`*`	通配符

语法示例

# 禁止所有爬虫访问整个网站
User-agent: *
Disallow: /

# 允许所有爬虫访问所有页面
User-agent: *
Allow: /

# 禁止特定目录
User-agent: *
Disallow: /admin/
Disallow: /private/

# 通配符：禁止所有 .pdf 文件
User-agent: *
Disallow: /*.pdf$

# Sitemap 声明
Sitemap: https://example.com/sitemap.xml

相关工具

浏览器信息查询

浏览器信息查询工具，实时检测并展示当前浏览器的详细信息。包括浏览器名称和版本、操作系统类型和版本、User-Agent字符串、屏幕分辨率和色深、设备像素比、Cookie和JavaScript支持状态、语言设置、时区信息等。对于前端开发者来说，了解用户浏览器环境是解决兼容性问题的第一步。可用于测试响应式设计、调试浏览器特性检测代码、收集用户环境信息，帮助开发者快速定位跨浏览器兼容性问题。

HTTP Content-Type（MIME媒体类型）完整对照表，收录常用文件类型对应的Content-Type值。涵盖文本类型（text/html、text/css、text/plain）、应用类型（application/json、application/xml、application/pdf）、图片类型（image/jpeg、image/png、image/gif）、音视频类型、多部分类型（multipart/form-data）等。帮助开发者在设置HTTP请求头、配置Web服务器、开发文件上传功能时快速查找正确的Content-Type值，是API开发和Web开发的必备参考工具。

DNS查询

在线DNS查询工具，支持查询域名的各类DNS记录，包括A记录（IPv4地址）、AAAA记录（IPv6地址）、MX记录（邮件服务器）、CNAME记录（别名）、TXT记录（文本信息/SPF/DKIM）、NS记录（域名服务器）、SOA记录等。可用于验证DNS配置是否生效、排查域名解析故障、检查邮件服务器配置、验证SSL证书域名等场景。是网站运维、域名管理、网络故障排查的必备工具，帮助开发者和运维人员快速诊断DNS相关问题。

HTTP请求头大全

HTTP请求头和响应头完整参考手册，收录HTTP/1.1和HTTP/2协议中所有标准头字段的详细说明。涵盖通用头（Cache-Control、Connection）、请求头（Accept、Authorization、Cookie、User-Agent、Referer）、响应头（Content-Type、Set-Cookie、Location、ETag）、实体头（Content-Length、Content-Encoding）等分类。每个头字段提供语法说明、取值示例和使用场景，是Web开发、API设计、网络调试的必备参考工具，帮助开发者正确配置HTTP头信息。

HTTP状态查询

HTTP状态码完整查询工具，收录所有HTTP状态码的含义、说明和使用场景。按类别分组展示：1xx（信息性状态码）、2xx（成功状态码，如200 OK、201 Created）、3xx（重定向状态码，如301、302、304）、4xx（客户端错误，如400、401、403、404）、5xx（服务器错误，如500、502、503）。每个状态码提供详细说明、常见原因和解决建议，是Web开发、API调试、服务器运维的必备参考工具，帮助开发者快速理解和处理HTTP错误。

Meta标签分析工具

在线网页Meta标签分析工具，输入网页URL后自动抓取并解析页面的所有Meta标签信息。展示页面标题（title）、描述（description）、关键词（keywords）、Open Graph标签（og:title、og:image、og:description）、Twitter Card标签、Canonical链接、Robots指令等SEO相关信息。帮助SEO工程师和网站管理员快速检查网页的SEO配置是否完整规范，验证社交媒体分享预览效果，是网站SEO优化和内容营销的实用诊断工具。

HTTP请求方法表

HTTP请求方法完整参考表，详细说明GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS、CONNECT、TRACE等所有HTTP方法的语义、特性和使用场景。每个方法标注是否幂等、是否安全、是否可缓存等特性，并提供RESTful API设计中的最佳实践建议。是Web开发、API设计、前后端联调的必备参考工具，帮助开发者正确选择和使用HTTP方法，设计符合REST规范的API接口，提升API的可读性和可维护性。

子网掩码计算

在线子网掩码计算工具，输入IP地址和子网掩码（或CIDR前缀长度），自动计算网络地址、广播地址、可用IP地址范围、可用主机数量等子网信息。支持CIDR表示法（如192.168.1.0/24）和点分十进制子网掩码（如255.255.255.0）两种输入方式。子网划分是网络规划、数据中心设计、云计算VPC配置的基础知识。本工具适用于网络工程师规划IP地址分配、运维人员配置防火墙规则、开发者理解网络拓扑等场景，所有计算在浏览器本地完成。

User-Agent大全

User-Agent字符串完整参考库，收录主流浏览器（Chrome、Firefox、Safari、Edge）、移动设备（iOS、Android）、搜索引擎爬虫（Googlebot、Baiduspider）、各类应用程序的User-Agent字符串示例。每条UA字符串附有说明，标注对应的浏览器版本、操作系统和设备类型。适用于Web爬虫开发（设置请求UA）、浏览器兼容性测试、服务器端UA解析开发、反爬虫策略研究等场景，是Web开发和网络爬虫开发的实用参考工具。

WebSocket测试

在线WebSocket连接测试工具，支持连接到任意WebSocket服务器（ws://或wss://），发送文本消息并实时显示接收到的响应。提供连接状态指示、消息历史记录、消息时间戳显示等功能，支持JSON格式消息的格式化显示。WebSocket是HTML5提供的全双工通信协议，广泛用于实时聊天、在线游戏、股票行情推送、协同编辑等需要服务器主动推送数据的场景。本工具帮助开发者快速验证WebSocket服务器是否正常工作，调试WebSocket接口，所有连接直接从浏览器发起。

Swagger/OpenAPI查看器

在线Swagger/OpenAPI文档查看器，支持粘贴JSON或YAML格式的OpenAPI 2.0（Swagger）和OpenAPI 3.0规范，在线渲染为交互式API文档界面,在线Swagger在线转Pdf。可浏览所有接口路径、请求参数、响应结构，支持按Tag分组展示，提供接口详情的折叠展开功能。适用于快速预览API文档、团队内部API评审、对接第三方API前的接口了解等场景。无需搭建Swagger UI服务，粘贴规范文档即可立即查看，是API开发和对接的高效辅助工具，所有处理在浏览器本地完成。

Swagger转Markdown

在线Swagger/OpenAPI规范转Markdown文档工具，将JSON或YAML格式的API规范自动转换为结构清晰的Markdown格式文档。支持OpenAPI 2.0和3.0规范，生成包含接口路径、HTTP方法、请求参数（路径参数、查询参数、请求体）、响应状态码和响应结构的完整文档。Markdown格式的API文档便于纳入Git版本控制、发布到技术博客、嵌入README文件，是API文档管理和团队协作的实用工具，所有转换在浏览器本地完成，数据不上传服务器。

Postman Collection转Swagger

在线Postman Collection转Swagger/OpenAPI规范工具，将Postman导出的Collection JSON文件（v2.0/v2.1格式）转换为标准OpenAPI 3.0格式。自动提取Collection中的请求路径、HTTP方法、请求头、请求体、查询参数等信息，生成符合OpenAPI规范的JSON文档。适用于将Postman测试集合转换为正式API文档、与使用Swagger的团队共享API规范、将API文档导入其他支持OpenAPI的工具等场景，所有转换在浏览器本地完成，数据不上传服务器。

GraphQL Schema查看器

在线GraphQL Schema查看器，支持解析和浏览GraphQL Schema定义语言（SDL）格式的Schema文件。展示所有类型定义（Type、Input、Enum、Interface、Union）、查询（Query）、变更（Mutation）和订阅（Subscription）的完整结构，支持字段详情展开查看。GraphQL是Facebook开源的API查询语言，以其灵活的数据获取方式在现代API开发中广泛应用。本工具帮助开发者快速理解GraphQL API的数据结构，是GraphQL开发和对接的实用辅助工具，所有处理在浏览器本地完成。

Git命令速查表

Git命令速查表，收录Git版本控制系统的常用命令及详细说明。按功能分类整理，涵盖仓库初始化、文件暂存、提交管理、分支操作、远程仓库、标签管理、日志查看、撤销回退、变基合并等各类场景的Git命令。每条命令附有参数说明和使用示例，帮助开发者快速查找所需命令。支持关键词搜索快速定位命令，适合Git初学者学习和有经验开发者日常查阅。内容涵盖git init、git clone、git add、git commit、git push、git pull、git branch、git merge、git rebase、git stash等核心命令的完整用法，是日常开发的实用参考手册。

.gitignore文件生成

在线.gitignore文件生成工具，根据项目技术栈快速生成合适的.gitignore配置文件。支持选择多种编程语言（Java、Python、Node.js、C#、Go、Ruby等）、开发框架（Spring Boot、Django、React、Vue、Angular等）、IDE工具（VS Code、IntelliJ IDEA、Eclipse、Xcode等）和操作系统（Windows、macOS、Linux），自动合并生成包含所有相关忽略规则的.gitignore文件。生成的规则覆盖编译产物、依赖目录、IDE配置文件、系统临时文件等常见需要忽略的内容，避免将无关文件提交到版本库，保持仓库整洁，所有处理在浏览器本地完成。

Git Diff在线查看

在线Git Diff查看工具，将git diff输出的补丁格式（unified diff）以高亮可视化方式展示代码变更。支持粘贴git diff、git show或patch文件内容，以红绿高亮对比形式展示新增行、删除行和上下文，清晰呈现代码变更内容。支持并排对比（Side-by-Side）和上下对比（Inline）两种视图模式，可折叠未变更的上下文行。适用于代码审查时快速理解变更内容、分析开源项目的补丁文件、展示代码修改记录等场景。无需安装Git客户端即可查看diff内容，所有处理在浏览器本地完成，代码不上传服务器。

Git提交信息生成

在线Git提交信息（commit message）生成工具，帮助开发者按照Conventional Commits规范快速生成规范的提交信息。通过选择提交类型（feat/fix/docs/style/refactor/perf/test/chore等）、填写影响范围（scope）和简短描述，自动生成符合规范的提交信息格式。支持添加详细正文说明和脚注（Breaking Change、关联Issue等），生成的提交信息可直接复制使用。规范的提交信息有助于自动生成CHANGELOG、语义化版本管理和团队协作。内置常用提交类型说明和示例，帮助团队统一提交风格，所有处理在浏览器本地完成。

Linux命令速查表

Linux命令速查表，收录Linux系统常用命令及详细说明，是开发者和运维人员的实用参考手册。按功能分类整理，涵盖文件操作（ls、cp、mv、rm、find）、文本处理（grep、sed、awk、sort、uniq）、进程管理（ps、top、kill、systemctl）、网络工具（curl、wget、netstat、ss、ping）、权限管理（chmod、chown、sudo）、磁盘管理（df、du、mount）、压缩解压（tar、gzip、zip）等各类场景命令。每条命令附有常用参数说明和实际使用示例，支持关键词搜索快速定位。适合Linux初学者系统学习和有经验的开发运维人员日常查阅，内容持续更新维护。

Shell脚本生成器

在线Shell脚本生成器，通过可视化配置快速生成常用的Bash/Shell脚本模板。支持生成多种类型的脚本模板：文件批量处理脚本、定时任务脚本、服务启停脚本、日志轮转脚本、备份脚本、部署脚本等。生成的脚本包含规范的头部注释（脚本说明、作者、日期、用法）、错误处理（set -e、set -u）、日志输出函数、参数解析等最佳实践代码框架。支持选择目标Shell类型（bash/sh/zsh）和执行环境（Linux/macOS）。适用于运维自动化、CI/CD流程脚本编写、系统管理任务自动化等场景，所有处理在浏览器本地完成。

Crontab表达式工具

在线Crontab表达式工具，提供Cron定时任务表达式的生成、解析和验证功能。通过可视化界面选择执行频率（分钟、小时、日期、月份、星期），自动生成对应的Cron表达式；也可输入已有Cron表达式，解析为人类可读的执行计划描述（如「每天上午9点执行」）。支持标准5段式Cron（Linux crontab）和6段式Cron（Spring/Quartz），显示最近10次执行时间预览，帮助验证表达式是否符合预期。内置常用Cron表达式模板（每分钟、每小时、每天、每周、每月等），适用于Linux定时任务配置、Spring定时任务开发、CI/CD定时触发配置等场景，所有处理在浏览器本地完成。

Dockerfile生成器

在线Dockerfile生成器，根据项目技术栈快速生成符合最佳实践的Dockerfile模板。支持多种运行时环境（Node.js、Python、Java/Spring Boot、.NET、Go、PHP、Ruby等），自动生成包含基础镜像选择、工作目录设置、依赖安装、代码复制、端口暴露、启动命令等完整配置的Dockerfile。生成的Dockerfile遵循Docker最佳实践：使用多阶段构建（Multi-stage Build）减小镜像体积、合并RUN指令减少层数、使用.dockerignore排除无关文件、以非root用户运行等。适用于新项目容器化、学习Docker最佳实践、快速搭建开发环境等场景，所有处理在浏览器本地完成。

Docker Compose生成器

在线Docker Compose配置文件生成器，通过可视化界面快速生成docker-compose.yml配置文件。支持添加多个服务（Web应用、数据库、缓存、消息队列等），配置镜像、端口映射、环境变量、数据卷挂载、网络设置、依赖关系（depends_on）、健康检查等参数。内置常用服务模板（MySQL、PostgreSQL、Redis、MongoDB、Nginx、RabbitMQ、Elasticsearch等），一键添加并自动填充推荐配置。生成的配置文件符合Docker Compose v3规范，可直接用于本地开发环境搭建和测试环境部署。适用于微服务本地联调、开发环境标准化、快速搭建技术栈演示环境等场景，所有处理在浏览器本地完成。

Kubernetes YAML生成器

在线Kubernetes（K8s）YAML配置文件生成器，通过可视化表单快速生成常用的K8s资源配置文件。支持生成Deployment（部署）、Service（服务）、ConfigMap（配置映射）、Secret（密钥）、Ingress（入口）、PersistentVolumeClaim（持久卷声明）、HorizontalPodAutoscaler（水平自动扩缩容）等核心资源的YAML配置。可配置副本数、容器镜像、资源限制（CPU/内存requests和limits）、环境变量、健康检查探针、标签选择器等关键参数，生成符合K8s规范的YAML文件。适用于K8s初学者学习资源配置、快速搭建应用部署配置、标准化团队K8s配置模板等场景，所有处理在浏览器本地完成。

Helm Chart模板生成

在线Helm Chart模板生成工具，快速生成标准的Helm Chart项目结构和模板文件。Helm是Kubernetes的包管理工具，通过Chart将应用的K8s资源打包为可复用的部署单元，支持参数化配置和版本管理。本工具根据应用信息（名称、版本、镜像、端口等）自动生成完整的Chart目录结构，包括Chart.yaml（Chart元数据）、values.yaml（默认配置值）、templates/deployment.yaml、templates/service.yaml、templates/ingress.yaml等标准模板文件。生成的模板遵循Helm最佳实践，使用命名模板和辅助函数，支持多环境配置覆盖。适用于应用K8s部署标准化、多环境配置管理、CI/CD流水线集成等场景，所有处理在浏览器本地完成。