Khi bạn tạo một trang Web WordPress, hệ thống sẽ tự động tạo một tệp robots.txt và đặt nó trong thư mục gốc của máy chủ. Ví dụ: Nếu trang Web của bạn có địa chỉ abcd123.com, bạn có thể truy cập vào tệp robots.txt qua đường dẫn abcd123.com/robots.txt. Kết quả ban đầu của tệp robots.txt sẽ tương tự như sau: User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Trong tệp robots.txt mặc định được tạo ra bởi WordPress, có một quy tắc áp dụng cho tất cả các bots trên trang Web. Sử dụng chỉ thị User-agent: * tệp này thông báo rằng các bots không được phép truy cập vào các thư mục wp-admin và wp-includes.
