Cách viết file robots.txt cho WordPress chỉ với 3 bước

Khi xây dựng một trang web WordPress, việc quản lý truy cập của các công cụ tìm kiếm như Googlebot và Bingbot là rất quan trọng. Tuy nhiên, không phải ai cũng biết cách tạo tệp robots.txt để điều chỉnh quyền truy cập này một cách hiệu quả.

Bạn có lo lắng về việc không biết làm thế nào để tạo một tệp robots.txt phù hợp cho trang web WordPress của mình? Bạn cảm thấy bối rối với cú pháp phức tạp và không chắc chắn về cách hoạt động của tệp này? Bạn muốn tối ưu hiệu suất trang web và đảm bảo rằng bots chỉ truy cập vào những trang quan trọng nhất?

Hãy yên tâm! Chúng tôi có giải pháp dễ dàng cho bạn. Trong bài viết này, chúng tôi sẽ giới thiệu 3 cách tạo tệp robots.txt đơn giản và hiệu quả cho trang web WordPress của bạn. Chúng tôi sẽ hướng dẫn bạn nhận diện bots một cách chính xác, cung cấp cú pháp rõ ràng và dễ hiểu, cũng như tối ưu hiệu suất trang web của bạn với tệp robots.txt.

Với những hướng dẫn chi tiết và cách thực hiện dễ dàng, bạn sẽ tự tin hơn trong việc quản lý quyền truy cập của các công cụ tìm kiếm và tăng cường hiệu quả SEO cho trang web WordPress của mình. Bắt đầu thực hiện ngay để nâng cao sự hiện diện của bạn trên Internet!

Tệp robots.txt là gì?

Tệp robots.txt, hay còn gọi là Robots Exclusion Protocol (REP), là một tập tin văn bản đơn giản có định dạng .txt. Tệp này đóng vai trò quan trọng trong việc quản lý truy cập của các công cụ tìm kiếm như Googlebot và Bingbot đối với trang web của bạn. Nó chứa các tiêu chuẩn quy định cách các Robot Web thu thập dữ liệu, truy cập và index nội dung, cung cấp một cách hiệu quả để định rõ quyền hạn của chúng.

robots.txt không chỉ giới hạn ở việc hướng dẫn các công cụ tìm kiếm, mà còn bao gồm các lệnh quan trọng như Meta Robots, Page-Subdirectory, Site-Wide Instructions. Ví dụ, lệnh Follow hay Nofollow link giúp điều chỉnh việc xử lý các liên kết trên trang web.

Cú pháp của tệp robots.txt

Trong tệp robots.txt, sử dụng những cú pháp đặc biệt để hiểu rõ các lệnh và chỉ thị. Dưới đây là 5 thuật ngữ phổ biến mà bạn sẽ gặp trong tệp robots.txt này:

• User-agent: User-agent xác định tên của các trình thu thập dữ liệu web, như Googlebot, Bingbot,…, mà bạn muốn tác động đến.
• Disallow: Lệnh Disallow thông báo cho các User-agent không được phép thu thập bất kỳ dữ liệu nào từ các URL cụ thể. Mỗi URL chỉ có một dòng Disallow.
• Allow (chỉ áp dụng cho bọ tìm kiếm Googlebot): Lệnh Allow cho phép trình thu thập Googlebot truy cập vào một trang hoặc thư mục con cụ thể, mặc dù chúng có thể không được phép vào các trang hoặc thư mục con khác.
• Crawl-delay: Crawl-delay cho biết cho Web Crawler biết cần chờ bao nhiêu giây trước khi tải và thu thập nội dung của trang. Tuy nhiên, lưu ý rằng Googlebot không thừa nhận lệnh này, và bạn cần thiết lập tốc độ thu thập thông qua Google Search Console.
• Sitemap: Lệnh Sitemap được sử dụng để cung cấp vị trí của Sitemap XML liên kết với URL hiện tại. Điều này chỉ được hỗ trợ bởi các công cụ Google, Ask, Bing và Yahoo.

Với hiểu biết về cú pháp và sử dụng tệp robots.txt thông minh, bạn sẽ có sự linh hoạt và kiểm soát cao hơn đối với việc cho phép hay không cho phép các công cụ Google Index trang web của bạn. Tận dụng tối đa công cụ này để tối ưu hóa trang web WordPress và nâng cao hiệu quả của hoạt động SEO.

Công dụng quan trọng của file robots.txt

Tệp robots.txt đóng vai trò then chốt trong việc quản lý lưu lượng truy cập của trình thu thập dữ liệu (còn gọi là Bot) đối với trang web và ẩn các tệp khỏi Google. Thông qua việc sử dụng cú pháp đặc biệt, tệp này ảnh hưởng đến các trang web, tệp đa phương tiện và tệp tài nguyên theo cách khác nhau:

Trang web:

• Quản lý lưu lượng thu thập dữ liệu để tránh quá tải máy chủ do số lượng yêu cầu của trình thu thập dữ liệu của Google.
• Ngăn thu thập dữ liệu các trang không quan trọng hoặc tương tự nhau trên trang web.

Lưu ý: Không sử dụng robots.txt để ẩn các trang web khỏi kết quả tìm kiếm trên Google. Điều này không ngăn trang của bạn xuất hiện trong kết quả tìm kiếm nếu trang khác trỏ đến nó kèm văn bản mô tả.

Tệp đa phương tiện:

• Quản lý lưu lượng thu thập dữ liệu và ngăn các tệp hình ảnh, video và âm thanh xuất hiện trong kết quả tìm kiếm Google.
• Tuy nhiên, không ngăn các trang hoặc người dùng khác liên kết đến các tệp hình ảnh, video và âm thanh của bạn.

Tệp tài nguyên:

• Chặn các tệp tài nguyên nhất định nếu tác động này không ảnh hưởng đáng kể đến các trang có thể tải mà không cần những tài nguyên này.
• Lưu ý, nếu trình thu thập dữ liệu của Google không thể hiểu được trang của bạn khi thiếu những tài nguyên này, không nên chặn chúng.

Lợi ích của tạo tệp robots.txt cho website WordPress

Tạo file robots.txt mang đến nhiều lợi ích vượt trội cho website của bạn. Hãy cùng tìm hiểu những ưu điểm nổi bật:

1. Ngăn chặn nội dung trùng lặp: Giúp tránh việc các nội dung lặp lại xuất hiện trong website, tối ưu hóa cấu trúc trang và cải thiện thứ hạng SEO.
2. Bảo mật các phần riêng tư: Cho phép bạn giữ các phần của trang ở chế độ riêng tư, không bị truy cập bởi các công cụ tìm kiếm.
3. Điều chỉnh kết quả tìm kiếm nội bộ: Giúp giữ các trang kết quả tìm kiếm nội bộ không hiển thị trên kết quả tìm kiếm trang chủ (SERP).
4. Chỉ định vị trí của Sitemap: Xác định vị trí của Sitemap XML liên kết với trang web của bạn, giúp Googlebot dễ dàng tìm hiểu cấu trúc trang.
5. Ngăn Google Index các tệp nhất định: Cho phép bạn ngăn các công cụ Google Index một số tệp nhất định trên trang web, chẳng hạn như hình ảnh, PDF,…
6. Sử dụng lệnh Crawl-delay: Điều này giúp cài đặt thời gian trễ giữa các yêu cầu của các trình thu thập dữ liệu, tránh quá tải máy chủ.

Nhưng lưu ý, nếu bạn không muốn ngăn các Web Crawler thu thập dữ liệu từ website, bạn hoàn toàn không cần tạo tệp robots.txt.

Định dạng cơ bản của tệp robots.txt cho WordPress

Để hiểu rõ hơn về cấu trúc tệp robots.txt, dưới đây là các yếu tố cơ bản bạn nên biết:

• User-agent: Đây là tên của các trình thu thập dữ liệu web (bot) mà bạn muốn tác động đến. Chẳng hạn, Googlebot, Bingbot,…
• Disallow: Lệnh Disallow thông báo cho bot rằng không được phép thu thập dữ liệu từ các URL cụ thể. Mỗi URL chỉ được viết trên một dòng Disallow.
• Allow: Lệnh Allow thông báo cho bot rằng nó được phép truy cập vào các trang hoặc thư mục con cụ thể. Dù có thể không được phép truy cập vào các trang hoặc thư mục con khác.
• Lệnh Crawl-delay: Lệnh Crawl-delay thông báo cho bot biết cần chờ bao nhiêu giây trước khi tải và thu thập nội dung của trang. Tuy nhiên, Googlebot không thừa nhận lệnh này.
• Sitemap: Lệnh Sitemap được sử dụng để cung cấp vị trí của Sitemap XML liên kết với trang web. Hỗ trợ bởi các công cụ Google, Bing và Yahoo.

Tuy nhiên, thực tế trong file robots.txt chứa nhiều dòng User-agent và nhiều chỉ thị hơn, chẳng hạn như Disallow, Allow, Crawl-delay,… Việc viết các lệnh này phân biệt cho từng bot riêng biệt trên từng dòng, nhưng trong trường hợp có nhiều lệnh đối với cùng một loại bot, bot sẽ tuân theo lệnh rõ ràng và đầy đủ nhất.

Dạng của tệp robots.txt chuẩn

Dưới đây là một số ví dụ về cú pháp trong tệp robots.txt chuẩn:

1. Chặn tất cả các Web Crawler không thu thập dữ liệu trên website, bao gồm trang chủ: User-agent: *
Disallow: /

4. Cho phép tất cả các trình thu thập truy cập vào toàn bộ nội dung trên website, bao gồm trang chủ: User-agent: *
Disallow:
5. Chặn Googlebot không thu thập trang nào chứa chuỗi URL www.example.com/example-subfolder/: User-agent: Googlebot
Disallow: /example-subfolder/
6. Chặn Bingbot không thu thập thông tin từ trang cụ thể tại www.example.com/example-subfolder/blocked-page.html: User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html

Dưới đây là ví dụ tệp robots.txt hoạt động cho trang web www.example.com:
Hãy sử dụng cấu trúc này để quản lý truy cập của bots vào website WordPress của bạn một cách hiệu quả và đảm bảo sự linh hoạt trong việc chỉnh sửa các chỉ thị cho từng bot riêng biệt.

Hạn chế của tệp robots.txt

Trước khi tạo hoặc sửa tệp robots.txt, hãy cân nhắc những hạn chế mà phương pháp chặn URL này mang lại. Một số công cụ tìm kiếm có thể không hỗ trợ đầy đủ các lệnh trong tệp robots.txt. Ngoài ra, hướng dẫn trong tệp không thể bắt buộc một trình thu thập dữ liệu làm theo một hành vi cụ thể.

Mỗi trình thu thập dữ liệu sẽ diễn giải cú pháp theo cách riêng, dẫn đến khả năng hiểu lệnh khác nhau. Vì vậy, để đảm bảo sự an toàn của thông tin trước các trình thu thập dữ liệu web, nên áp dụng những phương thức chặn khác như bảo vệ các tệp riêng tư bằng mật khẩu trên máy chủ.

Một trang bị tệp robots.txt chặn vẫn có thể xuất hiện trong kết quả tìm kiếm nếu có trang web khác liên kết đến nó. Dù Google không thu thập hoặc lập chỉ mục nội dung bị chặn, nhưng URL đó có thể xuất hiện trong kết quả tìm kiếm cùng với các thông tin công khai khác.

Cách kiểm tra tệp robots.txt

Để kiểm tra tệp robots.txt, bạn có thể sử dụng công cụ “Trình kiểm tra robots.txt”. Điều này giúp xác định xem tệp của bạn có chặn trình thu thập dữ liệu web của Google khỏi các URL cụ thể hay không.

• Mở công cụ Trình kiểm tra robots.txt và nhập URL của trang web bạn muốn kiểm tra.
• Chọn tác nhân người dùng mà bạn muốn mô phỏng trong danh sách thả xuống.
• Nhấp vào nút “KIỂM TRA” để kiểm tra quyền truy cập.
• Kết quả sẽ hiển thị xem URL bạn nhập vào có bị chặn không.
• Sau đó, chỉnh sửa tệp trên trang và kiểm tra lại nếu cần thiết. Nhớ sao chép nội dung chỉnh sửa vào tệp robots.txt trên trang web của bạn sau khi hoàn tất.

Dùng công cụ này giúp bạn dễ dàng kiểm tra các lệnh trong tệp robots.txt một cách chính xác và hiệu quả để bảo vệ thông tin trang web của bạn.

Cách tạo file robots.txt trên WordPress

Trước khi khám phá 3 cách tạo file robots.txt trên WordPress đơn giản và nhanh chóng, hãy làm rõ một số nguyên tắc không thể bỏ qua trong quá trình này:

• Đặt file robots.txt trong thư mục cấp cao nhất của trang web để các con bot dễ tìm thấy nó.
• Robots.txt phân biệt chữ hoa và chữ thường, vì vậy tên file phải là “robots.txt”.
• Tránh đặt /wp-content/themes/ hay /wp-content/plugins/ vào phần Disallow, để không làm cản trở công cụ hiểu rõ về giao diện của blog hoặc website.
• Một số User-agent (trình thu thập dữ liệu) có thể bỏ qua file robots.txt chuẩn, như bot của đoạn mã độc hại hoặc trình Scraping thu thập địa chỉ Email.

Ngoài ra, hãy cẩn thận với việc công khai các file robots.txt trên web, vì bất kỳ ai cũng có thể xem các chỉ thị của trang web của bạn. Đừng sử dụng file robots.txt để ẩn thông tin cá nhân của người dùng.

Sử dụng Yoast SEO

Bạn có thể tạo hoặc chỉnh sửa file robots.txt trên WordPress dễ dàng từ giao diện WordPress Dashboard. Đầu tiên, đăng nhập vào website của bạn và truy cập vào trang Dashboard.

• Nhấn vào mục “SEO” phía bên trái màn hình, sau đó chọn “Tools” và “File editor”.
• Nếu tính năng “file editor” chưa xuất hiện, bạn cần kích hoạt nó thông qua FTP
• Bạn sẽ thấy mục “robots.txt” và “.htaccess” – đây là nơi giúp bạn tạo file robots.txt.
• Chỉnh sửa và tạo file robots.txt trực tiếp trên Yoast SEO.

Qua bộ Plugin All in One SEO

Ngoài ra, bạn có thể sử dụng bộ Plugin “All in One SEO” để tạo file robots.txt trên WordPress nhanh chóng. Đây cũng là một plugin tiện ích, dễ sử dụng.

• Truy cập “All in One SEO Pack” trong giao diện của plugin.
• Chọn “Features Manager” và nhấp “Active” cho mục “robots.txt”.
• Bây giờ, mục “robots.txt” sẽ xuất hiện trong danh sách các tính năng.
• Tạo và điều chỉnh file robots.txt WordPress tại đây. Plugin All in One SEO làm mờ đi thông tin của file robots.txt để bạn chỉnh sửa một cách an toàn.

Tạo và upload file robots.txt qua FTP

Nếu bạn không muốn sử dụng plugin, có cách khác cho bạn – Tạo file robots.txt WordPress thủ công.

• Sử dụng Notepad hoặc Textedit để tạo mẫu file robots.txt theo nguyên tắc đã giới thiệu.
• Sau đó, upload file này qua FTP một cách đơn giản, không cần sử dụng plugin. Quá trình này nhanh chóng và tiết kiệm thời gian.

Dù bạn chọn cách nào, việc tạo file robots.txt trên WordPress sẽ trở nên dễ dàng và đáp ứng đầy đủ các nguyên tắc quan trọng.

Kết luận

Cùng nhìn lại 3 cách đơn giản để tạo tệp robots.txt cho WordPress. Chúng ta đã tìm hiểu nguyên tắc quan trọng khi tạo tệp này, đồng thời hướng dẫn sử dụng Yoast SEO hoặc Plugin All in One SEO để thực hiện việc này trên WordPress Dashboard một cách nhanh chóng.

Nếu bạn muốn tự tạo tệp robots.txt thủ công, chỉ cần sử dụng Notepad hoặc Textedit và upload nó qua FTP. Dù phương pháp nào, tất cả đều giúp bạn đảm bảo website của mình được duyệt và lập chỉ mục hiệu quả bởi các trình thu thập dữ liệu web, đồng thời bảo vệ thông tin riêng tư và tránh những rủi ro không mong muốn.