Bạn có biết File hay tệp tin Robots.txt mục đích của nó dùng để làm gì không? File robots.txt được cấu tạo như thế nào? Cùng tìm hiểu về file robots.txt nhé.
Robots.txt là một file dùng để hướng dẫn các công cụ tìm kiếm (search engines) nhằm mục đích index cho webiste của các bạn, giúp cho các bạn SEO website lên top được thuận lợi hơn.

robot-txt-file

tệp tin robot.txt

Cách tạo và vị trí:

Thường sử dụng phần mềm notepad hay các phần mềm khác để tạo ra 1 file, sau đó các bạn đổi đuôi thành robots.txt
Robots.txt thường đặt ở thư mục gốc của website ( ví dụ dichvuseolentop.com/robots.txt)

Robots.txt là file văn bản có cấu trúc, khi các spider của các Search Engine vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong file này.

file-robots-txt

File robot.txt trong website

Ngoài ra robots.txt có thể quy định từng loại bot khác nhau của các Search engine khác nhau có thể vào website hoặc từng khu vực của website.

Search Engine hiện nay thường có các loại bot sau : Googlebot , Googlebot-Image, Bingbot và nhiều loại bot khác …

Các bạn nên sử dụng lệnh User-agent để cho tất cả các loại bot của Search Engine có thể vào website của bạn hoặc sử dụng lệnh Disallow để chặn 1 trang nào đó.

Lưu ý : Những điều cần tránh trong file robots.txt

+ Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.

+ Mỗi một câu lệnh nên viết trên 1 dòng.

+ Phân biệt chữ hoa chữ thường.

+ Không được viết dư hoặc thiếu khoản trắng.