Robots.txt là gì và nó hoạt động như thế nào?
17 April
Bạn đã bao giờ nghe nói về nó chưa, nếu chưa, đó là vấn đề khiến bạn băn khoăn vì hôm nay bạn sẽ cung cấp cho mọi người một số thông tin về Robots.txt?
Nếu bạn có một blog hoặc trang web, bạn hẳn đã cảm thấy rằng đôi khi tất cả thông tin chúng ta không muốn công khai trên Internet, bạn có biết tại sao không.
{tocify} $ title = { Main content }
Bởi vì nhiều nội dung tốt của chúng tôi thậm chí không được lập chỉ mục sau một thời gian dài. Nếu bạn cần biết về bí mật đằng sau tất cả những điều này, bạn cần phải đọc kỹ tất cả bài viết này Robots.txt để bạn sẽ biết tất cả những điều này cho đến khi kết thúc bài viết.
Công cụ Tìm kiếm phải cho bạn biết rằng các tệp và Thư mục được sử dụng để hiển thị các tệp và Thư mục cho tất cả các tệp và Thư mục công khai trên trang web và thẻ meta rô bốt được sử dụng để làm gì.
Nhưng không phải tất cả các Công cụ tìm kiếm đều đọc thẻ meta, vì vậy nhiều Robot không được chú ý nếu không có thẻ meta. Cách tốt nhất để làm điều này là sử dụng Tệp Robots.txt để Công cụ Tìm kiếm có thể dễ dàng thông báo về các tệp và Thư mục trong Trang web hoặc Blog của bạn.
Vì vậy, hôm nay tôi nghĩ rằng bạn không nên cung cấp cho bạn đầy đủ thông tin về robots.txt là gì để bạn không gặp khó khăn khi hiểu thêm về nó.
Sau đó, hãy bắt đầu với sự chậm trễ và biết Robots.txt là gì và nó hoạt động như thế nào?
Robots.txt là gì?
Robots.txt là một tệp văn bản mà bạn lưu giữ trên trang web của mình để bạn có thể cho Robot tìm kiếm biết trang nào nên truy cập hoặc thu thập dữ liệu trong trang web của bạn và trang nào thì không. Mặc dù việc theo dõi robots.txt là không bắt buộc đối với các công cụ tìm kiếm, họ phải chú ý đến nó và không truy cập các trang và thư mục được đề cập trong đó. Robots.txt là rất quan trọng theo đó. Vì vậy, điều rất quan trọng là giữ nó trong thư mục chính để công cụ tìm kiếm dễ dàng tìm thấy.
Điều đáng chú ý ở đây là nếu chúng tôi không triển khai tệp này ở đúng vị trí, các Công cụ Tìm kiếm có thể cảm thấy rằng bạn chưa bao gồm tệp robot.txt để các trang web của bạn thậm chí có thể không được lập chỉ mục. Vì vậy, tập tin nhỏ này có rất nhiều tầm quan trọng nếu nó không được sử dụng đúng cách, nó cũng có thể làm giảm thứ hạng trang web của bạn. Vì vậy, nó là rất quan trọng để có một kiến thức tốt về nó.
Làm thế nào nó hoạt động?
Bất kỳ công cụ tìm kiếm hoặc Web Spiders nào, nếu trang web hoặc blog của bạn xuất hiện lần đầu tiên, trước tiên hãy thu thập dữ liệu tệp robot.txt của bạn vì tệp này chứa tất cả thông tin về trang web của bạn về việc phải làm và ai phải làm. Và họ lập chỉ mục các trang được hướng dẫn của bạn để các trang được lập chỉ mục của bạn được hiển thị trong kết quả của công cụ tìm kiếm.
Tệp Robots.txt có thể rất có lợi cho bạn nếu:
- Bạn muốn các công cụ tìm kiếm bỏ qua các trang trùng lặp trên trang web của mình
- Nếu bạn không muốn các trang kết quả tìm kiếm nội bộ của mình lập chỉ mục
- Nếu bạn muốn các công cụ tìm kiếm không lập chỉ mục một số trang mà bạn hướng đến
- Nếu bạn không muốn một số tệp của mình như một số hình ảnh, PDF, v.v.
- Nếu bạn muốn các công cụ tìm kiếm cho biết sơ đồ trang web của bạn ở đâu
Cách tạo tệp Robots.txt?
Nếu bạn chưa tạo tệp robots.txt trong trang web hoặc blog của mình, bạn nên tạo tệp đó thật nhanh chóng vì tệp này sẽ rất tốt cho bạn trong tương lai. Để tạo nó, bạn cần làm theo một số hướng dẫn:
Đầu tiên, hãy tạo một tệp văn bản và lưu nó dưới tên robots.txt. Đối với điều này, bạn có thể sử dụng Notepad hoặc bất kỳ trình soạn thảo văn bản nào khác.
Bây giờ tải nó lên thư mục gốc của trang web của bạn. Đó là thư mục cấp cơ sở và còn được gọi là " htdocs " và xuất hiện sau tên miền của bạn.
Nếu bạn sử dụng miền phụ, bạn cần tạo các tệp robots.txt riêng biệt cho tất cả các miền phụ.
Cú pháp của Robots.txt?
Tại Robots.txt, chúng tôi sử dụng một số cú pháp mà chúng tôi cần biết.
- Tác nhân người dùng : Các rô bốt tuân theo tất cả các quy tắc này và có thể áp dụng (ví dụ: " Googlebot ", v.v.)
- Không cho phép : Sử dụng điều này có nghĩa là chặn các trang có bot mà bạn không muốn bất kỳ ai khác truy cập. (Đây là lần đầu tiên không cho phép ghi trên mỗi tệp)
- Noindex : Công cụ tìm kiếm sẽ không lập chỉ mục các trang mà bạn không muốn lập chỉ mục.
- Sử dụng một dòng trống để phân tách tất cả các nhóm User-Agent / Disallow, nhưng lưu ý ở đây rằng hai nhóm không được có bất kỳ dòng trống nào (dòng user-agent và Disallow cuối cùng không được có khoảng trống.
- Biểu tượng băm (#) có thể được sử dụng để đưa ra nhận xét trong tệp robots.txt, nơi mọi thứ sẽ là ký hiệu # đầu tiên sẽ bị bỏ qua. Chúng chủ yếu được sử dụng cho toàn bộ dòng hoặc cuối dòng.
- Các thư mục và tên tệp phân biệt chữ hoa chữ thường : "private", "Private" và " PRIVATE " hoàn toàn khác nhau đối với tất cả các công cụ tìm kiếm.
- Tôi sẽ giải thích điều này với sự trợ giúp của một ví dụ để bạn có thể hiểu nó một cách dễ dàng. Dưới đây, tôi đã viết về anh ấy.
- Robot " Googlebot " ở đây không có bất kỳ tuyên bố không được phép nào được viết để có thể tự do đi bất cứ đâu
- Tất cả các trang web đã bị đóng cửa khi " msnbot " đã được sử dụng
- Tất cả các rô bốt (ngoài Googlebot ) đều được sử dụng để / tmp / tmp. Không có quyền xem thư mục hoặc thư mục hoặc tệp / nhật ký, đã được giải thích bên dưới nhận xét thông qua ví dụ: tmp, .htm.
/logs or logs.php.
User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow: /
# Block all robots from tmp and logs directories
User-agent: *
Disallow: /tmp/
Disallow: /logs # for directories and files called logs
Ưu điểm của việc sử dụng Robots.txt
Tuy nhiên, có rất nhiều việc sử dụng robots.txt, nhưng tôi có ở đây để nói với bạn về một số fa-give rất quan trọng mà mọi người nên biết.- Thông tin nhạy cảm của bạn có thể được giữ kín bằng cách sử dụng robots.txt.
- Robots.txt có thể giúp loại bỏ các vấn đề " chuẩn hóa " hoặc nhiều URL " chuẩn hóa " cũng có thể được giữ lại. Sự cố này còn được gọi là sự cố " nội dung trùng lặp " bị lãng quên .
- Điều này cho phép bạn trợ giúp các Trang lập chỉ mục của Google Bots.
Điều gì sẽ xảy ra nếu chúng tôi không sử dụng tệp robots.txt?
Nếu chúng tôi không sử dụng bất kỳ tệp robots.txt nào, không có hạn chế nào đối với các công cụ tìm kiếm nơi thu thập thông tin và nơi không lập chỉ mục mọi thứ họ tìm thấy trên trang web của bạn. Đó là tất cả cho nhiều trang web, nhưng nếu chúng ta nói về một số phương pháp hay, chúng ta nên sử dụng tệp robots.txt vì nó giúp các công cụ tìm kiếm lập chỉ mục các trang của bạn dễ dàng hơn và họ không cần phải truy cập lại tất cả các trang.Phần kết luận
Tôi chân thành hy vọng rằng tôi đã cung cấp cho mọi người thông tin đầy đủ về Robots.txt là gì và nó hoạt động như thế nào? và tôi hy vọng các bạn sẽ hiểu về Robots.txt .Nếu bạn đang đối mặt với bất kỳ vấn đề nào thì bạn có thể liên hệ với tôi bằng cách để lại bình luận bên dưới bài viết này, tôi sẽ cố gắng trả lời bạn nhanh nhất có thể.
Bạn thấy bài viết về Robots.txt và bạn cảm thấy thế nào hãy để lại nhận xét để chúng tôi cũng có cơ hội học hỏi điều gì đó từ suy nghĩ của bạn và cải thiện điều gì đó.