Robot.txt là gì? Hướng dẫn tạo robots.txt cho WordPress website

Chắc hẳn bạn đang băn khoăn làm sao một Robot của công cụ tìm kiếm có thể phân tích một Website để Index? Vậy muốn Googlebot nhanh Index trang Web của bạn hay không Index một trang cụ thể thì làm thế nào? Những chia sẻ về File Robots.txt là gì sẽ giải đáp giúp bạn.

Robots.txt là gì

Robots.txt là một file văn bản, dùng để khai báo cho con bọ của Google (hoặc robot thu thập dữ liệu của các bộ máy tìm kiếm khác) biết rằng nó được phép hay không được phép thu thập những dữ liệu nào trong website.

Nói một cách đơn giản, dễ hiểu thì robots.txt giống như một văn bản nội dung khi có một vị khách đến nhà bạn chơi, bạn sẽ nói cho họ biết họ được phép làm gì và không được phép làm gì.

1 file robots.txt sẽ như sau:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://ift.tt/2VysDsi

Trong đó:

  • User-Agent: là dùng để khai báo tên bot được phép thu thập và không thu thập. Trong ví dụ trên để dấu * có nghĩa là file này áp dụng cho tất cả các bot trên internet
  • Allow: [đường dẫn] . Đây là câu lệnh CHO PHÉP đọc trong khu vực [đường dẫn]
  • Disallow: [đường dẫn] . Đây là câu lệnh KHÔNG CHO PHÉP đọc trong khu vực [đường dẫn]
  • Sitemap: [link sitemap] . Đây là chỉ định link sitemap của website để robot dễ dàng truy cập hơn.

Tại sao phải cần có file robots.txt

Thông thường, một website sẽ được tạo bởi nhiều thư mục khác nhau, thư mục chứa ảnh, thư mục quản lý database v.v… Chỉ một vài thư mục là sẽ được xuất hiện cho người dùng thấy, mỗi khi họ truy cập vào website, và cũng chỉ một vài thư mục nên được Google đọc (vì khi Google đọc nhiều quá nó sẽ bị loạn, dẫn đến tình trạng quét các dữ liệu không cần thiết). Robots.txt sinh ra có nhiệm vụ giúp bọ Google đọc dữ liệu ĐÚNG NƠI – ĐÚNG CHỖ và giúp bọ Google tập trung vào những nội dung cần thiết.

Một số trường hợp sử dụng phổ biến bao gồm:

  • Chỉ định thư mục website được phép thu thập và không được thu thập.
  • Chỉ định liên kết website được phép thu thập và không được thu thập.
  • Chỉ định vị trí của sơ đồ trang web (sitemap).
  • Ngăn chặn các bot thu thập dữ liệu, một ví dụ điển hình cho trường hợp này là ngăn chặn bot Ahrefs thu thập dữ liệu.

>>> Tìm hiểu thêm: Cách tối ưu Breadcrumb

Cách tạo file robots.txt cho website WordPress

Có 2 cách tạo file robots.txt đơn giản mà mình thường sử dụng trong suốt thời gian qua. Với cách 1 – sử dụng plugin Yoast SEO thì bạn chỉ có thể áp dụng cho website làm bằng WordPress, với những bạn làm bằng mã nguồn khác thì xem cách 2 – upload trực tiếp.

1. Sử dụng Yoast SEO Plugin

Yoast SEO là một plugin phổ biến nhất trong SEO, có công dụng tối ưu nhanh các yếu tố quan trọng trong SEO. Nếu bạn chưa biết thì có thể xem qua video này.

Sau khi bạn cài đặt plugin này xong chuyển tới tab SEO -> Tools (công cụ) trong dashboard quản trị website của bạn,

Nhấp vào File Editor (Trình chỉnh sửa tập tin)

Có một nút gọi là  Create robots.txt file (tạo file robots.txt), sẽ giúp bạn tạo file robots.txt:

Nhập đoạn mã theo cú pháp chuẩn (đã giới thiệu phần đầu) theo ý muốn vào khung và lưu lại.

Vậy là xong, bạn đã tạo xong file robots.txt chuẩn cho WordPress.

2. Tạo và upload file robots.txt trực tiếp lên hosting

Cách này có thể dùng cho những bạn không sử dụng WordPress. Tuy nhiên, bắt buộc bạn phải có quyền quản trị hosting để chèn file.

Cách tạo file txt khá đơn giản, bạn chỉ cần mở notepad trên máy tính và lưu file với tên “robots.txt” là ok.

Sau đó, bạn nhập đoạn mã robots chuẩn, theo ý mình và lưu lại. Ở đây tôi sẽ tạo sẵn 1 file cho bạn về chỉnh sửa lại cho nhanh.

https://drive.google.com/file/d/1EE7MjymVueyZsCCTm7d2Z0jfbHyxQfny/view?usp=sharing

Mình nghĩ đa số những bạn dùng cách upload trực tiếp này, một là IT lập trình website, hai là các bạn tự mò mẫm làm website nên các bạn sẽ có quyền truy cập vào trang quản trị hosting/server. Hiện nay, các nhà cung cấp hosting đã tạo ra giao diện quản trị hosting rất trực quan nên việc chèn file vào thư mục website đơn giản đi rất nhiều.

Bạn hãy upload lên file thư mục gốc của website public_html là thành công.

Nếu bạn vẫn chưa rõ, và hosting của bạn đang sử dụng Cpanel thì hãy xem các hình sau

  1. Vào File Manager trên Cpanel

  1. Truy cập vào public_html

  1. Nếu website của bạn đặt trực tiếp tại public_html thì chỉ cần Upload file lên hosting

  1. Nếu trường hợp website bạn không đặt trực tiếp trong public_html mà đặt trong folder nào đó thì phải vào đúng folder đó để upload file lên. Quan trọng là bạn phải upload lên thư mục gốc của website để tạo ra đường link https:domain/robots.txt

Cách kiếm tra file robots.txt có hoạt động hay không

Khi file chuẩn WordPress robots.txt đã được tạo và upload thành công, bạn có thể dùng  Google Search Console để kiểm tra thử nó xem có lỗi không.

Để sử dụng, bạn đăng nhập vào Google Search Console: https://search.google.com/search-console/about?hl=vi

Sau đó bấm vào link sau:

https://www.google.com/webmasters/tools/robots-testing-tool

Chọn trang web cần kiểm tra robots.txt

Sau đó nhập đường dẫn muốn kiểm tra vao ô như hình và bấm KIỂM TRA

Nếu báo chặn là robots.txt của bạn đã hoạt động chặn link đó.

Bài viết đề xuất:

 

The post Robot.txt là gì? Hướng dẫn tạo robots.txt cho WordPress website appeared first on Công ty Đào tạo SEO và Digital Marketing Tổng thể.



source https://tienziven.com/seo/robots-txt-la-gi/

Comments

Post a Comment

Popular posts from this blog

Landing page là gì? Landing page khác gì website?

Image
Landing Page hay trang đích luôn là một trong những nguyên liệu quan trọng nhất để có thể thực hiện được chiến dịch Digital Marketing hay quảng cáo trực tuyến. Việc thiết kế landing page càng cần được quan tâm hơn để cải thiện tỉ lệ chuyển đổi. Vì vậy, thật thiếu sót khi trong chuỗi tài liệu về Digital Marketing của chúng tôi không nói tới khái niệm landing page. Tôi sẽ giúp bạn hiểu được tường tận Landing Page là gì, landing page khác gì website và cả các bước thiết kế landing page cơ bản nhất. Landing page là gì? 1. Landing page là gì? Landing Page (trang đích) là một trang trên website bất kỳ mà đó là đích đến khi người dùng nhấp vào liên kết trong nội dung của các chiến dịch marketing online như Email, quảng cáo Facebook, kết quả tìm kiếm (SEO), Google Ads… Ngoài ra, mục đích chính khi sử dụng trang đích là để chuyển đổi người truy cập trở thành khách tiềm năng (leads). Do đó, Landing page còn được gọi là “trang thu thập khách hàng tiềm năng” và được thiết kế với nhiề...
Read more

Search engine marketing (SEM) là gì? Chiến lược SEM tối ưu

Image
SEM là một trong những hình thức digital marketing có lượng người dùng truy cập nhiều nhất. Vì vậy, doanh nghiệp bạn có thể tìm hiểu và cân nhắc sử dụng loại hình tiềm năng này. Trong bài viết này, tôi sẽ giúp bạn tìm hiểu chi tiết SEM là gì và tầm quan trọng của SEM đối với chiến dịch digital marketing của doanh nghiệp. SEM là gì? 1. SEM là gì? Search Engine Marketing (SEM) là một loại tiếp thị trên Internet thu hút và tác động đến hoạt động mua hàng bằng cách cải thiện khả năng hiển thị trên trang kết quả tìm kiếm. Để thực hiện chiến dịch SEM, bạn cần nghiên cứu và phối hợp thực hiện nhiều. từ đó thu hút người dùng tham gia truy vấn. Theo trang Search Engine Land: “SEM là quá trình gia tăng lượng truy cập trang web bằng cách mua quảng cáo trên các công cụ tìm kiếm”. Khái niệm này chỉ giới hạn SEM thành PPC (hoặc CPC). Tuy nhiên, marketing trên search engine (công cụ tìm kiếm) không chỉ là mua quảng cáo mà còn có cả SEO (tối ưu hoá công cụ tìm kiếm), thu hút nguồn organic ...
Read more

Tổng hợp 20 mẫu trang admin cho website hot nhất hiện nay

Image
Giao diện admin cho website trước đây không được xem trọng. Giao diện như những năm 90 vẫn được Admin dashboard hoạt động rất tốt nhưng cũng không ai thật sự quan tâm đến điều này. Tuy nhiên, thời thế đã thật sự thay đổi. Hiện nay, các trang admin hiện đại hơn, thiết kế đẹp, đầy đủ tiện ích và sáng tạo hơn. Nhằm mang đến cho người dùng sự tiện lợi và trải nghiệm tốt hơn. Bên dưới là 20 giao diện trang quản trị website đẹp, hot nhất hiện nay bạn hãy tham khảo để chọn cho mình một giao diện ưng ý nhất nhé! 1. ArchitectUI HTML ArchitectUI HTML giao diện quản trị cho website ArchitectUI HTML được biết đến là một mẫu giao diện admin cho website phổ biến nhất. Giao diện admin HTML5 miễn phí với rất nhiều chức năng và widget hiện đại. Để tạo nên một mẫu giao diện hoàn hảo cho website, bạn có thể kết hợp chúng với các chức năng sẵn có của mình. Nhất là ArchitectUI HTML bao gồm 9 bản demo và bạn hoàn toàn có thể tiến hành chuyển đổi chúng với nhau. Từng bản đều được cài đặt cũng như...
Read more