Vậy cấu trúc file Robot.txt nào là chuẩn nhất cho một trang blog?
Nói chuẩn nhất thì nói chung thôi, chứ thật ra file Robot.txt sẽ tùy vào chủ ý của chủ blog mà cho phép hay không cho phép index những nội dung nào.Đây là file robot.txt đầy đủ nhất:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: http://blogcuaban/feeds/posts/default?orderby=UPDATEDSitemap: http://www.tranbadat.info/sitemap.xml
- Dòng Allow:/ tức là cho phép bot có thể index tất cả nội dung trên trang web.
- Disallow: /search , được dùng khi bạn không muốn bot index các labels của blogspot. Tuy nhiên, nếu nội dung tốt và có code chuẩn SEO cho các Label, thì ngại ngùng gì mà chặn index nó chứ. Các bạn hãy thử gõ Naruto Coming trên Google Search sẽ thấy Label này của http://tranbadat.info đang ở top 1 ^_^
- 2 disallow còn lại cũng tương tự, chặn cũng ok, không vấn đề gì.
- Còn lại là 2 dòng sitemap, khai báo sitemap cho bot có thể dễ dàng index nội dung. Thay 2 dòng chữ màu xanh bằng đường dẫn blog của bạn nhé.
Cách thêm nội dung vào file robot.txt:
- Vào trang quản trị của blogspot ở địa chỉ: blogger.com
- Vào Cài đặt (Setiings), chọn phần Tùy chọn tìm kiếm (Search Options), và tiến hành chỉnh sửa file robot.txt nhé.
Chúc các bạn có một trang web đẹp và tối ưu SEO cho Google!
thế phần thẻ tiêu đề Robot tùy chỉnh có động gì không bạn,....?
ReplyDeleteCái đó chỉ sử dụng khi bạn không sử dụng cái ở trên thôi. Nếu cái ở trên dùng như của mình rồi thì cái dưới không cần đụng tới :D
Delete...trước giờ mình để 2 cái song song như vậy có sao không...?...
DeleteGiờ không biết phải theo ai luôn mình đang để code
ReplyDeleteUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Không biết có đúng không nữa
Bạn để thế này thì label của bạn bị chặn hết rồi. Nếu bạn không có nhu cầu sử dụng label thì chặn thế này cũng không sao cả. $-)
Deletechào bạn. Blog của mình để index các label từ năm 2013. Có nhiều label cũng đứng top 10 kết quả tìm kiếm. Nhưng trong webmaster tool báo lỗi trùng lặp nội dung và mô tả của những search/label này rất nhiều làm ảnh hưởng không nhỏ tới từ khóa chính của mình. Theo bạn thì bây giờ mình co nên chặn index search label không.
ReplyDeleteĐây là website của mình: www.giamsathinhanh.com . Rất mong nhận được lời khuyên của bạn
Không nên chặn index label nha bạn. @-)
DeleteMình vừa kiểm tra thì bạn đã có canonical, nhưng trường hợp trùng label của bạn là do title và des không có, nó lấy tự động từ title của web. Chính vì thế, cách xử lý của bạn giờ là thay đổi des và title tự động cho các label này, bằng cách:
Truy cập vào bài viết này, lấy đoạn code bắt đầu từ:
đến thêm vào trong thẻ head của bạn.
Trong đó thay các từ cần thiết cho đúng với website của bạn. Code này sẽ giúp các label sẽ thay đổi title và des tương ứng với tên của label đó, nên sẽ tránh được trùng lặp.
Tối ưu Title - Meta Description - Meta Keywords cho trang Search Label
Deleteđến
Tối ưu Title - Keywords cho trang bài viết
Bài viết này, quên gởi link :))
Deletehttp://www.tranbadat.info/2015/08/toi-uu-seo-blogspot-toi-uu-tieu-de-meta-description-meta-tags.html @-)
Hướng dẫn của bạn rất tuyệt vời. Mình khắc phục được rồi, giờ chờ đợi webmastertool cập nhật xem có giảm bớt trùng lặp mô tả cho search label ko.
ReplyDeleteBạn cho mình hỏi thêm là mình còn bị trùng lặp mô tả và tiêu đề đối với link trên mobile và link trên điện thoại ( html? và html?m=1 ) . Mình đọc trên một số blog nước ngoài khắc phục bằng cách thêm thẻ: 'canonical' dưới thẻ head . ( comment không cho phép ghi đầy đủ thẻ 'canonical' nên mình chỉ ghi tắt là 'canonical')
Cách làm như vậy có đúng không bạn. Cảm ơn bạn rất nhiều
chào bạn ! mình đang để như thế này:
ReplyDeleteUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Allow: /search/label/
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *max-results=10
Disallow: *max-results=7
Disallow: *archive.html
Sitemap: http://www.dichvucamera.net/feeds/posts/default?orderby=UPDATED
trong webmaser tool báo lỗi chấm than màu đỏ: Đã phát hiện sự cố trạng thái nghiêm trọng trong thuộc tính của bạn . Một số trang quan trọng bị chặn bởi robots.txt.
Như vậy có sao không bạn
ADmin nếu biêt về vấn đề này thì cho mình lời khuyên với nhé. Cám ơn AD nhiều
DeleteBáo lỗi này ai cũng bị thôi bạn, do chặn các thông số trên tức chặn rất nhiều bài viết nên nó báo. Không có vấn đề gì cả, 1 thời gian tự hết thôi 8-)
Delete