重複コンテンツと重複URLの対策_ブログ_zanmai.net

「重複コンテンツ（duplicate content）とは、ページの内容（コンテンツ）がまったく同じなのに、URLが異なるのことです。
グーグルのwebmastertoolsをご利用している方は、重複コンテンツをよくわかると思う。当サイトにも重複コンテンツの警告メッセージをwebmastertools管理ページでよく出った。
原因は、当サイト最初は動的なURLを扱い、その後SEO対策のため、ページのURLを静的化にしたため、検索エンジンは両方のURLをインデックスされ、重複コンテンツと判断してしまった。
検索エンジンは重複コンテンツに対して、ペナルティしないですが、googleのような検索エンジンは、コンテンツに対する複数のURLの中で一つのURLを選定してしまって、ご期待しないURLをインデックスされる可能性がある。

例：最初動的なURL（期待しないURL）　http://taobao.jp/blog/display.php?bid=51 
その後の静的化URL（期待のURL）　http://taobao.jp/blog/data/51.html 

検索エンジンはどっちのURLをインデックスするかを、お祈りしかないW

そうならないように、metaタグの中に一行を入れるだけで重複コンテンツを撃退できる。

<link rel="canonical" href="http://taobao.jp/blog/data/51.html" />

「このURLは正式なURLです。ほかのURLのコンテンツはただのコピーですよ」と検索エンジンに命令を出す。 次ましては、重複URLの対策をおさらいしましょう。 「重複URL」という言葉が曖昧だと思う。 まず下記の例を見てみましょう。

 http://taobao.jp/blog/display.php?bid=51&pn=1
 http://taobao.jp/blog/display.php?bid=51&pn=2
http://taobao.jp/blog/display.php?bid=51&pn=3

googleは分析できると思います。とはいえ、構造が複雑な動的なURLの場合、完全に信頼できるものではない。
動的URLを静的化にして確実に安心よね。

最後、httpとhttpsのURLも気をつけなければいけない。

http://taobao.jp/
https://taobao.jp/

暗号化しているかしていないかだけの違いで、同じページのコンテンツを表示する。
しかし、万が一、両方を検索エンジンにインデックスされてしまい、重複URLを引き起こすこともあると思う。
インデックスを分散され、結局２つのURLをどれも上位に上がれない。
対策としては、唯一のhttpにするかhttpsにするかを統一する。
.htaccessに追加する。

 RewriteEngine on
RewriteBase /
RewriteCond %{SERVER_PORT} 443
RewriteRule ^(.*)$ http://taobao.jp/$1 [R,L]

以上、重複コンテンツと重複URLへの対策をメモー