非常にレアケースだと思いますが、商品ページが全てGoogleのインデックスから消されるという大惨事に遭遇したので、解決の糸口が見つかるまでの顛末を記録しておきます。
なお、私が関与したのは事件発生から1ヶ月経過してからなので、最初の1ヶ月についてはオーナー様からの伝聞とデータから読み取れる範囲で推測した内容となります。
もくじ
商品ページが重複コンテンツと認識される
事の始まりは2ヶ月前。search consoleのカバレッジで有効ページの減少が確認されました。
ちょうど取り扱いブランドを絞り込み、商品カテゴリ＆商品をいくつか削除していた時期でしたので、特に気にすることもありませんでした。
しかし1ヶ月がすぎてもなお有効ページの減少が収まらず、カバレッジを詳しく見てみると、有効ページの代わりに「除外」の項目がどんどん増えています。
除外ページの詳細を見てみると、削除したページではなく販売中の商品ページが「重複しています。送信されたURLが正規URLとして選択されていません」としてインデックス除外されていました（削除したページは「見つかりませんでした（404）」で除外）。
しかも、除外された商品ページの正規URLとされているのが全て「特定商取引法のページ」です。他の商品ページと重複ならまだ理解しないでもないのですが、まさかの特商法ページ。さすがに意味不明で困惑しました。
カラーミーショップのURL構造
今回の事件はカラーミーショップ [PR]
で起きましたので、カラーミーショップのURL構造について簡単に説明しておきます。
カラーミーショップはsmarty（ver2.6）というphpのテンプレートエンジンで作られており、各ページはパラメータで切り替えられています。ざっくりした表にすると下のようになります。
| パラメータ | 対応ページ |
|---|---|
| pid | 商品ページ |
| mode | 商品カテゴリ・商品検索・特商法・プライバシーポリシー・問い合わせ・会員ページ |
ご覧の通り、商品ページを示すパラメータは ?pid で。特商法は ?mode です。
どうしたら商品ページの正規URLに特商法が選ばれたのかが最後まで謎で、その理由に思い至ったとき解決につながりました。
そして誰もいなくなった
カノニカル設定
とりあえず正規URLがおかしくなっているので、まずはcanonicalを設定します。
最初は商品ページにだけ設定しましたが、最終的には主要なページ全部にcanonicalを指定しました。しかし効果なし。
noindexの設定とサイトマップの再構成
特商法ページにnoindexを指定。
カラーミーショップのサイトマップは昔ながらの非常にシンプルなものですが、出力するページを指定できるのでそこから特商法ページを抹消。
しかし効果なし。そもそも特商法ページなんてそんな頻繁にクロールしてもらえないし。。
それどころか、事件発生から1ヶ月半がすぎる頃には、全ての商品ページがインデックスから抹消され重複コンテンツ扱いとなってしまいました。
さすがに焦りを禁じえません。この頃のクリック数は前年比で70 ~ 80%減でした。SNSなどからなんとかアクセス集めているものの生きた心地がしない。
いろいろやってみる
クローラーの効率を少しでもよくしようと、削除した商品ページとカテゴリにnoindexを指定。
404（削除されたページ）からの誘導が無かったので、ついでにおすすめ商品リストをトップページからfetchでひっぱってきて表示。おまけで検索フォームも用意してさしあげる。
検索パフォーマンスをみると、なぜか完売した過去の商品ページが数ページだけクリックされていたので、当該ページに新商品やらのページ内リンクをつけて誘導と、あわよくばインデックスをこころみる。
ほぼ効果なし。
なぜ特商法のページが正規URLとして選ばれたのか？
結局ここの謎を解かないと解決できなさそうだったので、商品ページをぼんやりと眺めていました。
別におかしなところはありません。
普通に商品名があって、商品画像と説明文があって、購入ボタンがあって、返品規約と支払い方法ページへのリンクがあって、、、 ん？？
カラーミーの返品規約や支払い方法ページは、自作していない限りどちらも特商法ページの中にあります。ということは、ここだけで特商法ページへのリンクが２つあることになります。
さらにフッターを確認してみると、同様に４つの特商法リンクが貼られていました。
もし何らかの理由でクローラーがコンテンツを取得できず、ページ内に６つもあるリンク先を正規ページと誤認しているのであれば、理由としては納得できます。
そこで全ての特商法へのリンクにnofollowを設定。
再インデックスが始まる
nofollowを設定した2日後、search consoleから「商品の構造化データエラー」が通知されました。
構造化データのエラーを検知したということは、商品ページがインデックスされたということ！ あーーー長かった。
最初は13ページ。次の日に10ページ。と遅々たるインデックス状況ですが、クリック数とインプレッションが右肩上がりに回復していくのをニヤニヤしながら見ています。それでも完全回復には1 ~ 2ヶ月かかるだろうと予想しています。
結局何が原因なのか？
こればかりは正確なことが分かりませんが、他のカラーミー利用のショップでもわずかに不自然なカバレッジエラーが確認されたこと（当社の管理ショップを精査した）ので、サーバーの負荷が高く正確なクロールができなかった可能性が１つ。
削除したカテゴリーのうち１つが、（検索クエリの観点から）かなり重要なポジションにいたことで、大量の404エラーを出してしまった可能性が１つ。
思いつくのはこれぐらいです。
解消までの間、これまで以上にSNS集客をがんばっていただいたので、これからは以前以上の売上とれるショップになるといいなぁと思います。
商品ページが全部インデックス抹消された方のお役にたてば幸いです。
