対談

【永久保存版】クロール済みインデックス未登録問題解決策 | LANY竹内氏 × 世界へボカン徳田

2023.12.07

対談動画

この記事では、クロール済み・インデックス未登録の要因と解消方法についてご紹介します。

【株式会社LANY　代表竹内渓太氏】
価値あるモノが適切な人々に届くために、SEOマーケティングに特化させた事業を運営する。
新時代のイケてるエージェンシーを目指し活躍中。

【世界へボカン株式会社　代表取締役徳田祐希】
日本の魅力を世界へ伝えるというミッションの元、13年以上にわたり、多国籍メンバーと共に越境EC、海外BtoBマーケティングに取り組む。
越境EC企業の年商を35億→500億、14.7倍の成長を導くなど数多くの実績を残す。
Shopifyマーケティングエキスパート。

前回の記事はこちら：
【永久保存版】データベース型SEOの秘訣 | LANY竹内氏 × 世界へボカン徳田

竹内渓太氏の自己紹介

世界へボカン株式会社　徳田祐希（以下：徳田）

こんにちは、世界へボカンの徳田です。

本日はLANYの竹内さんにクロール済み・インデックス未登録の要因と解消方法についてお話を伺いたいと思います。

まずは簡単に自己紹介をお願いします！

株式会社LANY　代表竹内渓太氏（以下：竹内氏）

私、株式会社LANYの竹内と申します。新卒からリクルートで3年ほど勤務し、SEOを中心にデジタルマーケティングに従事しておりました。

そのあと株式会社LANYを創業し、もうすぐ4年目くらいのまだまだ小さな会社となっております。データベース型サイトのSEOを中心に頑張っている会社ですので、ぜひ今日も良い情報が提供できたらと思っております。

よろしくお願いします！

徳田

前回、データベース型SEOのサイトの対処方法について解説いただきましたが、その中で、クロールされているけどインデックスされていないページが最近増えてるという話がありました。この部分の解消方法について詳しく解説いただけるということで、楽しみにしてます！

クロール済み・インデックス未登録

竹内氏

ありがとうございます。このクロール済み・インデックス未登録というものが何人の人に刺さるのかというのはちょっと不安なのですが…

これはGoogleサーチコンソールのカバレッジレポートで確認することができます。上の図の赤く囲んだ部分になります。どういったステータスかというと、GoogleにクロールされてHTMLやJavaScriptが解析されたが、その結果、Googleがインデックスしないと判断したということになります。

最近アップデートがありましたが、その際もここが非常に問題になっていました。GoogleがURLのインデックスをしなくなっていたり、クロール済み・インデックス未登録が多いサイトを落とすようになっていたりと、かなりホットなトピックなのではないでしょうか。ニッチですが、今日はここだけに絞って解説していきたいと思います。

竹内氏

上の図はGoogleがどのように解析しているかを説明したものです。クロール済み・インデックス未登録になる場合、Googlebotのお仕事プロセスの中で、どこまで行っていてどこまで行っていないのかをご説明できればと思います。

Googlebotは、世の中に大量にあるURLを集めてきて、それをクローリングしてインデックスする、という流れになっています。集めてきたURLを、エクセルのリストのように、クロールのキューと呼ばれる部分にURLを並べていきます。そこに、アルゴリズムで優先度をつけて、上から順にクローリングを回していく、という流れです。

クロールでは、URLの中身を開きHTMLを解析します。少しニッチな話をすると、HTMLの中にJavaScriptがあればレンダリングというプロセスを経て、中身を静的なHTMLに戻して読み解き、インデックスサーバーに送るという流れになっています。

クロール済み・インデックス未登録というのは、キューからクロールされ、レンダリングも終わっているけれど、インデックスには到達していないということになります。中身は見られたけれどインデックスされないということは、中身に問題があるということになります。

竹内氏

どういったURLがクロール済み・インデックス未登録になるのかというと、低品質コンテンツですね。低品質コンテンツといってもいろんな定義がありますが、Googleがインデックスするに値しなかった品質のコンテンツとなります。

低品質コンテンツとは

竹内氏

低品質コンテンツには、我々の経験則上、大きく3つあり、

①サイト内/外で重複している、ページのユニーク性が低い
②ひとつひとつのコンテンツの内容が薄いというもの
③コンテンツは頑張っていてもそもそも検索需要がない

といったサイトが低品質コンテンツとなってしまい、クロール済み・インデックス未登録になる要因となっているのではないかと思っております。

竹内氏

①サイト内で重複しているものに関しては、特にデータベース型サイトでは、一覧ページやカテゴリページで、AのページとBのページで出ているリストの内容がほとんど同一になることがよくあります。こうなっているとなかなかインデックスされません。

また、仮想の詳細ページで商品の型番違いやモデルがちょっと違うだけだったり、バイトの求人でしたら鳥貴族新宿店・鳥貴族池袋店というように同じチェーンでエリアだけが違い、どちらも駅が近くて給与などは全部一緒だったりと、異なる部分が一部しかないと、これもなかなかインデックスしてもらえなかったりします。

あるいは、これは抜け漏れに近いですが、100ページ、200ページ、1000ページ、1万ページというところが全部同じタイトルになってしまっていることもあります。

こうなってくると、サイト内でA、B、Cのページが重複しているので、Googleにインデックスされなくなります。

サイト外でも重複してしまうことがあり、たとえば不動産系のポータルサイトではレインズという大元のデータベースから情報を引っ張ってきて詳細ページを作るので、各社で使っている情報が一緒です。そこに何もユニークなものを足さなかったら、どこで見ても同じ情報になり、サイト外で重複してしまいます。

求人ポータルサイトでも、大手の企業さんは5社、6社と同じところを使うこともあるので、同じ原稿を5社、6社で展開していると、これもユニークな情報を入れない限りは自社のものだけがインデックスされないということも起きてしまいます。

また、ちょっと複雑な話になりますが、複数のサイトに同じ原稿が載っていることもあります。大手のサイトでは子会社のほうにも載せることがよくあり、そうすると、一方のサイトがオリジナル評価を得て一方のサイトが0点になってしまうということが起きるんです。

こういうところでクロール済み・インデックス未登録になってしまうことがあります。

竹内氏

②コンテンツが薄いサイトですが、リストのヒット件数が少ない、たとえば「池袋　バイト」と検索したときに1件しかヒットしないようなことがあります。ユーザーニーズが満たせていないためGoogleはインデックスしません。

また、リストページに1件のバイトの情報しか載せておらず他になにも得られる情報がないというのも薄いと判断されます。

情報が他社と比べて少ない場合も、薄いということでインデックスされないことがあります。

あとは技術的な観点で、レンダリングしないと見えない情報というのが多くなっています。JavaScriptをオフにするとなにも見えないようなサイトですと、クロールされてもインデックスされないことがあります。

竹内氏

③検索需要がほとんどないというサイトは、ページを頑張って作ってもインデックスされないというときにいろいろ確認していると見つかるのですが、「そもそもこのページってどのクエリでインプレッションをしたら良いのだろう」と思うほど検索需要がないページが存在していることがあります。Googleとしても、せっかくインデックスサーバーの容量を使ってページを置いてるのに3か月、6か月と誰もそのページに反応するようなクエリが出てこない、となると、クリーニングしてしまいます。

どのような悪影響があるのか

竹内氏

続いて、クロール済み・インデックス未登録があるとサイトにどのような悪影響があるのかをご説明いたします。

これには直接的な観点と間接的な観点がございます。

直接的には流入獲得面の機会損失、つまり、インデックスされていればとあるクエリでも反応したであろうに、インデックスされていないから反応しなくて1流入も稼げないといった直接的な損失ですね。

これはまあそうかなというところだと思いますが、影響が大きいのは間接的な方で、直近のアルゴリズムアップデートでもありましたが、クロール済み・インデックス未登録のようないわゆる低品質なコンテンツを大量に持っていると、サイト全体の品質に悪影響を与えます。

直近では、ヘルプフルコンテンツアップデートという、役に立つコンテンツと評価するためのアプデがあるのですが、Googleの公式ドキュメントでは「役に立たないコンテンツを大量に持っているサイトは、役に立つコンテンツであっても評価を押し下げてしまうことになるので、役に立たないコンテンツはなるべく削除したり改善してください」といったことが言われています。

この間接的な効果というのは、年が経つにつれて大きくなっているように個人的には思っております。

徳田

これは気づいてない人が多いと思います。大規模サイトやデータベース型サイトを扱っているのであれば、前回の各ステップごとのデータベース型SEOの解除方法と一緒に見て、何をしなくてはならないかをちゃんと見ておかないと、いきなり評価が下がってしまいます。

年々評価が下がっているとき、競合が強くなってるのかと思いきや、自分たちのサイトが骨太ではなくてスカスカのサイトだったからというのはあり得ますよね、本当に。

竹内氏

あると思います。最終的な指標である順位や流入だけを見ていると、要因がつかめなくなってしまいます。その手前のクロールやインデックス、ここをたまに見てあげることが大事ではないかと思います。

徳田

なるほど。とてもマニアックですがおもしろいトピックですね。

どのように解決するのか

竹内氏

ではこれをどう解消していくのかというところなのですが、基本的な方向性として、改善するか、諦めて削除するかの二択だと思ってます。改善できるのであれば改善した方が直接的な流入は得られるので良いのですが、どうにもこうにも無理であれば削除も検討するというのが良いかと思います。

竹内氏

改善については以下の通りです。

たとえばサイト内で重複率が高く、A・B・Cの一覧ページのリスト内容が同一になっている場合、Aには新しい3件のレコメンドを出し、Bにはまた違う3件のレコメンドを出してあげると、この3件ずつはユニークになるので少し解消できます。あるいは、そもそもAとBで同じ3件が出てしまっているのであれば、それはバグだと思うので、エラスチックサーチの中を見るなどして表出ロジックを精査します。

商品の型番違い・エリア違いなど、詳細ページ側で異なる部分がないものに関しては、そこはもうビジネスモデル上しかたないですから、メイン以外のところでいかにユニーク性を高めてあげられるかを工夫していくと良いと思います。

大量のページでタイトルが重複している場合は、ほんの少しで良いので、型番だけ変えたり色だけ変えたりして重複をなくしてあげると良いのではないでしょうか。

竹内氏

サイト外で重複している場合は、こちらは根深かったりするのですが、たとえば不動産のレインズから引っ張ってきてる情報が一緒なのであれば、サブコンテンツでユニークを出してあげます。人間が頑張るという方法もあって、たとえば営業の方がひとつひとつに「このマンションはこういうところが素敵です」といったコメントを入れてあげたり、アクセス情報という形でマンションへの行き方、駅からの行き方を写真で撮ってコンテンツを貼っていくとか、そういったことでユニーク性が出てインデックスされるのではないかと思います。

求人ポータルサイトでも、いかに入稿してくれるお客様から情報を引っ張ってこれるかが大事です。たとえば動画をもらったり、制服の画像をもったり、ユーザーが知りたい情報をクライアントさんからもらって入稿するなど、このあたりのプロセスを変えていくと良いかなと思います。

詳細ページが転載されてしまってオリジナル評価を奪われている場合は、かなりニッチな話になってしまいますが、オリジナル評価を渡したいサイトを先にGoogleにインデックスさせたいので、Aのサイトを評価させたいのであればまずAの方でサイトマップXMLを送り、Bの方は3時間後に送るという感じで、ちょっと時間をずらします。または、BからAにはリンクを貼るけれどもAからBにはリンクを貼らないようにして、評価を寄せたい方にリソースを傾注していくようなことをやってあげるのも良いです。

竹内氏

検索需要がほとんどないとき、需要はあるのにGoogleが反応しない場合であれば、Titleやmeta descriptionの改善で需要に合わせに行くということもできます。あるいは、テキスト情報を増やすことで、メインとしてはなかなか反応しなくてもロングテールだったら反応する可能性があります。

このような対策をしても無理なものは無理ということもあります。その場合、ずっと置いておくとサイト全体に対して悪影響になるので、削除も検討しても良いかと思います。

竹内氏

削除の方法に関しては大きく３つございます。

まず、404削除、物理的にページをnot foundにする方法です。そのページはもう不要で、適切な転送先、つまり他に評価を渡したいという先もない場合は、404で削除します。

それとは逆に、ページは不要だけれども似たような転送先がある、たとえばA、B、Cで重複しているからAに評価を寄せよう、というときは、301リダイレクトでAに転送してあげることもできます。

さらにそれとは逆に、ページとしてはユーザーにとって必要だから見られる状態にしておくけれどGoogleには評価させないという場合は、メタタグでnoindexを付与するのが良いかと思います。

今回のまとめ

竹内氏

クロール済み・インデックス未登録は結構根深い問題ですし、最近とても多くなってきています。背景として、生成AIが出てきて1人の人間で1日に1万件のコンテンツを作れてしまうような時代になったことがあります。Googleが全部クロールしたり全部インデックスしたりすることが物理的に不可能になりつつあるように感じます。

そのため、Google側も無駄にリソースを使うサイトを毛嫌いするようになっています。本当に高品質なコンテンツだけを納品できる素晴らしいサイトとして認識されることで、SEO評価は今後どんどん高まっていくのではないかと個人的には思っております。

竹内氏

クロールされたのであればきちんとGoogleにインデックスされるような、高品質なコンテンツを作成していけると良いのではないでしょうか、というところで、本日の締めとさせていただければと思います。

徳田

逆にいうと、データベース型で大量のページが生成されていて、ドメインのパワーが強いサイトが昔は強かったですが、今は中規模だとしても、さきほどあった不動産の営業の方がコメントを残しているような、一つ一つに有益なコンテンツを残していて、ちゃんとインデックスされるような状態を作っていけば、特定の部分で勝てるかもしれないということですよね。

竹内氏

そう思いますね。

昔はドメインが強くて大量インデックスが勝っていましたが、最近はそれではGoogleにとって厄介です。それよりは一つ一つが高品質なものを少数精鋭で作っていくというのも勝ち筋としてあるかなと思っています。

徳田

僕はECや問い合わせ獲得というのがゴールとなる案件が多く、その場合は上位表示されたあとに選ばれることが重要ですので、そういった生々しい情報を仕入れて載せることを得意としているんですよ。

選ばれるためには「なぜうちなのか」みたいなところが伝わらないと、海外からわざわざ問い合わせをしたり買おうとは思わないんですよね。

あと、さきほどクエリのニーズに関するお話がありましたが、日本のものなんてそもそもそんなに検索されていないから、ちょっと抽象度を上げてカテゴリーワードなんかを上げていき、その選択肢の中に日本のものもある、という伝え方をしなくてはならないんですよね。

竹内氏

確かにそうですよね！

そもそも探してる人が…

徳田

そうなんですよ、戦ってる世界がとてもニッチなので…

とてもおもしろいなと思いました！戦い方によっては小さな会社でも勝てることもありますし、そのために取り組むべき施策というのはなんなのかというのをLANYさんに整理していただいて、選択と集中で一緒に伴走していただけたら勝てそうだなというふうに思いました！

クロール済み・インデックス未登録の件数が増えてきて心配な方は、ぜひLANYさんに相談いただけたらと思います。

また、多言語のサイトを生成した場合も同じことが発生するので、LANYさんのチャンネルでもこの話ができたらなと思ってます。

貴重なお話いただきありがとうございました！