Googleサーチコンソールからクロールを要求するときの手順

index

実際にインデックス率の改善に取り組む場合

さて、前の記事(Yahooやヤプログからの引っ越し組の「インデックス状況」の改善について)で紹介した「インデックスされていない記事のクロールの要求」について、具体的に説明します。
ここでは、すでにサーチコンソールを設定してあり、一度はサイトマップを送ってみたという前提で、話を進めます。

最も面倒な作業

一番大変な作業は、インデックスされていない記事があるということがわかっていても、具体的にどの記事なのかを調べ出すというプロセスです。
これは、過去記事の数が多ければ多いほど、大変なのですが、地道に、少しずつでもやっていくしか、ありません。
このブログの場合には、まだそれほどの記事数にはなっていなかったので、site検索で表示されている記事のエントリー番号を、すべて書き出して、数字の小さい順に並べて行き、その作業が終わったら、「番号が抜けているところ」を探し出すという、最も古典的な方法で、行いました。
こういう作業のことを考えると、なるべくならば、記事番号は飛ばさないほうがいいということは、言えますので、「記事の削除」というのは、できるだけ、しないほうがいいのです。
私の場合には、だいたいいつも、このようにやっていますが、何か、便利な方法を開発できる人は、どんどん自分流のやりかたを、発明してみてください。

サーチコンソールからクロールを要求する

とにかく、「インデックスされていない記事の番号」を抽出したら、あとは簡単です。
サーチコンソールを開き、以下のようにして、クロールを要求し、それで終わりです。
しばらくしたら、インデックスされているかどうかを確認すれば、それでよいと。
urlテスト1urlテスト2urlテスト3urlテスト4urlテスト5

単純作業だけれども、件数が多いと大変

作業自体は、同じことの繰り返しなのですが、「件数が多い場合」には、大変だということで、チビチビとやっていくしか、ありません。
以前は、Fetch the Googleという機能で、インデックスを要求していたのですが、そのときには、1日に何件までとかいう制限があり、それを超えると、ペナルティを食らっていましたので、私の場合には、1日に、10件程度までにしています。
限界に挑みたい人は、やってみてもいいかと思いますが、ペナルティが来た場合には、自己責任で。
この場合のペナルティは、以前のことを考えれば、たぶんですが、しばらく(むこう24時間とか)クロールの要求ができなくなるとか、だと思いますが。
現状では、たぶんですが、FC2への引っ越し組の「旧ブログから持ってきた過去記事」のインデックス率というのは、あまり、よくないようです。
件数が多い場合には、すべてをカンペキにやるには、なかなか大変かもしれませんので、まずは、主要な記事や、アクセスが集まりそうな記事だけでも、洗い出して、インデックスがされているかどうかを確認し、されていなければ、クロールを要求しておいたほうが、よいかもしれません。

1日の上限回数について

URL検査(新しいFetch as Google)の上限回数は?エラーについても!
URL検査のペナルティについて - Search Console ヘルプ
上限回数は、ないと言っている人(上)がいるいっぽうでは、Googleの質問サイトでは、あるとかいう話もあり、やはり、あまり集中的にやりすぎると、何かに引っかかるのではないか、という気がします。
安全を考えれば、1日あたり、10回までというのが、やはりおすすめです。

2019/11/23追記:1日あたりのクロール要求回数には、制限があった

別件でクロールの要求を続けていたところ、やはり、1日あたりの回数の制限があるということを発見。
割り当て超過 これは、「クロールを要求した場合の回数」のはずで、URLの検査をやって、インデックスされていますになってそのままにした場合のぶんは、含まれないはず。
残念ながら、このときは、クロールの要求回数を数えていなかった…。
がたぶんだけれども、30件程度ではないか、という気がする。
これが出たら、24時間待って、再開すれば、OKのはずである。
関連記事

コメント

コメント(15)
お師匠!!
以下のようなメールが来ました。
モバイル ユーザビリティhttps://wy2lo675gjj3.blog.fc2.com/で問題が検出されました
https://wy2lo675gjj3.blog.fc2.com/ の所有者様
Search Console により、貴サイトに影響する「モバイル ユーザビリティ」関連の問題が 2 件検出されました。
主な問題
貴サイトでは、以下の問題が検出されました。
テキストが小さすぎて読めません
クリック可能な要素同士が近すぎます

ちなみに10個の過去記事をURL検査したら
全て「URL は Google に登録されています」になっています。
これでいいんでしょうかね?

柴犬マイア

2019/11/29 10:49 URL 編集返信
Janedoe1471
To 柴犬マイアさん
そうですか、まず、「URL は Google に登録されています」になったという記事は、「site:検索」で、出て来なかった記事でしょうか。
それとも、新しいほうから順番に番号を入れてみたとかでしょうか。

また、サーチコンソールからのメッセージというのは、特に気にしなくてよいものも、あるのですが、モバイルユーザビリティの問題は、私のテストブログで、試してみますね。
あっちは、設定をしていなかったので、何日かはかかると思いますので、同じメッセージが出るかどうか、試してみます。
文字が小さすぎるというのは、拙テンプレートの場合には、記事部分の文字サイズは、16pxと、最初から、かなり大きくしてありますので、ちょっと考えにくいですね。
リンクどうしが近すぎるというのは、もしかすると、ページめくりのことかもしれませんが…。
なにしろ、同じテンプレートで、記事内容だけが違うもので試せば、原因が「記事」なのか、「テンプレート」なのかが、わかります。
なので、数日~1週間程度はかかると思いますが、結果が出たら、お知らせいたします。
そして、テンプレートの改修が必要な場合には、また、対処させていただきます。

Janedoe1471

2019/11/29 12:33 URL 編集返信
To Janedoe1471さん
上の記事の「サーチコンソールからクロールを要求する」の手順で、適当に無作為に記事を選んでやったら、全て「URL は Google に登録されています」が出てきました。
例えば
https://wy2lo675gjj3.blog.fc2.com/blog-entry-4.html
https://wy2lo675gjj3.blog.fc2.com/blog-entry-36.html
https://wy2lo675gjj3.blog.fc2.com/blog-entry-645.html
https://wy2lo675gjj3.blog.fc2.com/blog-entry-20.html
とかホンマに適当に10個ほど試にしてみたら、全て「URL は Google に登録されています」が出てきました。

柴犬マイア

2019/11/29 15:06 URL 編集返信
お師匠!!
今、「site:検索」で出て来なかった記事でもやってみましたが、「URL は Google に登録されています」が出てきます。

柴犬マイア

2019/11/29 15:45 URL 編集返信
Janedoe1471
To 柴犬マイアさん
そうですか、それでは、以下の手順を、やってみてください。
記事の番号は、順番になっているとは限らず、滅茶苦茶の場合のほうが多いので、どれが抜けているのかを洗い出す作業というのは、けっこう面倒ですが。

https://blog-imgs-134.fc2.com/j/a/n/janedoe1471/coverage1.png
https://blog-imgs-134.fc2.com/j/a/n/janedoe1471/coverage2.png
https://blog-imgs-134.fc2.com/j/a/n/janedoe1471/coverage3.png

この作業を繰り返して、「site:検索」の件数が、だんだん増えて来て、個別記事ページのインデックスが、ほぼカンペキになるなり、ご自身の満足のいく程度になれば、過去記事のインデックスについての作業は終了です。
今後の新しい記事のインデックスは、そんなに心配されることは、ないと思いますが、ときどき、site:検索をやってみて、新しい記事のインデックス状況が、よくないようだったら、また、URL検査をやって、クロールを要求してみる、ということです。

Janedoe1471

2019/11/29 16:23 URL 編集返信
Janedoe1471
To 柴犬マイアさん
追記です。
もしかすると、「エイジングフィルター」にかかっているかもしれませんね。
「ブログ年齢」が若いと、インデックスが抑制気味になる、というのが、ありまして。

サーチコンソールの、「除外(件数)」のところをクリックしてみて、下のほうに、「クロール済み - インデックス未登録」が出てくるかどうか、見てみて、そして、そこをクリックして、実際に、中身を見てみてください。
https://blog-imgs-134.fc2.com/j/a/n/janedoe1471/index.png

そして、URL検査の結果が、「インデックスされています」というふうになっていても、site:検索で出てこないものは、そのまま「再クロール」を要求してみて、それで、しばらくしたら、site:検索に出てくるようになるかどうかを、試してみてください。

これまでの私の経験からしますと、新しいURLの最初の半年というのは、インデックス状態が不安定です。
ですので、現段階で、site:検索に出てくるものが、安定しないとか、調べてみると「インデックスされている」になっているのにということは、よくあります。
現実としては、site:検索で出てくる件数を、手動でもって、じわじわと増やしていくということになります。
1日あたりにできる件数が、少ないので、チマチマと、内職みたいな感じで、増やすと。
いつか、site:検索の結果が、満足のいく件数になるか、ご自身が、もういいと思う程度に増えるまで、ですね。

Janedoe1471

2019/11/30 00:07 URL 編集返信
To Janedoe1471さん
上の3つの手順をやってみました。
カバレッジをクリックすると有効が1438件でした。
次に有効をクリックすると
「送信して登録されました」という行は出てこず
「インデックス登録されましたが、サイトマップに送信していません」が1438件でした。
イマイチよくわかっていませんが、結果報告です。

柴犬マイア

2019/11/30 04:37 URL 編集返信
To Janedoe1471さん
「除外(件数)」のところをクリックしてみました。
除外件数は132件でした。
内訳は
noindex タグによって除外されました 86ページ
重複しています。ユーザーにより、正規ページとして選択されていません 34ページ
クロール済み - インデックス未登録 12ページ
とりあえずこの12ページをインデックス登録リクエストしてみます。

柴犬マイア

2019/11/30 04:57 URL 編集返信
Janedoe1471
To 柴犬マイアさん
そうですか、「クロール済み - インデックス未登録 12ページ」を、やってみて、site:検索に反映されるかどうかを確認ですね。
それと、たぶん、エイジングフィルターの期間を、まだ抜け出していないのだろうという感じがします。
「ブログ年齢」というのがあって、最初のうちは、検索評価への反映や、インデックス登録が、抑制気味になる現象です。
これは、だいたいですが、半年経つと、だいたい抜け出します。
検索エンジンの挙動については、悪用を避けるために、秘密になっていることが多く、はっきりしたことは、わからないのですが、エイジングフィルターというのは、すべてのブログがハマるというわけでも、ないのです。
が、永遠に抜け出せないということは、ありません。

件数から見ると、サイトマップの送信によって、ほとんどは、インデックス登録は、されているのではないかと思います。
が、検索評価への反映の際に、抑制されているのだとすれば、それは、エイジングフィルターでしょうから、やはり、時間が経つのを待つ、ということになります。

Janedoe1471

2019/11/30 19:54 URL 編集返信
Janedoe1471
To 柴犬マイアさん
申し忘れましたが、「クロール済み - インデックス未登録 12ページ」をクリックしてみて、その中身が「個別記事ページのURではない場合(末尾がblog-entry-番号ではない)」には、インデックスを要求する必要は、ありません。

Janedoe1471

2019/12/01 00:35 URL 編集返信
To Janedoe1471さん
「クロール済み - インデックス未登録 12ページ」は全て個別記事ではありませんでした。
半年ですか?そうなると来年の3月以降ですね。
了解しました。気長に待っておきます。

柴犬マイア

2019/12/01 05:21 URL 編集返信
To Janedoe1471さん
ちなみに一昨日・昨日で古い記事から「URL は Google に登録されています」を含めて約50記事ほど「インデックス登録をリクエスト」してみました。
今朝インデックス状況を調べたら、123件から167件に増えていました。
仕事のある平日はできませんが、時間のある時に気長にやらないといけませんね。

柴犬マイア

2019/12/01 08:56 URL 編集返信
Janedoe1471
To 柴犬マイアさん
そうですか、インデックス済みのものの再クロールの要求で、site:検索の件数が変わる場合も、あります。
私は、別のブログがエイジングフィルターにかかっているときに、だいぶそれをやったことがあります。
ただ、エイジングフィルターにかかっている間は、一度出たものが、消えたりとか、検索結果の表示が不安定でしたが、再クロール要求で、じわじわと増えては行きました。
エイジングフィルターを、いつごろ脱出するかは、一定ではなく、2~3ヶ月で抜けることもあるのですが、半年経つと、だいたい安定すると言われています。
私の場合も、半年すると、安定したな、という経験が多かったと思います。
再クロール要求は、単純で地味な作業ですが、増えたならば、やる価値はありそうですね。

Janedoe1471

2019/12/01 13:15 URL 編集返信
お師匠!!
愚痴みたいな質問です。
12月10日にはインデックス状況 336件だったのですが、12月15日のインデックス状況 265件と減っていました。しばらく再クロールを怠っていたら、今朝は216件に減っていました。
これはエイジングフィルターにかかっているのですかね?
あまり効果がないなら他に注力しようかと考えています。」

柴犬マイア

2019/12/17 08:31 URL 編集返信
Janedoe1471
To 柴犬マイアさん
そうですか、site:検索の結果は、変動しますので、googleのアルゴリズムが変われば、そのたびに変わることがあります。
普通は、増えるはずなのですが、私も別ブログで、減っているのが1件あり、再クロールをやってもやっても減るので、悩んでいるところです笑。
「URL検査」をしてみて、新しい更新記事のインデックスが、順調にされているようであれば、再クロールは休止して、ほかのことに力を入れるほうが、よろしいかもしれませんね。
あとは、ブログカードの導入にトライしてみるとかですね。
また、右クリック一発でテキストリンクが作れるようなブラウザ用のアドオンもありますので、そういうものの使い方も、ご希望があれば、説明しようと思っています。

Janedoe1471

2019/12/17 13:39 URL 編集返信
コメント投稿
【お願い】FC2ブログの方は、必ず、ご自分のブログURLを入力してください。
非公開コメント

プロフィール

Janedoe1471

Author:Janedoe1471 この写真とはまったく違うおばさんです。
が、気持ちだけは、いつまでも、こういう感じでいたいと思っています。

更新通知登録ボタン

更新通知で新しい記事をいち早くお届けします

検索フォーム