crawler_and_index


前回の記事では「SEOはユーザーのため」という一番大事な考え方を紹介しました。
今回は、「ホームページがGoogleの検索結果に表示されない」問題を解決するための最初の一歩「クローラーに、クロールして、インデックスしてもらう」までを紹介します。


〜ここはグンマーにあるクリーニング屋「白鳥(はくちょう)クリーニング」〜

クリーニング屋の父さんクリーニング屋の父さん

seoはお客様のために、という考えが大切なのはよくわかった。
それで、検索結果に表示させるためには、まず何から始めたらいいんだ?


鈴木鈴木

始めたばかりのウェブサイトが表示されない理由は2つ考えられるよ。


検索結果にウェブサイトが表示されない理由

  • Google(検索エンジン)が、ウェブサイトの存在を知らない
  • Google(検索エンジン)から高い評価を得られていない



鈴木鈴木

ウェブサイトを作成したら、まずGoogleにウェブサイトを知ってもらう必要があるんだ。
そして、ウェブサイトがどんな内容のサイトなのかを正確に把握してもらおう。
このときにウェブサイトの評価もされて、評価が高ければ高いほど、検索結果の上位に表示されるようになるよ。
まずは「検索エンジン」の仕組みから解説するね。



検索エンジンの仕組みを知る

検索エンジンには、Google、Yahoo!、goo、Bingなどが良く使われていますが、他にも馴染みのないものがたくさんあります。例えば、Googleが使えないお隣の中国では、百度(Baidu)と呼ばれる検索エンジンが主流だそうです。

それぞれの検索エンジンには特徴があり、目的によって使いこなす人もいるとか。
参考:【保存版】検索エンジン比較!GoogleやYahoo以外のおすすめの検索エンジン


日本で最も一般的なYahoo!JAPANとGoogleの検索エンジンの国内シェアは、前者が32.57%で後者が61.12%(2015年8月)だそうです。ふたつを合わせるとなんと約94%


Yahoo!JAPANの検索エンジンはGoogleのアルゴリズム(計算式)を採用し、独自の機能を追加していますが、検索結果は大きくは変わらないそうです。
参考:いつの間にか日本もGoogle寡占! 検索エンジンシェア早わかり2015


鈴木鈴木

ここではシェアNo.1のGoogleの検索エンジンを例に話を進めます!

クローラー

Googleの検索エンジンには、Googlebot(グーグルボット)と呼ばれるクローラー(ロボット)がいて、星の数ほどあるウェブサイトを訪問し、次から次へと巡回(クロール)します。
巡回したウェブサイトの情報を収集してデータベースに蓄積&整理(インデックス)するのですが、このときに検索結果の順位を決めるための評価も行います。


ユーザーがキーワードで検索すると、検索エンジンはGooglebotが集めた膨大なインデックスの中から適切なウェブサイト(ウェブページ)を探して、検索結果に表示してくれます。


Googleのウェブサイトでも、検索エンジンの仕組みについて丁寧な解説があります。


クリーニング屋の父さんクリーニング屋の父さん

確か、Googlebotくんは、毎日休まずに働き続けてるんだったな。このGoogle検索エンジン最適化スターターガイド(PDFが開きます)にも詳しく書いてあったな。



クローラビリティ

ウェブサイトのクロールしやすさをクローラビリティと言います。
クローラビリティを向上させることで、クローラーがウェブサイトの情報を正確に収集できるようになります。


せっかく良いサイトを作っても、クロールされなかったら存在しないも同じ。正確にクロールしてもらうことがSEOの第一歩です。

参考:クローラビリティが悪ければ全て始まらない


具体的にどんなことをすればクローラビリティは向上するのでしょうか。

HTMLの構造化

クローラーは何を見てウェブサイトを評価し、検索結果の順位をつけているのでしょうか。
ウェブサイトの見え方は私たちとクローラーで違います。


例えば、このブログの最初の記事「」を例にとると、私たちはにパソコンの画面をとおしてこのように見えています。


view_as_people



一方、クローラーがどのように見えているか(どのような情報を得ているか)を、Google Serch Console(グーグル サーチ コンソール)のFetch as Google(フェッチ アズ グーグル)という機能を使って調べてみます。


view_as_crawler


クローラーは、赤い枠線の中にあるように、HTMLの文書から情報を得ています。


HTMLの構造化とは、タイトル、キーワード、見出し、段落、引用やリストなどの要素を分類する「タグ」と言われるマークを使って、文書を論理的に整理することです。
タグを使って文書の適切な構造化ができれば、クローラーが情報を収集しやすいだけでなく、私たちも内容を理解しやすくなります。


例えば、私たちがタイトル、大見出し、小見出しとつけることで、文章のまとまりを章立てて理解できるように、クローラーも文章のまとまりを把握することができます。


鈴木鈴木

私たちはパソコンやケータイの画面からウェブサイトをみて、「デザインがかっこいい」「フォントがかわいい」「写真がキレイ」など視覚情報で良し悪しを決めることもあるけど、クローラーが取得している主な情報は、デザインのかっこよさやフォントの読みやすさではなく、テキスト情報なんだ。



クローラーに来てもらうためのリンク対策

クローラーはリンクを辿ってウェブサイトからウェブサイトへと巡回しています。
リンクが張られていないウェブページにはクローラーが辿り着けないので、リンクを張ることはとても重要です。


crawler_link

外部リンク

外部リンクとは、自分のウェブサイト以外に、自分のウェブサイトのリンクが張られることを言います。
外部リンクは基本的には自分でどうすることもできませんが、良い内容が書かれたウェブサイトは、他のウェブサイトなどで紹介されて、自然に拡散していきます。
こうした自然に外部リンクが増えていくと、Googlebotは「人気のあるウェブサイト」と判断し高い評価になります。


以前はこの評価の仕組みを悪用して、他のウェブサイトにたくさんリンクを張って、人気があるように見せて検索エンジンを騙すようなこともあったようです。最近は、Googlebotの性能も向上し、そうした不正を見つけるとウェブサイトにペナルティが科せられるようになっています。


鈴木鈴木

ちなみに、このウェブサイト「鈴木101%」は、Googlebotにクロールもインデックスもされています。
しかし、外部リンクが全くないので、不人気と評価されているのか「鈴木101%」で検索しても上位に表示されません。(悲)
外部リンクをください!



内部リンク

内部リンクとは、自分のウェブサイト内で、各ページにリンクを張りあうことです。
クローラーはページからページへとリンクを辿って巡回するので、自分のウェブサイト内でリンクを張りあうことも重要な対策です。


リンクを張るときは<a>タグという要素を使ってHTMLを書きますが、このときにリンクを設定する文字列(アンカーテキスト)に注意が必要です。


よくやってしまう悪い例がこちらです。私も今までこれでした。


○布団・毛布の料金表はこちら
HTMLでは、

<a href="ここにリンク先のURL" target="_blank">;こちら</a>

となります。


クローラーはリンクを辿るときに、リンク先の情報をこの文字列から把握するため、リンク先には「こちら」というキーワードが読まれるだけで、リンク先の内容を正確に把握してもらえなくなってしまいます。


文字列にはキーワードを含めるのが良い例です。
布団・毛布の料金表はこちら


crawler_link2


文字列のキーワードは、リンク先のタイトルや見出しのキーワードとそろえることで、ページ同士の関連性がある良いリンクだと判断されます。

なぜ関連性があると良いリンクなのか?

検索エンジンはリンク元とリンク先のページをクロールしてどんな内容かを認識しています。その内容が関連しているリンクほど高く評価します。


極端な例えですが、クリーニング屋さんの料金ページを見ているのに、パソコンのページが紹介されたらちょっと不快に思いますよね。これが洗濯機や家庭用洗剤のページなら関連性があると言えます。


ここでもユーザーの利便性を考えて、関連性のあるリンクをGoogleは高く評価しています。


また、1ページに張るリンクは100本以内が良いと言われています。いました。
参考:「1ページのリンクは100未満に抑える」は過去の話だけど、やっぱり抑えたい|海外SEO情報ブログ


Googleのガイドラインから上限の文言がなくなったとはいえ、たくさんリンクが張り過ぎているとユーザーにとっては読みにくいですね。大量のページを持つウェブサイトは、1ページあたりのリンク数を抑えたほうが良いようです。


例えば、ファッション通販サイトのZOZOTOWNが、トップページに全商品の名前が羅列されていたらどうでしょう。わかりにくくて仕方ありません。ZOZOTOWNの場合は、ブランド別やカテゴリ別に分類することで、商品を探しやすくしています。


内部リンクの参考記事:クローラビリティを100点に仕上げてURLを検索エンジンに正しく伝える

クローラーにクロールしてインデックスしてもらおう!

クローラーにクロールしてもらう準備ができたら、いよいよクロールしてインデックスしてもらいましょう。
クロールしてもらう方法は2つあります。

  1. 外部サイトにリンクを張る、張ってもらう
  2. Google Search Consoleを使う



1.外部サイトにリンクを張る、張ってもらう

クローラーはリンクを辿ってウェブサイトからウェブサイトに移動しているので、外部のサイトにリンクを張ってもらうと、クローラーが巡回しにやってきます。
リンクが外部サイトに自然に張られることが望ましいですが、同じ分野のホームページやブログを運営している人に頼んで、リンクを張ってもらうことも大事な対策です。


もし、なかなか張ってもらえないと、いつまでたってもこのブログのように検索結果の上位に表示されません


SNSでウェブサイトを拡散してもらうのもひとつの手ですが、FacebookやTwitterに張られたリンクは、HTML文書内に「nofollow」タグがついているので、クローラーがリンク先のウェブサイトを評価しません。


それではSNSで拡散されることは、SEOでは意味がないのか、というとそうではありません。拡散されることでより多くの人の目に触れる機会が増えます。もしかしたらその中の誰かがホームページやブログで紹介してくれる可能性もあるので、SNSでの情報発信にも積極的に取り組むべきだと言えます。

2.Google Search Consoleを使う

Googleがウェブサイトの管理者向けに無料で提供しているツールに「Google Search Console」というものがあります。
※以前まではウェブマスターツールという名前でした


Google Seach ConsoleのFetch as Googleを使うことで手動でウェブサイトをGoogleに知らせることができます。
ここでは使い方は詳しく説明しませんが、URLを入力するとそのウェブサイトがクロール可能かどうかを判断し、可能な場合はクロールのリクエストを送ることができます。


Fetch as googleを使って早速インデックスさせたいかたはこちらのブログを参考にしてください。
【初心者向け】Fetch as Googleの使い方!0.1秒でも早くサイトをクロールしてもらう!

まとめ

せっかく作ったホームページやブログなので、検索エンジンにきちんとクロールしてもらいましょう!

  • 検索エンジンにはクローラーというリンクからリンクを移動するロボットがいる
  • クローラーはウェブサイトの内容をテキスト情報から把握し、データーベースに登録する(インデックス
  • インデックスするときにサイトの内容を評価し、検索結果の順位に反映する
  • クローラーが正確に情報を取得できるようなサイトを構築する(クローラビリティの向上
  • リンクを辿ってこれるように、ウェブサイトの内外にリンクを張り巡らす
  • Fetch as Googleを使って、Googleにクロールをリクエストする



自分のウェブサイト以外にリンクを張ってもらうためには、「この記事いいね!」と思ってもらえるような質の良いオリジナルの記事を書くしかありません。
この記事はまだまだ「いいね!」とは到底言えるものではありませんが、たくさんの「いいね!」がもらえるような記事作りに励みます。

鈴木鈴木

現在、20,000PVを目指しています!
1月20日までに20,000PVを達成しないと会社に契約を継続してもらえません
このブログの記事の向上のためにみなさんの叱咤激励のコメントをよろしくお願いします!
twitterアカウント @suzuk101
どうか、どうか、よろしくお願いします!!




参考にしたブログ記事



参考にした本

とても勉強になりました。ブログ記事・本を執筆されたみなさん、ありがとうございます。