サイトのMeta情報を一気に取得できるScreaming Frog SEO Spiderを使ってみた。 ｜ SiTest (サイテスト) ブログ

Screaming Frog SEO Spider Toolは、指定したサイトのtitle・h1・Meta Description・Meta Keywords等のサイト情報を一括取得してくれるツールです。
500URLまでなら無料で使え、自社だけでなく他社のサイトでも取得ができ競合調査などにも使えるのでぜひお試しください。
https://www.screamingfrog.co.uk/seo-spider/

ダウンロードページから、Freeのソフトウェアをダウンロードし、インストールします。
無料版は500URLという制約がありますが、まず試してみるには十分な数かと思います。

Screaming Frog SEO Spiderを起動し、「Enter url to spider」のテキスト枠にURLを入力し、Startボタンを押下します。

クローラーがページを巡回し、ページURLやステータスコードの他、Titleタグ、meta情報やHタグ情報などSEO内部対策に重要な要素を収集します。
Screaming Frog SEO Spiderでは主にこのようなことが可能です。

①全URLのリスト化

htmlやPHPの他に、画像ファイルやCSS、Javascriptなど、全てのファイルのURLとタイプを一括で取得します。

②アウトリンクのリスト化

入力したサイトから外部サイトへのリンクを取得します。

③レスポンスコードのリスト化

読み込み速度やリダイレクトの有無、404エラーの有無を取得します。

④ページタイトルのリスト化

全ページのtitleタグと、その文字数を一括で取得します。
エントリ数の多いブログの管理などに便利です。

⑤ディスクリプションのリスト化

全ページのdescriptionタグと、その文字数を取得します。

⑥メタキーワードのリスト化

全ページのメタキーワードと、その文字数を一括取得します。
メタキーワード自体はSEO上で意味は無いと言われていますが、各ページの「狙っているキーワード」を把握したいという方には便利です。
特に競合サイトの状況は気になりますよね。

⑦h1のリスト化

全ページのh1タグと、その文字数を一括取得します。

⑧h2のリスト化

全ページのh2タグと、その文字数を取得します。

⑨画像ファイルのリスト化

全画像ファイルを一括で取得します。

⑩検索エンジン用の指示関連のリスト化

meta name=”robots”の指定や、canonical、rel=”prev”、rel=”next”といった検索エンジンへの指示関連が取得できます。

⑪XMLサイトマップの作成

XMLサイトマップの作成に対応しています。

右側の「Overview」では、各要素を特定条件で絞り込んで確認が可能で、グラフビューで可視化してくれます。

「Export」から、表示されているデータをプルダウンで選んだファイル形式に書き出すことができます。

抽出条件を指定して出力することも可能です。
CSVファイルで書き出しが資料化には便利です。
ページURL、タイトル、メタキーワードが取得できるので、そのまま整形してGRCに登録したりするとかなり手間が省けますね。

この手のデータを取得するのに、ページのソースを一つ一つ確認するというのも現実的ではありません。
ツールを使ってできることはさっくりと終わらせ、抽出したデータを活かしてどう対策を立てるか、を考えていきたいものです。