本記事では自動化ツールやAIツールを企画開発するGASラボの「Webページ内リンクURL一括抽出ツール」の概要・使い方、入手方法、よくある質問に関するQ&Aについて詳しく解説しております。
【はじめに】Webページ内リンクURL一括抽出ツールの概要
本ツールは、Webページ内にあるリンクURLを一括抽出して、Googleスプレッドシートに出力できるツールです。
- 特定のWebページ内にあるリンクURLを一括抽出
- 抽出したリンクURLはGoogleスプレッドシートへ自動出力
- 抽出したリンクURLの基本情報を取得できる「簡易スクレイピング機能」を実装
リンク抽出したいWebページURLを指定すれば、そのページ内にあるリンクURLを一括抽出して、Googleスプレッドシートへ一覧として出力することができます。
また、「簡易スクレイピング機能」を利用すれば、本ツールが抽出したリンクURLの基本情報も取得できるため、どのようなページなのかを判別する情報も得ることが可能です。
なお、本ツールはGoogle Apps Script（GAS）を実装した「Googleスプレッドシート形式」のツールです。
Googleスプレッドシートが利用できるパソコンであれば、OS（WindowsやMac）を問わずお使いいただけます。
ご自身が運営するブログやオウンドメディア、競合メディアなどの特定のページのリンクURL一覧を取得したい際におすすめのツールです。
Webページ内リンクURL一括抽出ツールの3つの特徴
指定Webページ内のリンクURL一覧をスプレッドシートに簡単抽出
- 指定したWebページ内のリンクURL一覧を自動取得し、Googleスプレッドシートに抽出します。
抽出したリンクURLの基本情報を取得する簡易スクレイピング機能搭載
- 取得したWebページ内リンクURLのうち、選択したURLの基本情報を取得できる簡易スクレイピング機能を搭載しております。
- 簡易スクレイピング機能では、「title」「meta description」「meta og:description」「meta og:image」のデータを取得することが可能です。
初心者でも安心！簡単操作
- 本ツールのご利用にあたり、プログラミングコードの編集やコピー＆ペーストの作業は不要です。
- クリックと入力のみで操作できるため、どなたでもご利用いただけます。
Webページ内リンクURL一括抽出ツールはこんな方におすすめ
- ご自身が所有するWebサイトページ内のリンクURLを一括で抽出したい方
- 特定のページ内の内部リンク、発リンクを確認したい方
- 気になる競合サイトや競合ブログのページ内リンク一覧を確認したい方
Webページ内リンクURL一括抽出ツールのご利用マニュアル
STEP１：配布リンクの本ツール（Googleスプレッドシート形式）をコピー
本ツールは「Google Apps Script（GAS）」の自動化スクリプトが実装された「Googleスプレッドシート」形式の自動化ツールです。
ツール配布リンクから確認できるツールは、安全のため「閲覧権限」に制限しております。
本ツールに実装された自動化メニューを有効化するためには、ツールのコピーを生成する必要があります。
スプレッドシートのツールバーの「ファイル」→「コピーを作成」をクリックすることで、自動化メニューが有効になったコピーツールを生成できます。
コピーツールにはプログラムも一緒にコピーされますので、コードを編集する必要性は全くありませんので、ご安心ください。
STEP2：メニューより「ページ内リンクURL抽出」を実行し、WebページURLを指定
次に、指定したWebページ内にあるリンクURL一覧を自動化メニューを用いて抽出します。
本ツール独自の「メニュー」より「ページ内リンクURL抽出」をクリックして実行します。
初めて本ツール独自の自動化メニューを実行する際には、初回認証プロセスが必要となります。初回認証プロセスの進め方は下記の記事に記載しておりますので、そちらをご参照ください。
本自動化メニューを実行すると、ページ内リンクURL一覧を抽出するWebページURLを入力するテキストボックスが表示されます。任意のWebページURLを入力し、「OK」をクリックしてください。
その後、テキストボックスに入力して指定したWebページ内にあるリンクURLの一覧が本ツールの「URLリスト」シートに出力されます。
注意点
- 本ツールはWebスクレイピングにてページ内リンクURLの抽出を実施しております。<a>タグのhref属性からURLを抽出する仕様となっておりますが、複雑なHTML構造など場合によっては、適切な結果が得られない場合がございます。予めご了承ください。
- 上述の通り、Webスクレイピングにてページ内リンクURL一覧情報の抽出を実施しているため、ページによっては情報を抽出できないケースもございます。予めご了承ください。
- 本ツールは処理時間に上限があります（約6分）。ページ内にリンクURLが多い場合やページ自体が重い場合など、リンクURLの抽出処理が上限時間内に完了できないケースがございます。予めご了承ください。
- 「ページ内リンクURL抽出」メニューを実施するたびに、「URLリスト」シートは一度クリアされる仕様となっております。ご注意ください。
STEP3：「URLリスト」シートにてスクレイピング対象ページを指定
次に抽出したリンクURL一覧のうち、ページの基本情報を取得（スクレイピング）するページURLを指定します。
ページ基本情報を取得したい「ページ内リンク」ごとに、本ツールの「URLリスト」シートの「スクレイピング対象」（D列）のプルダウンから「●」を選択して指定してします。
STEP4：「メニュー」より「スクレイピング」をクリック
最後にスクレイピング対象に設定した「ページ内リンク」に対して、簡易スクレイピング機能を利用して基本情報を取得します。
取得できる情報はページに関する基本的な情報にはなりますが、簡易スクレイピング機能を実行することで、URLだけではわからない情報を可視化できます。
本ツール独自の「メニュー」より「スクレイピング」をクリックして実行します。
「スクレイピング」メニューを実行すると、「URLリスト」シートでスクレイピング対象として選択したページの基本情報が取得され、出力されていきます。
スクレイピング機能で取得できる項目一覧
- tilte
- meta description
- meta og:description
- meta og:image（画像として出力されます）
スクレイピング機能の補足・注意点
- 「スクレイピング対象」に設定されていないページ内リンクはスクレイピング対象外となります。
- 既に「スクレイピング実施日時」に情報が入っている「行」はスクレイピング処理がスキップされます。
- 「スクレイピング」メニューの最大処理時間の上限は約「6分間」となります。6分間を超える場合、スクレイピング対象の数を減らすなどして調整してください。
- スクレイピング対象の数が少ない場合でも、情報量の多いサイトやサーバーの重いサイトなどは最大処理時間内に処理が完了できない可能性もございます。
- サイトの構造によっては、正しく情報が取得できない可能性もございます。予めご了承ください。
- GASのWebサイトへのリクエスト数（スクレイピング数）は1日あたりの上限が定められています。上限に達した場合は、時間を空けてご利用ください。
- 本ツールをご利用されてスクレイピングを実施する際には、相手型のサーバーに負荷をかけないように最大限ご配慮をお願いします。
Webページ内リンクURL一括抽出ツールの便利な機能
URLリストシートクリア機能
本ツールではURLリストシートをクリアする機能もご用意しております。
フォルダ一覧シートをクリアしたい場合には、本ツール独自の「メニュー」より「URLリストシートクリア」を実行して下さい。
Webページ内リンクURL一括抽出ツール：ご利用上の注意点
- 本ツールの利用には、Googleアカウントが必要になります。
- スクレイピング対象のWebサイトがスクレイピングを禁止している場合、本ツールでのスクレイピングはお控えください。
- 本ツールの利用で発生した問題の責任は負いかねます。事前に使い方をテスト、理解した上で、ご利用ください。
- ツールおよびプログラムの著作はGASラボにあります。無断での転載・再販・配布・共有やソースコードのコピーは固く禁止しております。
- 本ツールは処理時間に上限があります（約6分）。本ツールは処理時間に上限があります（約6分）。処理時間を超える場合には、データの取得・出力が完了できないケースもございますので、予めご了承ください。
- 本ツールは初回利用時に「認証・許可プロセス」が発生します。認証・許可を下記の記事を参考に進めて下さい。
Webページ内リンクURL一括抽出ツールに関するQ&A
Webページ内リンクURL一括抽出ツールはどこで入手できますか？
2023年12月現在、Webページ内リンクURL一括抽出ツールは下記のプラットフォームにて公開しております。
