WebスクレイピングにプロキシIPが必要な理由：種類とIPFoxyの設定方法

プロキシIPを使うと、リクエストを多数の出口に分散でき、現地の訪問者としてページを読み込めます。ただし、レート制限を防ぐものではありません。このガイドでは4種類のプロキシを比較し、IPFoxyを使った検証済みのPython設定を紹介します。

イラスト：中央のノートPCでデータ収集スクリプトが動いています。そこから、リクエストを示す多数の光る線が世界地図上の家やサーバーのノードを経由し、それぞれ商品と値札が載った別々のWebページのカードに届いています。

要点

プロキシは、リクエストを多数のネットワーク出口経由で送信します。特定の国、州、都市からの訪問者としてページを読み込むこともできます。ただし、レート制限を防ぐものではありません。リクエストレートの制御とサイトのルールの順守は引き続き必要です。
プロキシの種類ごとに適した用途があります。ローテーティングレジデンシャルプロキシは、複数地域にまたがる大規模な処理に向いています。静的ISPプロキシでは出口IPが固定されます。データセンタープロキシは高速で、コストを抑えられます。モバイルプロキシはモバイル向けコンテンツに適しています。
IPFoxyのローテーティングレジデンシャルプロキシは、リクエストごとに新しいIPを割り当てる方式と、30〜120分のスティッキーセッションに対応しています。ゲートウェイは米国、アジア太平洋などにあります。
このガイドのPythonサンプルは、ローカルのモックプロキシでテストしました。正しい認証情報では出口IPが表示され、誤ったパスワードではHTTP 407で失敗します。

Webスクレイピングは、価格モニタリング、SEO、市場調査、ソーシャルメディア分析のために、公開されているWebデータを収集する一般的な方法です。

ジョブの規模が数ページから数千リクエストに拡大すると、新たな問題が発生します。IPのブロック、HTTP 429エラー、レート制限、地域によって内容が変わるページなどです。スクレイパーのコードが正しくても、ジョブが失敗したり、不完全なデータが返ってきたりすることがあります。

こうした問題の解決に役立つのがプロキシIPです。このガイドでは、スクレイパーがプロキシを使う理由、プロキシの種類ごとの違い、データ収集ジョブ向けにIPFoxyのプロキシを設定する方法を解説します。

1. WebスクレイピングにプロキシIPが必要な理由

プロキシサーバーはリクエストを転送します。ターゲットサイトから見えるのは、自分のマシンのパブリックIPではなく、プロキシの出口IPアドレスです。

図：左にスクレイパーを実行するコンピューター、中央にプロキシサーバー、右にWebサイトがあります。リクエストはコンピューターからプロキシを経由してWebサイトへ送られ、レスポンスも同じ経路で戻ります。 — スクレイパーは各リクエストをプロキシサーバーに送り、プロキシは自身の出口IPからWebサイトに送信します。| 出典：IPFoxy

Webを閲覧する人が使うネットワーク出口は1つです。一日中稼働するデータ収集ジョブでは、IPが1つだけだと次のような問題が起こることがあります。

単一IPへの負荷を軽減

スクレイパーは短時間に同じサイトへ大量のリクエストを送ることがあります。その場合、サーバーはIPアドレス、リクエストレート、リクエストの挙動に基づいて制限をかけることがあります。よくある兆候は次のとおりです。

HTTP 429 Too Many Requests：リクエストが多すぎるとサーバーが判断した状態です。標準仕様では、再試行できるタイミングを示すRetry-Afterヘッダーをサーバーが付与できます。
HTTP 403 Forbidden：サーバーはリクエストを理解したものの、実行を拒否している状態です。
タイムアウトや接続の拒否。
コンテンツの代わりにCAPTCHAページやアクセス警告が表示される。

プロキシプールを使うと、規約に沿ったジョブを多数の出口に分散でき、すべてのリクエストが1つのIPから送られる状態を避けられます。

プロキシを使ってもアクセス制限がなくなるわけではありません。適切なリクエストレートを設定し、robots.txt (RFC 9309)などサイトのルールを守る必要があります。429を受け取ったら、まずRetry-Afterで示された時間だけ待機してください。すぐにIPを切り替えて再試行しないでください。

地域ごとのデータ

多くのサイトは、訪問者の所在地によって価格、検索結果、広告、ローカルサービスなどの表示内容を変えています。すべてのリクエストが1つの国から送られると、他の市場のデータは得られません。

国・州・都市単位のターゲティングを使えば、各公開ページをその地域の出口から読み込めます。これにより市場同士を比較できます。

長時間実行するジョブ

長時間のジョブでは、ネットワークエラー、使えなくなったプロキシ、低速なサーバーによってスクレイパーが停止することがあります。安定したパイプラインでは、プロキシ管理、リトライ、タイムアウトチェック、エラーログを活用し、1つの不良ノードでジョブ全体が止まらないようにします。

2. どのプロキシタイプを使うべきか

すべてのプロキシタイプがあらゆるジョブに適しているわけではありません。一般的な4つのタイプは次のとおりです。

プロキシの種類	主な特徴	用途
ローテーション型住宅用	家庭用ネットワーク上の出口、IPローテーション	大規模な公開データのスクレイピング、地域別データ
静的ISP	固定IP、安定した接続	長時間のセッション、固定の出口が必要なジョブ
データセンター	高速、比較的低コスト	公開ページ、機密性の低いデータ
モバイル	モバイルキャリアネットワーク上の出口	モバイル向けコンテンツのテスト、地域別のモバイルネットワークデータ

多くの地域を対象に長時間実行するジョブの大半は、まずローテーティングレジデンシャルプロキシから始めましょう。同じセッションを長時間維持する必要があるジョブなら、静的ISPプロキシを使うか、ローテーティングレジデンシャルプロキシのスティッキーセッションを利用してください。

もう1つ、別の選択が必要なケースがあります。ターゲットサイトがモバイルキャリア（4G/5G）のIPのみを受け付け、データセンターIPや共有IPをブロックする場合です。モバイルキャリアは通常、キャリアグレードNAT（RFC 6888）を使って多数のスマートフォンを1つのパブリックIPの背後にまとめています。このような出口は、Coroniumのモバイルプロキシなどのモバイルプロキシでしか得られません。Coroniumの公式サイト（2026年11月3日確認）によると、各回線は専用SIMを搭載した1台の4G/5Gデバイスで、1人の顧客のみが使用します。HTTPとSOCKS5に対応し、IPはオンデマンドまたはタイマーで変更できます。

3. 大規模スクレイピングジョブ向けにIPFoxyが提供する機能

実際のプロジェクトでは、プロキシには出口IPを変える以上の役割が求められます。規模、地域、種類の異なるジョブに対して、安定性・柔軟性・管理性に優れたネットワークリソースを提供する必要があります。

IPFoxyのWebサイト（October 26, 2026時点で確認）によると、IPFoxyは200以上の国と地域をカバーし、約90 million（約9,000万）件のIPプールを備えています。ローテーティング住宅用プロキシ、専用の静的ISPプロキシ、データセンターのIPv4/IPv6プロキシ、4G/5Gモバイルプロキシを提供しています。

多数の地域で利用できる住宅用IP

価格モニタリング、順位トラッキング、広告検証、市場調査は、複数の国にまたがることがよくあります。IPFoxyは国・州・都市単位のターゲティングに対応しています。対象市場ごとに出口を選び、現地の訪問者が目にする公開ページを収集できます。

たとえば、グローバルな価格モニタリングでは、米国、英国、日本のレジデンシャルプロキシを使い、各市場の価格、プロモーション、検索結果を収集できます。

ジョブに合わせたIPローテーションモード

IPFoxyのローテーティングレジデンシャルプロキシには、IPを切り替える方法が複数あります。プロキシプールを自前で運用する必要はありません。

リクエストごとのローテーション：リクエストのたびに新しい住宅用IPが割り当てられます。商品ページや検索結果など、ログイン不要の公開データを大量に収集する場合に使います。
スティッキーセッション：30、60、90、120分から設定できます。セッションが有効で、ノードが稼働している間は同じ出口IPが維持されます。Cookie、複数ステップの操作、継続的なアクセスが必要なジョブに使います。
手動切り替え：ノードに問題が発生した場合、ダッシュボードのリフレッシュ用エンドポイントで現在の出口を変更できます。

IPFoxyダッシュボードのExtract Rotating Proxyページ。プロキシネットワークタイプはローテーション型住宅用、ロケーションは米国です。セッション戦略メニューが開いており、リクエストごととスティッキーの選択肢、スティッキー時間としてデフォルト、30、60、90、120分が表示されています。右側にはポート58688が表示されています。アカウント名はぼかされています。 — プロキシ取得ページでセッション戦略を選択します。リクエストごとに新しいIPを使うか、30〜120分のスティッキーセッションを使うかを選べます。アカウント情報はぼかしています。| 出典：IPFoxyダッシュボードのスクリーンショット

これらのモードを使えば、ターゲットごとにIP戦略を選べるため、スクレイパーのコードを変更したり、IPリストを手作業で管理したりする必要はありません。

ジョブの規模に応じたプロキシプラン

用途	IPFoxyのプロキシタイプ	主なメリット
大規模な公開データのスクレイピング	ローテーション型住宅用	大規模なIPプール、自動ローテーション
大量トラフィックの常時稼働ジョブ	無制限の住宅用プロキシ	帯域幅で課金、コストを管理しやすい
長時間のセッション	専用の静的ISPプロキシ	固定のプライベートIP、長期間安定
一般的な公開ページとAPI	データセンターIPv4/IPv6	低コストで大量リクエストに適している
モバイル向けコンテンツとネットワークのテスト	4G/5Gモバイルプロキシ	モバイルキャリアの出口

無制限レジデンシャルプロキシでは、用途に合わせて帯域幅とドメインの許可リストを設定できます。利用を始める前に、対象ドメイン、帯域幅、プランのルールを設定してください。

IPFoxyのプロキシ購入ページ。4枚のカードがあり、データセンタープロキシは月額$4.99から、静的レジデンシャルは月額$7.99から、データセンターIPv6は月額$3.99から、ローテーティングレジデンシャルは1GBあたり$1.99からです。下に地域の選択欄、右側に注文の概要があります。 — プロキシの種類と地域を選んで注文します。上部の通知には、このプロキシは中国本土以外での利用向けと記載されています。価格は注文時にページに表示されているものです。| 出典：IPFoxyダッシュボードのスクリーンショット

高い同時実行数と自動化

IPFoxyはHTTP(S)とSOCKS5に対応しているため、Python Requests、Selenium、Playwright、Scrapyなど一般的なスクレイピングツールで使えます。プロキシを一括またはAPI経由で取得し、多数の接続文字列をまとめてエクスポートすることもできます。

チームでは、サブアカウントへのプロキシリソースの割り当て、権限の管理、トラフィック・リクエスト数・接続成功率の確認ができます。プロキシネットワークの運用にかける時間を減らし、解析、スクレイパーのロジック、データ品質に時間を使えます。

トラフィックとコストの管理

規模が大きくなると、プロキシのコストは無視できません。価格モニタリング、検索結果のトラッキング、市場調査のジョブは、規模の拡大に伴いトラフィックが増えます。

IPFoxyは、トラフィック課金のローテーティングレジデンシャルプロキシと、大量トラフィック向けの無制限レジデンシャルプランを提供しています。アジア太平洋、南北アメリカなどのゲートウェイ（例：gate-sg.ipfoxy.io、gate-us.ipfoxy.io）があります。コードを実行する場所に近いゲートウェイを選び、利用統計と独自のテストをもとに設定を調整してください。

4. IPFoxyプロキシをWebスクレイピングに使う方法

この例ではPythonのRequestsを使います。リクエスト設定にIPFoxyのプロキシを追加すると、リクエストはプロキシサーバーを経由して送信されます。

ステップ1：IPFoxyのプロキシ情報を取得する

IPFoxyのWebサイトでアカウントを作成し、プロキシの種類を選びます。プランを購入するかトライアルを開始したら、ダッシュボードのプロキシ抽出ページを開きます。国、セッションの種類、サーバーを選択し、フォーマットを「username:password@host:port」に設定して「Generate」をクリックし、続けて「Copy All」をクリックします。

IPFoxyダッシュボードのローテーティングプロキシ生成画面。プロキシの種類はレジデンシャル、国はアメリカ合衆国、セッションの種類はスティッキー、サーバーはアジア太平洋のgate-sg.ipfoxy.ioです。赤枠1はフォーマット「username:password@host:port」、赤枠2はGenerateボタン、赤枠3はCopy Allボタンを示しています。アカウント名と生成されたプロキシ文字列はぼかしてあります。 — 1、2、3の順にフォーマットを設定し、生成してコピーします。アカウント名とプロキシ文字列はぼかしてあります。| 出典：IPFoxyダッシュボードのスクリーンショット。画面は中国語表示です。

ステップ2：Requestsをインストールする

bash

pip install requests

ステップ3：プロキシを設定してリクエストを送信する

コピーした接続文字列をPROXYに貼り付けます。フォーマットはusername:password@gateway:portです。米国ゲートウェイの場合はusername:password@gate-us.ipfoxy.io:58688のようになります。

python

import requests

# Replace with the connection string from your IPFoxy dashboard: username:password@gateway:port
PROXY = "http://username:password@gate-us.ipfoxy.io:58688"
proxies = {"http": PROXY, "https": PROXY}

if __name__ == "__main__":
    resp = requests.get("http://ip-api.com/json", proxies=proxies, timeout=30)
    resp.raise_for_status()
    info = resp.json()
    print(info["query"], info["country"], info.get("city"))  # exit IP, country, city

出力される国と都市は、自分の所在地ではなく、選択したプロキシの地域になっている必要があります。これで出口IPがプロキシに切り替わったことを確認できます。リクエストが407 Proxy Authentication Requiredで失敗した場合は、ユーザー名またはパスワードが間違っています。ダッシュボードからもう一度コピーしてください。

スクリプトの出力。JSONには国がUS、都市がフロリダ州メルボルンと表示されています。出口IPはぼかしてあります。 — 出口の国がUSなので、リクエストは米国のレジデンシャルIPを出口として送信されました。IPはぼかしてあります。| 出典：IPFoxyのテストのスクリーンショット

テスト方法：2026年10月26日に、ローカルのモックプロキシに対してこのコードを実行しました（Requests 2.34、Python 3.15）。正しいユーザー名とパスワードでは、出口IPと地域が出力されました。間違ったパスワードでは、Requestsが407 Proxy Authentication Requiredを原因とするProxyErrorを送出しました。ゲートウェイはダッシュボードの表示どおり正確にコピーしてください。例えばgate-us.ipfoxy.ioです（ハイフンではなくドット）。ホストが間違っているとDNSの名前解決で失敗します。無料のip-api.comエンドポイントはhttp://のみに対応しており、ドキュメントによるとHTTPSには有料プランが必要です。

ステップ4：スクレイパーにプロキシを追加する

接続テストが済んだら、対象サイトの公開ページへのリクエストにも同じプロキシ設定を使います。適切な待機時間、リトライ、ログを加えると、ジョブが安定します。大規模なジョブでは、ローテーティングレジデンシャルプロキシのローテーションモードをジョブに合わせて設定してください。

5. よくある質問

Webスクレイピングには必ずプロキシが必要ですか？ いいえ。少数の公開ページを低頻度で取得するだけなら、通常は自分のネットワークで十分です。プロキシが役立つのは、多くの地域からデータを取得する場合、ジョブを長時間実行する場合、多数のネットワーク出口が必要な場合です。

スクレイピングにはローテーティングレジデンシャルと静的のどちらが適していますか？ ローテーティングレジデンシャルプロキシは、多くの地域にまたがって大量のリクエストを送るジョブに適しています。静的プロキシは、固定の出口と長時間のセッションが必要なジョブに適しています。どちらが適切かは、対象とそのサイトのルールによって異なります。

プロキシを使えばCAPTCHAは表示されなくなりますか？ いいえ。サイトはCookie、リクエスト頻度、ブラウザの挙動も確認しています。プロキシはネットワーク層にすぎず、適切なデータ収集戦略の代わりにはなりません。

無料プロキシは使えますか？ 簡単なテストなら無料プロキシでも構いませんが、接続が不安定だったり、稼働率が変動したり、セキュリティ上のリスクがあったりすることがよくあります。常時稼働する商用ジョブには、IPの出所が明確で、接続管理ができるプロキシサービスを使ってください。

6. まとめ

すべてのスクレイピングジョブにプロキシが必要なわけではありません。多くの地域からページを読み込むジョブ、常時稼働するジョブ、大規模にデータを処理するジョブでは、プロキシを使うとネットワーク出口を柔軟に制御できます。

開発者にとっては、IPの数よりも、適切なプロキシの種類と、リクエストレートの制御、タイムアウト、リトライのほうが重要です。IPFoxyは、地域ターゲティングとセッション制御に対応したローテーティングレジデンシャル、静的ISP、データセンター、モバイルの各プロキシを提供しています。これらを使えば、ジョブに合ったネットワーク構成を組めます。

プロキシを自分で運用する必要がない場合

このガイドでは、スクレイパーを自分で書き、出口を自分で管理するケースを扱っています。商品価格、レビュー、投稿、プロフィールなど、プラットフォームの構造化データが必要な場合は、代わりにデータAPIを呼び出せます。EveryInfraはリンクやキーワードを受け取り、JSONフィールドを返します。失敗した呼び出しや結果が空の呼び出しは無料です。プロキシの設定やページの解析は不要です。両方を併用することもできます。自社のページやサイトへのトラフィックはIPFoxyの出口経由で送り、プラットフォームのデータはAPIから取得します。

両者の連携方法：ドキュメントのIPFoxyプロキシとの併用をご覧ください。
Amazonの商品ページ40件でプロキシのトラフィックを測定したテスト：Amazonの商品ページ1件の取得に必要なプロキシトラフィック量
プロキシなしでAmazonの商品データを取得：AmazonデータAPI。IPFoxyについて：IPFoxyパートナーページ。

参考文献

IETF、RFC 6585、セクション4「429 Too Many Requests」、2012年：https://www.rfc-editor.org/rfc/rfc6585.html#section-4
IETF、RFC 9110「HTTP Semantics」、403 Forbidden、2022年：https://www.rfc-editor.org/rfc/rfc9110.html#name-403-forbidden
IETF、RFC 9309「Robots Exclusion Protocol」、2022年：https://www.rfc-editor.org/rfc/rfc9309.html
Requestsのドキュメント「Proxies」：https://requests.readthedocs.io/en/latest/user/advanced/#proxies
ip-api.com、JSONエンドポイントのドキュメント：https://ip-api.com/docs/api:json
IPFoxyのWebサイト（プロキシの種類、プール規模、対応地域）、2026年10月26日に確認：https://www.ipfoxy.com/
Coronium、モバイルプロキシのページ（回線、プロトコル、IPローテーション）、2026年11月3日に確認：https://www.coronium.io/mobile-proxies
IETF、RFC 6888「Common Requirements for Carrier-Grade NATs (CGNs)」、2013年：https://www.rfc-editor.org/rfc/rfc6888.html

参考資料 BL-42