クロールはあまり大きな声で言えませんが私生活上身近な存在です。
そしてクロールをするうえで非常に重要になるのが、いかにコンテンツを取得するかとなります。

それはWEBサイト運営者の身になって考えるとわかるのですが、コンテンツ提供者にとってbotのアクセスは望まざる来訪者です。
時に負荷をかけるだけで一文の得にもならないどころかコンテンツを流用されて被害すら出ます。
そのためクロールという行為そのものが受け入れる側としては好ましくありません。
時にはアクセスを遮断される事態に陥ります。

アクセスブロックという事象です。
単純なアクセスブロックは接続元のIPアドレスを元に遮断を行います。
つまりアクセス元が複数（のIP）あればかいくぐることができる（可能性が高まる）ということです。

そのために世の中のボットはサーバを仲介してアクセス元を偽装しコンテンツの取得を試みます。
通称プロキシというものです。
アクセス元をごまかせれば何でもいいので要はIPなのですが、個人（法人であっても）IPを手に入れるのは割と困難で費用も掛かります。
そこで安いVPSなどをレンタルして仲介することでアクセス元をごまかします。

しかしこんなことをする方であればご存知だと思いますがアクセス元のIPアドレスはまだまだIPv4が主流です。
そしてIPv4は既に割り当てが完了しています（枯渇状態）。
そうなってくるとこのIPの所有者はだれであるかは容易な話になってきます。
使用者は難しいですが、所有者は割と簡単です。

となるとアクセスされる側としては大事なのはどこから来たのか、となりますので、サーバから来た≒踏み台を使用して偽装アクセスしているの方程式が成り立ちますので、アクセスブロックを施策するわけです。
こうしてアクセスされる側は大量のアクセスをブロック、踏み台をブロックという2段構えでコンテンツを守るわけです。

もしここまで施策しているサイトからコンテンツを取得したいとなると容易ではありません。
しかしブロックの仕組みがIPアドレスのみで判断している場合はかいくぐれる可能性が高い方法があります。

それが tor です。

前置きが長くなりましたが、torの構築メモとなります。
こういうニッチでグレーな環境を構築するにはUbuntuOSが手っ取り早いでしょう。

# tor のインストール
sudo apt install tor

# tor サービスの起動
sudo systemctl start tor

# IPをすぐに変える場合はサービスの再起動が手っ取り早い
sudo systemctl restart tor

# クロールテスト（自分の生IP）
curl -s http://taruo.net/ip/ | egrep '[0-9.]{8,16}'
# クロールテスト（torのIP）
curl -s -x socks5h://127.0.0.1:9050 http://taruo.net/ip/ | egrep '[0-9.]{8,16}'

どうでしょうか。生IPから変ってIPを偽装されているのがわかると思います。
しかし tor ではデフォルトで localhost を Listen します。
クロールサーバと tor サーバが抱き合わせならこれでもいいですが、別にする場合はサーバIPのほうが良いです。
設定でループバックアドレスからローカルIPに変更することはできると思いますが、ここでは手っ取り早くポートフォワーディングで乗り切ってみようと思います。

# ポートフォワーディング専用コマンドのインストール
sudo apt install redir

# ポートフォワーディングの設定（8080->127.0.0.1:9050）
redir --lport=8080 --cport=9050 --caddr=127.0.0.1

#tor
#クロール
#プロキシ
#UbuntuServer24.04