Linuxでwgetとcurlを使ってWebリソースを効率的に取得する方法

この記事では、Linux環境で使用する `wget` と `curl` コマンドについて詳しく説明します。これらのコマンドを使ってWebリソースを効率的に取得する方法を、具体的なコード例とその解説、さらには多様な応用例を交えて紹介します。

基本的な使い方

wgetの基本的な使い方

`wget` は、非対話的なネットワークダウンローダーとして知られています。

wget https://example.com/file.zip  # example.comからfile.zipをダウンロード

curlの基本的な使い方

`curl` は、データ転送用のコマンドラインツールです。

curl -O https://example.com/file.zip  # example.comからfile.zipをダウンロード

詳細なオプション

wgetの詳細オプション

– `-r, –recursive`: ウェブサイトの内容を再帰的にダウンロードする。

wget -r https://example.com/  # example.comのウェブサイトを再帰的にダウンロード

curlの詳細オプション

– `-L, –location`: リダイレクトを追跡する。

curl -L https://example.com/  # リダイレクトを追跡してダウンロード

応用例

ウェブサイトのミラーリング

wget -m https://example.com/  # example.comのミラーを作成

FTPでのファイル転送

curl -u username:password ftp://example.com/file.zip -O  # FTPでファイルをダウンロード

APIからのJSONデータ取得

curl -H "Authorization: Bearer YOUR_TOKEN" https://api.example.com/data.json  # APIからJSONデータを取得

ダウンロード速度の制限

wget --limit-rate=200k https://example.com/file.zip  # ダウンロード速度を200KB/sに制限

ファイルの一部分のダウンロード

curl -r 0-999 -o part1 https://example.com/large-file.zip  # ファイルの先頭から999バイトまでをダウンロード

まとめ

この記事では、Linux環境での `wget` と `curl` の基本的な使い方から応用までを幅広く解説しました。これらのコマンドを使いこなすことで、Webリソースの取得が非常に効率的に行えます。特に、オプションを活用することで多様なケースに対応可能です。