Rubyで多数のファイルをダウンロードするときはHTTPセッションを使いまわした方がお得な話
仕事とは関係のないところでちまちまとRubyを使って遊び始めてみました。
さて、標題の件なんですが、最初はこんな感じで書いていました。
# { # :url => 'http://www.example.com/foo/bar.jpg', # :file => '/path/to/foo/bar.jpg' # } # こんな感じのハッシュが配列になってる想定で list.each do |item| open(item[:url]) do |data| open(item[:file]) do |file| file.write(data.read) end end end
件数にもよるとは思いますが、これだと毎回HTTPセッションを開いてダウンロードして書き込み、という処理を繰り返すことになるんですね。
今回のケースではダウンロード元が同じドメインだったので次のように変更してみました。
# { # :path => '/foo/bar.jpg', # :file => '/path/to/foo/bar.jpg' # } # こんな感じのハッシュが配列になってる想定で Net::HTTP.start('www.example.com') do |http| list.each do |item| request = Net::HTTP::Get.new(item[:path]) response = http.request(request) open(item[:file], 'wb') do |file| file.write(response.body) end end end
大きな違いは最初にHTTPセッションを作ったあとに使いまわしているところですね。
ダウンロード元のサーバに影響されるので一概には言えないのですが、目に見えて速度が改善されました。
同じドメインから、という制限付きではありますが「こうかはばつぐんだ!」となるので条件さえあうならこちらの方法が良いんじゃないかなーと思います。
スペシャリスト
やまま yamama
マンガとアニメとゲームから錬成された宇宙大好きエンジニア。 軌道エレベーターで行ける静止軌道上のコロニーに住まいを移し、ゲームやってマンガ読んでアニメ見て爆睡、ゲームやってマンガ読んでアニメ見て爆睡、という生活を夢見ながら今日もコードを書き続けるのだった。
TAG
- Android
- AWS
- Bitrise
- CodePipeline
- Firebase
- HTML
- iOS
- IoT
- JavaScript
- KPI
- Linux
- Mac
- Memcached
- MGRe
- MGReのゆるガチエンジニアブログ
- MySQL
- PHP
- PICK UP
- PR
- Python
- Ruby
- Ruby on Rails
- SEO
- Swift
- TIPS
- UI/UX
- VirtualBox
- Wantedly
- Windows
- アクセス解析
- イベントレポート
- エンジニアブログ
- ガジェット
- カスタマーサクセス
- サーバ技術
- サービス
- セキュリティ
- セミナー・展示会
- テクノロジー
- デザイン
- プレスリリース
- マーケティング施策
- マネジメント
- ラボ
- リーンスタートアップ
- 企画
- 会社紹介
- 会社紹介資料
- 勉強会
- 実績紹介
- 拡張性
- 採用
- 日常
- 書籍紹介
- 歓迎会
- 社内イベント
- 社員インタビュー
- 社長ブログ
- 視察
- 開発環境