Day21 - 用 Ruby on Rails 抓台湾证券交易所资料-除权除息计算结果表

前言

这篇主要以抓「台湾证券交易所」的「除权除息计算结果表」为主

取得「除权除息计算结果表」CSV 档

目标是从台湾证券交易所的「除权除息计算结果表」取得每日的 CSV 档

note: 本资讯自民国92年5月5日起提供

下载的档案内容如下

从上面已经知道，只提供 2003-05-05 之後的档案

实作

下载「除权除息计算结果表」时，资料日期可以直接从 2003-05-05 直接抓到最新一天，需留意时间范围太大时，可能会遇到 read_timeout ，可选择时间范围别抓这麽广，或把 read_timeout 时间拉长

# app/features/twse/twt_49u/download.rb

module Twse::Twt49u
  class Download

    include Twse::Helpers

    def execute
      current_time = Time.current
      puts "#{self.class}, start_time: #{current_time.to_s}"
      start_date = find_latest_data_date(current_time)
      return puts "#{self.class}, 已经是最新的资料" if start_date == false

      data_path = Rails.root.join("data/twse/TWT49U")
      file_path = data_path.join("TWT49U_#{start_date.strftime("%Y%m%d")}_#{current_time.strftime("%Y%m%d")}.csv")
      return if File.exists?(file_path)

      FileUtils.mkdir_p(data_path) unless File.directory?(data_path)

      download_file(start_date, current_time, data_path, file_path)
      upload_to_github
      puts "#{self.class}, done_time:#{Time.current}, #{(Time.current - current_time).to_s} sec"
    rescue StandardError => e
      puts "errors: #{e.inspect}, backtrace: #{e.backtrace}"
    end

    private

    def find_latest_data_date(current_time)
      latest_data_date = ExStock.latest_data_date

      if latest_data_date
        return false if latest_data_date == current_time

        latest_data_date + 1.day
      else
        Date.parse("2003-05-05") # 仅支援抓 2003-05-05 之後的资料
      end
    end

    def download_file(start_date, current_time, data_path, file_path)
      remote_file = Down::NetHttp.download(
        "#{BASE_URL}exchangeReport/TWT49U?response=csv&strDate=#{start_date.strftime("%Y%m%d")}&endDate=#{current_time.strftime("%Y%m%d")}",
        read_timeout: 120,
      )

      if remote_file.size < 3
        FileUtils.rm_rf(remote_file.path)
      else
        FileUtils.mv(remote_file.path, data_path.join(file_path.basename.to_s))
      end
    end

  end
end