资产数据采集

[houdl]

资产数据采集

[CircleSoar]

资产数据采集模块开发计划

1. 项目概述

1.1 目标

开发一个简化的资产数据采集模块，定期采集核心资产的实时价格数据，为交易策略提供基础数据支持。

1.2 核心功能

• 固定资产池管理（5个核心资产）
• 自动化数据采集（每4个小时一次）
• 数据存储和历史查询
• API接口提供资产数据访问

1.3 资产列表

Symbol	Name	Type
BTC	Bitcoin	crypto
ETH	Ethereum	crypto
AAPL	Apple Inc.	stock
NVDA	NVIDIA Corporation	stock
GLD	SPDR Gold Shares	commodity

2. 技术架构

2.1 技术栈

• 后端框架: Rails 8.1.2 (Ruby)
• 数据库: PostgreSQL
• 后台任务: Solid Queue
• 数据采集:
  • TradingView MCP - 技术指标数据
  • Yahoo Finance Skill - 基础价格数据
  • Ruby Swarm - 多Agent协调
  • Ruby LLM MCP - AI数据处理
• 缓存: Solid Cache

2.2 技术集成方案

┌─────────────────────────────────────────────────────────────┐
│                    Rails Application                          │
│                                                               │
│  ┌─────────────────┐  ┌─────────────────┐                  │
│  │  Asset Model    │  │ Snapshot Model  │                  │
│  │  (固定5个资产)  │  │  (历史数据)      │                  │
│  └─────────────────┘  └─────────────────┘                  │
│                                                               │
│  ┌─────────────────────────────────────────────────────┐   │
│  │              Data Collection Layer                   │   │
│  │  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐  │   │
│  │  │  TradingView│  │Yahoo Finance│  │  Ruby Swarm │  │   │
│  │  │    MCP      │  │   Skill     │  │   Agents    │  │   │
│  │  └─────────────┘  └─────────────┘  └─────────────┘  │   │
│  └─────────────────────────────────────────────────────┘   │
│                                                               │
│  ┌─────────────────────────────────────────────────────┐   │
│  │              Background Jobs (Solid Queue)          │   │
│  │  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐  │   │
│  │  │ Hourly Data │  │ Data        │  │ Error       │  │   │
│  │  │  Collection │  │ Validation  │  │ Handling    │  │   │
│  │  └─────────────┘  └─────────────┘  └─────────────┘  │   │
│  └─────────────────────────────────────────────────────┘   │
└─────────────────────────────────────────────────────────────┘

3. 数据库设计

3.1 assets 表

# 固定5个资产，通过seed data初始化
create_table "assets", force: :cascade do |t|
  t.string   "symbol",       null: false, index: { unique: true }
  t.string   "name",         null: false
  t.string   "asset_type",   null: false  # enum: crypto, stock, commodity
  t.decimal  "current_price", precision: 15, scale: 2
  t.datetime "last_updated"
  t.timestamps
end

3.2 asset_snapshots 表

# 存储历史价格数据
create_table "asset_snapshots", force: :cascade do |t|
  t.bigint   "asset_id",        null: false
  t.decimal  "price",           precision: 15, scale: 2, null: false
  t.decimal  "change_percent",  precision: 8,  scale: 4
  t.decimal  "volume",          precision: 20, scale: 0
  t.datetime "captured_at",     null: false
  t.index ["asset_id"]
  t.index ["captured_at"]
  t.index ["asset_id", "captured_at"]
end

3.3 索引策略

• asset_id - 快速查询特定资产
• captured_at - 时间范围查询
• [asset_id, captured_at] - 复合索引，资产历史查询

4. 开发阶段

阶段 1: 数据库搭建 (预计 2 天)

1.1 创建数据库迁移

rails generate model Asset symbol:string name:string asset_type:string current_price:decimal last_updated:datetime
rails generate model AssetSnapshot asset:references price:decimal change_percent:decimal volume:decimal captured_at:datetime

1.2 创建Seed数据

# db/seeds.rb
[
  { symbol: "BTC", name: "Bitcoin", asset_type: "crypto" },
  { symbol: "ETH", name: "Ethereum", asset_type: "crypto" },
  { symbol: "AAPL", name: "Apple Inc.", asset_type: "stock" },
  { symbol: "NVDA", name: "NVIDIA Corporation", asset_type: "stock" },
  { symbol: "GLD", name: "SPDR Gold Shares", asset_type: "commodity" }
].each do |asset_data|
  Asset.find_or_create_by!(symbol: asset_data[:symbol]) do |asset|
    asset.update!(asset_data)
  end
end

阶段 2: 数据采集集成

2.1 安装依赖Gem

# Gemfile
gem "ruby_llm"

# gem "swarm-ruby" # swarm-ruby gem 在 RubyGems 仓库中不存在
# gem "swarm", github: "parruda/swarm" # 该仓库中 gem 名称是 "claude_swarm" 和 "swarm_sdk"，没有名为 "swarm" 的 gem

# v2 版本（推荐，使用 RubyLLM）
gem "swarm_sdk", github: "parruda/swarm"
gem "httparty"
gem "redis"

2.2 配置TradingView MCP

# config/tradingview_mcp.rb
require "mcp"

class TradingViewClient
  include MCP::Client

  def initialize
    @connection = MCP::Connection.new("tradingview-mcp")
  end

  def get_technical_indicators(symbol)
    call("get_indicators", { symbol: symbol })
  end

  def get_market_data(symbol, timeframe: "1h")
    call("get_market_data", { symbol: symbol, timeframe: timeframe })
  end
end

2.3 配置Yahoo Finance Skill

# app/services/yahoo_finance_service.rb
class YahooFinanceService
  def self.get_price_data(symbol)
    # 使用yahoo-finance skill或HTTP API
    response = HTTParty.get("https://query1.finance.yahoo.com/v8/finance/chart/#{symbol}")

    return nil unless response.success?

    data = JSON.parse(response.body)
    result = data.dig("chart", "result", 0)

    {
      price: result.dig("meta", "regularMarketPrice"),
      change_percent: result.dig("meta", "regularMarketChangePercent"),
      volume: result.dig("meta", "regularMarketVolume"),
      timestamp: Time.at(result.dig("meta", "regularMarketTime"))
    }
  rescue StandardError => e
    Rails.logger.error("Yahoo Finance API error: #{e.message}")
    nil
  end
end

阶段 3: 后台任务开发

3.1 创建数据采集Job

# app/jobs/asset_data_collection_job.rb
class AssetDataCollectionJob < ApplicationJob
  queue_as :asset_collection

  def perform
    Rails.logger.info "Starting asset data collection at #{Time.current}"

    Asset.all.each do |asset|
      begin
        collect_and_store_asset_data(asset)
      rescue StandardError => e
        Rails.logger.error "Failed to collect data for #{asset.symbol}: #{e.message}"
        AssetCollectionError.create!(asset: asset, error_message: e.message)
      end
    end

    Rails.logger.info "Asset data collection completed at #{Time.current}"
  end

  private

  def collect_and_store_asset_data(asset)
    # 优先使用Yahoo Finance获取基础数据
    price_data = YahooFinanceService.get_price_data(asset.symbol)

    # 如果可用，使用TradingView获取技术指标
    if ENV["TRADINGVIEW_MCP_ENABLED"] == "true"
      tradingview_data = TradingViewClient.new.get_technical_indicators(asset.symbol)
      # 合并数据逻辑
    end

    return unless price_data

    # 更新资产当前价格
    asset.update!(
      current_price: price_data[:price],
      last_updated: price_data[:timestamp]
    )

    # 创建快照
    asset.snapshots.create!(
      price: price_data[:price],
      change_percent: price_data[:change_percent],
      volume: price_data[:volume],
      captured_at: price_data[:timestamp]
    )
  end
end

3.2 配置定时任务

# config/schedule.rb (需要添加 whenever gem或使用Solid Queue的调度功能)
class AssetDataCollector
  def self.schedule!
    # 每小时执行一次
    AssetDataCollectionJob.set(wait: 1.hour).perform_later
  end
end

# 在config/initializers/solid_queue.rb中配置
Rails.application.config.after_initialize do
  # 启动后立即执行第一次采集
  AssetDataCollector.schedule!
end

阶段 4: API开发

4.1 创建Assets Controller

# app/controllers/api/v1/assets_controller.rb
module Api
  module V1
    class AssetsController < ApplicationController
      def index
        @assets = Asset.all.includes(:latest_snapshot)
        render json: AssetSerializer.new(@assets)
      end

      def show
        @asset = Asset.find(params[:id])
        render json: AssetDetailSerializer.new(@asset)
      end

      def snapshots
        @asset = Asset.find(params[:id])
        @snapshots = @asset.snapshots
                            .where(captured_at: timeframe_range)
                            .order(captured_at: :desc)
                            .limit(100)

        render json: SnapshotSerializer.new(@snapshots)
      end

      private

      def timeframe_range
        params[:timeframe] ||= "24h"
        case params[:timeframe]
        when "1h" then 1.hour.ago..Time.current
        when "24h" then 24.hours.ago..Time.current
        when "7d" then 7.days.ago..Time.current
        when "30d" then 30.days.ago..Time.current
        else 24.hours.ago..Time.current
        end
      end
    end
  end
end

4.2 配置路由

# config/routes.rb
namespace :api do
  namespace :v1 do
    resources :assets, only: [:index, :show] do
      get :snapshots, on: :member
      get :latest, on: :member
    end
  end
end

阶段 5: 数据处理与AI集成

5.1 Ruby Swarm Agent配置

# app/agents/data_collection_agent.rb
require "swarm"

class DataCollectionAgent < Swarm::Agent
  name "data_collector"
  role "Collects financial market data from multiple sources"

  def initialize(asset_symbol)
    @asset_symbol = asset_symbol
  end

  def execute
    [
      collect_from_yahoo_finance,
      collect_from_tradingview,
      normalize_data,
      store_data
    ]
  end

  private

  def collect_from_yahoo_finance
    # Yahoo Finance数据采集逻辑
  end

  def collect_from_tradingview
    # TradingView MCP数据采集逻辑
  end

  def normalize_data
    # 数据标准化处理
  end

  def store_data
    # 数据存储逻辑
  end
end

5.2 Ruby LLM MCP集成

# app/services/ai_data_analyzer.rb
class AIDataAnalyzer
  include RubyLLM::Client

  def analyze_asset_trend(asset_symbol)
    snapshots = Asset.where(symbol: asset_symbol)
                      .order(created_at: :desc)
                      .limit(48) # 48小时的数据

    prompt = <<-PROMPT
      Analyze the following asset data for #{asset_symbol}:
      #{snapshots.map { |s| "#{s.captured_at}: #{s.price} (#{s.change_percent}%)" }.join("\n")}

      Provide:
      1. Trend direction (bullish/bearish/neutral)
      2. Key support and resistance levels
      3. Potential trading signals
    PROMPT

    generate_insight(prompt)
  end

  private

  def generate_insight(prompt)
    client.chat(prompt: prompt)
  end
end

阶段 6: 前端集成

6.1 创建资产展示页面

# app/controllers/assets_controller.rb
class AssetsController < ApplicationController
  def index
    @assets = Asset.all.includes(:latest_snapshot)
  end

  def show
    @asset = Asset.find(params[:id])
    @snapshots = @asset.snapshots
                       .where(captured_at: 24.hours.ago..Time.current)
                       .order(captured_at: :asc)
  end
end

6.2 创建Stimulus Controller

// app/javascript/controllers/assets_controller.js
import { Controller } from "@hotwired/stimulus"

export default class extends Controller {
  static targets = ["chart", "price", "change"]

  connect() {
    this.loadAssetData()
    this.setupChart()
  }

  async loadAssetData() {
    const response = await fetch(`/api/v1/assets/${this.data.id}/snapshots`)
    const data = await response.json()
    this.updateChart(data)
  }

  setupChart() {
    // 使用Chart.js或其他图表库
  }
}

5. 测试策略

5.1 单元测试

# spec/models/asset_spec.rb
RSpec.describe Asset, type: :model do
  describe "validations" do
    it { should validate_presence_of(:symbol) }
    it { should validate_presence_of(:name) }
    it { should validate_presence_of(:asset_type) }
  end

  describe "associations" do
    it { should have_many(:snapshots) }
  end
end

# spec/services/yahoo_finance_service_spec.rb
RSpec.describe YahooFinanceService do
  describe ".get_price_data" do
    it "returns valid price data" do
      VCR.use_cassette("yahoo_finance_aapl") do
        data = described_class.get_price_data("AAPL")
        expect(data).to have_key(:price)
        expect(data).to have_key(:change_percent)
        expect(data).to have_key(:volume)
      end
    end
  end
end

5.2 集成测试

# spec/jobs/asset_data_collection_job_spec.rb
RSpec.describe AssetDataCollectionJob, type: :job do
  describe "#perform" do
    it "collects data for all assets" do
      asset = create(:asset, symbol: "AAPL")

      expect(YahooFinanceService).to receive(:get_price_data)
        .with("AAPL")
        .and_return({
          price: 150.0,
          change_percent: 2.5,
          volume: 1000000,
          timestamp: Time.current
        })

      described_class.perform_now

      expect(asset.reload.current_price).to eq(150.0)
      expect(asset.snapshots.count).to eq(1)
    end
  end
end

5.3 API测试

# spec/requests/api/v1/assets_spec.rb
RSpec.describe "Api::V1::Assets", type: :request do
  describe "GET /api/v1/assets" do
    it "returns a list of assets" do
      create(:asset, symbol: "AAPL")
      get "/api/v1/assets"

      expect(response).to have_http_status(:ok)
      expect(JSON.parse(response.body).first["symbol"]).to eq("AAPL")
    end
  end
end

6. 部署计划

6.1 环境变量配置

# .env
TRADINGVIEW_MCP_ENABLED=true
TRADINGVIEW_MCP_ENDPOINT=wss://tradingview-mcp.example.com
YAHOO_FINANCE_API_KEY=your_api_key
REDISCLOUD_URL=redis://localhost:6379/1

6.2 数据库迁移

rails db:create
rails db:migrate
rails db:seed

6.3 启动后台任务

# 启动Solid Queue worker
bin/rails solid_queue:start

# 或使用Kamal部署
kamal app boot

7. 监控与日志

7.1 数据采集监控

# app/services/asset_collection_monitor.rb
class AssetCollectionMonitor
  def self.check_collection_health
    recent_snapshots = AssetSnapshot.where("captured_at > ?", 2.hours.ago)

    if recent_snapshots.empty?
      Rails.logger.error "No recent asset snapshots found!"
      AlertService.send_notification("Asset collection might be failing")
    end
  end
end

7.2 错误处理

# app/models/asset_collection_error.rb
class AssetCollectionError < ApplicationRecord
  belongs_to :asset

  validates :error_message, presence: true
end

8. 风险与应对

8.1 技术风险

• MCP集成复杂性: 先实现基础功能，MCP作为可选增强功能
• API限制: 实现缓存机制，避免频繁调用外部API
• 数据质量: 建立数据验证和异常处理机制

8.2 性能风险

• 数据量增长: 定期清理旧数据，保留最近90天数据
• API响应时间: 使用异步采集和缓存优化

8.3 安全风险

• API密钥管理: 使用环境变量和密钥管理服务
• 数据访问控制: 实现适当的API认证和授权

9. 后续扩展

9.1 短期扩展

• 添加更多资产类型
• 实现实时WebSocket数据推送
• 增加更多技术指标

9.2 长期扩展

• 机器学习预测模型
• 个性化资产推荐
• 社区数据分享功能

10. 参考资料

• TradingView MCP: https://github.com/atilaahmettaner/tradingview-mcp
• Bollinger Band Screener: https://github.com/atilaahmettaner/bollinger-band-screener
• Yahoo Finance Skill: Claude Code内置skill
• Ruby Swarm: https://github.com/parruda/swarm
• Ruby LLM MCP: https://github.com/patvice/ruby_llm-mcp
• Solid Queue: https://github.com/rails/solid_queue

---

文档版本: 1.0
创建日期: 2026-02-26
最后更新: 2026-02-26
负责人: circle

[CircleSoar]

遇到的坑

问题：登录账号时google 账号到ai项目时，没有权限，google访问有问题，授权后登录还是有问题

解决：

• Jason那边帮忙处理了Google OAuth 配置
• 代理工具使用Clash Verge，打开了TUN（虚拟网卡）模式，重新配置了代理端口后，解决了问题

[CircleSoar]

api调研：TradingView、Yahoo Finance、coingecko、coinglass

@CircleSoar 调研： TradingView、Yahoo Finance
@houdl 调研： coingecko、coinglass

要求：

• 使用 postman 能够获取对应的数据
• 以及 了解 api 的限制

[CircleSoar]

TradingView API 使用调研报告

一、调研结果总结

1.1 TradingView API 核心结论

评估项	结论	说明
官方 REST API	❌ 不存在	TradingView 没有提供 REST API
Charting Library API	✅ 存在	但需要公司申请，不接受个人
免费使用	✅ 有	通过 Widget 免费展示图表
数据获取	❌ 无法	Charting Library 数据只能在图表中展示，无法导出
Postman 可用	❌ 不支持	没有端点可供 Postman 调用
个人申请	❌ 不接受	只接受公司申请

1.2 TradingView Charting Library 详细评估

A. 申请要求

• 申请地址: https://www.tradingview.com/HTML5-stock-forex-bitcoin-charting-library/
• 申请类型: 仅限公司，不接受个人申请
• 申请流程:
  1. 下载许可协议
  2. 公司盖章并签名
  3. 上传扫描件
  4. 填写公司详细信息
• 审批时间: 通常 1-3 天，有时 1-2 周
• 获取方式: 审批后获得私有 GitHub 仓库访问权限

B. 技术要求

• 开发环境: Node.js 12.x+, npm 6.x+
• 服务器: 需要 Web 服务器（http-server, Live Server 等）
• 浏览器: 支持现代浏览器（HTML5 Canvas）
• 数据源: 必须自备，Library 不提供数据

C. 使用限制

限制项	说明
数据获取	数据只能在图表中渲染，无法程序化获取
数据源	必须自行实现 Datafeed 接口
免费版	有 15 秒延迟
商业授权	公司需购买授权，费用约 $1000-$5000/年

D. 适用场景

场景	是否适用
纯图表展示	✅ 适用
数据存储到数据库	❌ 不适用
程序化分析	❌ 不适用
个人项目	❌ 不适用（需公司申请）

1.3 Postman 使用评估

问题	答案
能否用 Postman 调用	❌ 不能
有无 REST 端点	❌ 没有
Demo Feed 可用吗	⚠️ 仅作演示，不稳定

Demo Feed 限制:

https://demo_feed.tradingview.com/history
- 仅用于 Charting Library 集成演示
- 不是官方 API 端点
- 数据质量不稳定，不建议生产使用
- 没有官方文档说明

1.4 SmartTrader 项目可行性

需求	TradingView	可行性
在页面展示图表	✅ Widget 免费可用	可行
获取数据存入数据库	❌ 无法导出数据	不可行
通过 Postman 测试	❌ 无 API 端点	不可行
后端程序调用	❌ 前端依赖	不可行

---

二、TradingView Widget 图表展示方案

2.1 为什么用 Widget

对于数据展示场景，TradingView Widget 是最佳选择：

优势	说明
✅ 完全免费	个人使用无限制
✅ 无需申请	不需要公司授权
✅ 易于集成	几行代码即可使用
✅ 图表专业	专业的K线、指标
✅ 功能丰富	缩放、画线、指标切换

2.2 Widget 集成到 SmartTrader

HTML 代码

<!-- app/views/assets/show.html.erb -->
<div class="chart-container">
  <div id="tradingview_widget"></div>
</div>

<script src="https://s3.tradingview.com/tv.js"></script>
<script type="text/javascript">
  new TradingView.widget({
    "width": "100%",
    "height": 500,
    "symbol": "<%= @asset.symbol %>",
    "interval": "60",
    "timezone": "Asia/Shanghai",
    "theme": "dark",
    "style": "1",
    "locale": "zh",
    "toolbar_bg": "#f1f3f6",
    "enable_publishing": false,
    "allow_symbol_change": true,
    "container_id": "tradingview_widget",
    "datafeed": new Datafeeds.UDFCompatibleDatafeed(
      'https://demo_feed.tradingview.com'
    ),
    "library_path": "https://s3.tradingview.com/charting_library/"
  });
</script>

配置说明

参数	说明	示例值
symbol	交易品种	BTCUSDT, AAPL
interval	K线周期	1, 5, 15, 60, D, W, M
theme	主题	light, dark
locale	语言	zh, en
height	高度	500
width	宽度	100%

---

三、总结与建议

3.1 TradingView API 总结

方面	评估
API 可用性
官方 REST API	❌ 不存在
Charting Library	✅ 存在，但仅供展示
Widget API	✅ 免费，个人可用
个人使用
能否个人申请	❌ 只接受公司申请
免费使用	✅ Widget 免费
数据获取	❌ 无法程序化获取
技术可行性
Postman 测试	❌ 无端点可用
后端调用	❌ 依赖前端环境
数据存储	❌ 无法导出
SmartTrader 适用性
数据获取	❌ 不推荐
图表展示	✅ 推荐使用 Widget

---

四、参考资料

资源名称	链接	说明
TradingView Widget	https://www.tradingview.com/widget/	免费图表小部件
Charting Library 申请	https://www.tradingview.com/HTML5-stock-forex-bitcoin-charting-library/	公司申请入口

[houdl]

CoinGecko API 调研

• coins market 获取 市值前 100 的币 , 每天请求一次即可

curl --location 'https://api.coingecko.com/api/v3/coins/markets?vs_currency=usd&category=layer-1&price_change_percentage=1h&order=market_cap_desc&per_page=100' \
--header 'x_cg_demo_api_key: token'

• 通过sample price ，定时任务每四个小时获取一次价格保存

curl --location 'https://api.coingecko.com/api/v3/simple/price?vs_currencies=usd&ids=bitcoin%2Cethereum' \
--header 'x_cg_demo_api_key: token'

• 获取其中一个币的历史价格 date 级别, 数据第一次初始化的时候可以使用

curl --location 'https://api.coingecko.com/api/v3/coins/bitcoin/market_chart?vs_currency=usd&days=60' \
--header 'x_cg_demo_api_key: token'

• 获取 OHLC 数据, 用来后面做蜡烛图

curl --location 'https://api.coingecko.com/api/v3/coins/bitcoin/ohlc?vs_currency=usd&days=7&precision=4' \
--header 'x_cg_demo_api_key: token'

api 文档

• https://docs.coingecko.com/v3.0.1/reference/coins-markets#parameter-order
• https://docs.coingecko.com/v3.0.1/reference/simple-price
• https://docs.coingecko.com/v3.0.1/reference/coins-id-market-chart
• reference

[houdl]

coinglass

• api 无免费版本

https://www.coinglass.com/zh/pricing

[CircleSoar]

Yahoo Finance API 调研报告

一、调研结果总结

1.1 Yahoo Finance API 核心结论

评估项	结论	说明
官方 REST API	✅ 存在	有完整的 API 端点
免费使用	✅ 完全免费	无需付费，无明示限制
需要认证	❌ 不需要	无 API Key 也可使用
Postman 可用	✅ 支持	可直接通过 HTTP 请求
数据覆盖	✅ 全面	股票、ETF、外汇、加密货币、期货
个人使用	✅ 推荐	非常适合个人项目

1.2 SmartTrader 项目可行性

需求	Yahoo Finance	可行性
获取数据存储	✅ 完全支持	可行
Postman 测试	✅ 支持	可行
后端程序调用	✅ 纯 HTTP	可行
个人使用	✅ 完全适合	推荐

---

二、Yahoo Finance API 详情

2.1 基础信息

项目	信息
官方网站	https://finance.yahoo.com/
API 基础 URL	https://query1.finance.yahoo.com
认证方式	无需 API Key（可选使用 OAuth2）
数据格式	JSON
HTTP 方法	GET/POST

2.2 主要 API 端点

端点	用途	状态	优先级
/v8/finance/chart/{SYMBOL}	获取 K 线/历史数据	✅ 可用	⭐⭐⭐⭐⭐
/v1/finance/chart/{SYMBOL}	旧版本端点（仍可用）	✅ 可用	⭐⭐⭐⭐
/v1/finance/quote/{SYMBOL}	实时报价	⚠️ 500 错误	-
/v1/finance/screener	股票筛选器	❌ 需认证	-
/v1/finance/lookup	符号搜索	❌ 连接失败	-

2.3 支持的资产类型

资产类型	符号示例	说明
美股	AAPL, GOOGL, MSFT	纳斯达克、纽交所股票
ETF	SPY, QQQ, GLD	交易所交易基金
加密货币	BTC-USD, ETH-USD	现货交易对
外汇	EURUSD=X, GBPJPY=X	主要货币对
期货	ES=F, NQ=F, CL=F	芝加哥期货交易所
指数	^GSPC, ^IXIC	标准普尔、纳斯达克

---

三、核心 API 端点详解

3.1 Chart API (K线数据)

端点

GET https://query1.finance.yahoo.com/v8/finance/chart/{SYMBOL}

请求参数

参数	类型	必填	说明	示例
interval	string	否	K线周期	1m, 5m, 15m, 1h, 1d, 1wk, 1mo
range	string	否	时间范围	1d, 5d, 1mo, 3mo, 6mo, 1y, 2y, 5y, max
period1	string	否	起始日期	yyyy-MM-dd
period2	string	否	结束日期	yyyy-MM-dd
includePrePost	boolean	否	包含盘前盘后	true/false
events	string	否	事件类型	div, split, earn
extended	boolean	否	扩展数据	true/false

interval 支持值

值	含义	适用场景
1m	1分钟	高频交易
5m	5分钟	日内交易
15m	15分钟	短线交易
1h	1小时	短线/中线
1d	1天	中线/长线
1wk	1周	长线分析
1mo	1月	长线趋势

range 支持值

值	含义
1d	1天
5d	5天
1mo	1个月
3mo	3个月
6mo	6个月
1y	1年
2y	2年
5y	5年
max	全部可用历史

响应示例

请求:

GET https://query1.finance.yahoo.com/v8/finance/chart/AAPL?interval=1h&range=1mo

响应:

{
  "chart": {
    "result": [
      {
        "meta": {
          "currency": "USD",
          "symbol": "AAPL",
          "exchangeName": "NMS",
          "instrumentType": "EQUITY",
          "firstTradeDate": 946822200,
          "regularMarketTime": 1640995200,
          "gmtoffset": -18000,
          "timezone": "EST",
          "exchangeTimezoneName": "America/New_York",
          "regularMarketPrice": 175.43,
          "chartPreviousClose": 173.50,
          "priceHint": 2,
          "currentTradingPeriod": {
            "pre": {
              "timezone": "EST",
              "start": 1640991600,
              "end": 1640995200,
              "gmtoffset": -18000
            },
            "regular": {
              "timezone": "EST",
              "start": 1640995200,
              "end": 1641016800,
              "gmtoffset": -18000
            }
          },
          "dataGranularity": "1h",
          "range": "1mo",
          "validRanges": ["1d", "5d", "1mo", "3mo", "6mo", "1y", "2y", "5y", "max"]
        },
        "timestamp": [1640995200, 1640998800, 1641002400, ...],
        "indicators": {
          "quote": [
            {
              "open": [174.50, 174.80, 175.20, ...],
              "high": [175.30, 175.50, 175.80, ...],
              "low": [174.20, 174.50, 174.90, ...],
              "close": [174.80, 175.20, 175.43, ...],
              "volume": [50000000, 52000000, 48000000, ...]
            }
          ],
          "adjclose": [
            {
              "adjclose": [174.80, 175.20, 175.43, ...]
            }
          ]
        }
      }
    ],
    "error": null
  }
}

3.2 不可用 API 说明

以下端点已不再推荐使用：

API	状态	说明
/v1/finance/quote	❌ 500 错误	端点可能已变更
/v1/finance/screener	❌ 需认证	需要 Cookie + Crumb Token
/v1/finance/lookup	❌ 连接失败	端点可能已停用

建议：所有数据需求通过 Chart API (/v8/finance/chart/{SYMBOL}) 获取，该端点稳定可用。

3.3 API 认证测试 (Screener API)

测试目的

验证 Yahoo Finance Screener API 的认证机制是否可行，以及能否通过 Cookie + Crumb Token 方式获取股票列表。

测试步骤

# 步骤1: 访问 Yahoo Finance 获取 Cookie
curl -c cookies.txt 'https://finance.yahoo.com/' \
  -H 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'

# 步骤2: 使用 Cookie 获取 Crumb Token
curl -b cookies.txt 'https://query1.finance.yahoo.com/v1/test/getcrumb'
# 返回: DhSn7IqN.rQ

# 步骤3: 使用 Cookie + Crumb 调用 Screener API
curl -X POST 'https://query1.finance.yahoo.com/v1/finance/screener' \
  -b cookies.txt \
  -H "X-Yahoo-Crumb: DhSn7IqN.rQ" \
  -H 'Content-Type: application/json' \
  -d '{"scrIds": "default_equity_criteria", "count": 5, "offset": 0}'

测试结果

测试项	结果	说明
获取 Cookie	✅ 成功	访问 finance.yahoo.com 获得有效 Cookie
获取 Crumb Token	✅ 成功	返回格式如 DhSn7IqN.rQ
Screener API 调用	❌ 失败	返回 {"code":"Unauthorized","description":"Invalid Crumb"}

结论

即使同时发送 Cookie 和 Crumb Token，Screener API 仍然返回认证失败。这表明：

1. 需要登录账户：简单 Cookie + Crumb 不够，可能需要完整的登录会话
2. 非官方 API 限制：Screener API 可能已限制匿名访问
3. 实现复杂度高：需要维护登录状态，token 可能有时效性

对于 SmartTrader 项目的建议：

• ❌ 不推荐使用 Screener API
• ✅ 用户手动管理股票列表
• ✅ 使用 Chart API 获取已知股票的数据
• ✅ 如需股票列表，可考虑其他数据源（CoinGecko 加密货币、手动维护美股列表等）

---

四、Postman 实用配置

4.1 环境变量

YAHOO_CHART_V8 = https://query1.finance.yahoo.com/v8/finance/chart

4.2 请求列表

请求名	方法	URL	说明
获取 AAPL K线	GET	{{YAHOO_CHART_V8}}/AAPL?interval=1h&range=1mo	苹果股票1小时K线
获取 BTC 价格	GET	{{YAHOO_CHART_V8}}/BTC-USD?interval=1d&range=1d	比特币价格
获取 SPY 数据	GET	{{YAHOO_CHART_V8}}/SPY?interval=1d&range=5d	SPY ETF数据
获取 GOOGL 数据	GET	{{YAHOO_CHART_V8}}/GOOGL?interval=1h&range=5d	谷歌股票数据

---

尝试登陆页面失败：https://finance.yahoo.com/

[houdl]

新表设计：

• 资产表 assets， coingecko_id 用来查询 coingecko 的价格 api 用， yahoo_symbol 用来查询 yahoo 的价格 api, exchange 是交易所，简单保存 coingecko和 yahoo 就可以 每天保存一次，对于资产价格的快照使用
• 快照表，asset_snapshots

create_table :assets do |t|
  t.string   "symbol",          null: false
  t.string   "name",            null: false
  t.string   "asset_type",      null: false  # enum: crypto, stock, commodity, etf
  t.string   "exchange",        null: false, default: 'UNKNOWN'
  t.string   "quote_currency",  null: false, default: 'USD'
  t.string   "coingecko_id"                   # CoinGecko 币种 ID (仅加密货币)
  t.string   "yahoo_symbol"                   # Yahoo Finance Symbol (如 BTC-USD, AAPL)
  t.decimal  "current_price",   precision: 15, scale: 2
  t.datetime "last_updated"
  t.boolean  "active",          null: false, default: true

  t.timestamps
end

create_table :asset_snapshots do |t|
  t.bigint   "asset_id",        null: false
  t.date     "snapshot_date",   null: false  # 快照日期（用于查询和唯一性约束）
  t.datetime "captured_at",     null: false  # 实际采集时间（精确时间戳）
  t.decimal  "price",           precision: 15, scale: 2, null: false
  t.decimal  "change_percent",  precision: 8,  scale: 4
  t.decimal  "volume",          precision: 20, scale: 2

  t.timestamps
end

• candles 表是蜡烛图，用来保存不同时间间隔的数据，这里主要每4小时保存一下数据

create_table :candles do |t|
  t.bigint   "asset_id",       null: false
  t.string   "interval",       null: false, default: '4h'  # 4h, 1h, 1d, 1w
  t.datetime "candle_time",    null: false  # K线开始时间
  t.decimal  "open_price",     precision: 15, scale: 2, null: false
  t.decimal  "high_price",     precision: 15, scale: 2, null: false
  t.decimal  "low_price",      precision: 15, scale: 2, null: false
  t.decimal  "close_price",    precision: 15, scale: 2, null: false
  t.decimal  "volume",         precision: 20, scale: 2
  t.decimal  "quote_volume",   precision: 20, scale: 2  # 成交额

  t.timestamps
end

[CircleSoar]

@CircleSoar 到https://finance.yahoo.com/markets/stocks/trending/ 页面按Market Cap前五十拉取stock数据存到assets 中，yahoo的数据coingecko_id字段存null

[houdl]

coin 拉取

• FetchCoinMarketsJob 拉取

• 最近60 天历史数据拉取

# 拉取历史市场数据（最近 60 天，前 50 个资产）
rails assets:fetch_historical

[CircleSoar]

Yahoo Finance调研

可以通过https://query1.finance.yahoo.com/v1/finance/screener/predefined/saved?scrIds=largest_market_cap&count=100&start=0 获取stock的数据

[CircleSoar]

Stock拉取

FetchYahooStockDataJob拉取Market Cap Top 100的数据：FetchYahooStockDataJob.perform_now(count: 100)