Skip to content
/ zvt Public

Stock Market Data Fetching Project(US/China)

License

Notifications You must be signed in to change notification settings

doncat99/zvt

Folders and files

NameName
Last commit message
Last commit date

Latest commit

831183b · Mar 10, 2021

History

92 Commits
Mar 8, 2021
Mar 8, 2021
Aug 4, 2020
Mar 8, 2021
Mar 10, 2021
Mar 2, 2021
Mar 2, 2021
Mar 2, 2021
Aug 4, 2020
Mar 2, 2021
Aug 4, 2020
Sep 4, 2020
Mar 2, 2021
Aug 4, 2020
Mar 2, 2021
Mar 2, 2021
Mar 5, 2021
Mar 2, 2021
Mar 2, 2021
Mar 2, 2021

Repository files navigation

github image image image Build Status codecov.io HitCount

Read this in other languages: English.

ZVT 源項目地址:https://github.com/zvtvz/zvt

本项目改进点包括:

  • 增加postgresql数据库支持,允许远程数据访问,实现微服务器数据爬虫与GPU模型训练工作站逻辑分离。
  • 统一http访问入口,增加Session与请求重试逻辑(后续可通过RxPy实现响应式编程的异步模式)。
  • 增加多进程数据请求逻辑,允许数据并发请求,加快数据获取。
  • 增加数据爬取进度展示。
  • 增加joinquant账号切换功能 (被封号,代码保留但注释了,Todo:Mac地址替换和ip池)。
  • 增加log信息从控制台输出改为写文件记录。
  • 增加美股数据拉取功能(分库分表)。
  • 增加不同区域股市时区功能。
  • 修正增量数据请求的计算逻辑(原作者的 evaluate_start_end_size_timestamps() 有较大逻辑漏洞,导致重复请求较多数据)。
  • 修正800w单表数据下query.all()的数据库内存缓存溢出改写文件问题(增加window_query功能)。
  • 修正一些逻辑漏洞。

为管控界面信息输出,需要对jqdatasdk项目进行部分修改,详见:https://github.com/doncat99/jqdatasdk 为加速数据下载体验,需要对yfinance项目进行部分修改,详见:https://github.com/doncat99/yfinance

python3.8在多进程处理上有较大改动与提升,建议使用python 3.8版本运行本项目。

界面如图:

About

Stock Market Data Fetching Project(US/China)

Topics

Resources

License

Code of conduct

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages