从某个线上平台上下载到了ETF和LOF的基金数据,准备保存到原先的arctic数据库中。
import os,sys import pandas as pd from arctic import Arctic # 连接数据库 conn = Arctic('127.0.0.1') # 判断library是否存在,如果不存在就创建一个 if "FUNDS" not in conn.list_libraries(): conn.initialize_library("FUNDS") # 连接到具体的library中 lib = conn["FUNDS"] # 遍历数据并存储 data_root = "/home/yun/data/基金/ETF/" timeframe = "day" symbol_type = "ETF" exchange = "" file_list = os.listdir(data_root) df = pd.DataFrame() for file in file_list: data = pd.read_csv(data_root+file,index_col=0) df = df.append(data) for ticker,data in df.groupby("ticker"): symbol_name = str(ticker)+"__"+timeframe+"__"+symbol_type lib.write(symbol_name, data) print(f"保存{symbol_name}数据成功")
保存基金的日数据,这个速度还是非常快的,几秒钟就存进去了。