同步不同的市场
原文： https://www.backtrader.com/blog/posts/2016-04-19-sync-different-markets/sync-different-markets/
使用越多，backtrader 必须面对的想法和意外场景的组合就越多。对于每一个新的平台，我们都面临着一个挑战，看看该平台是否能够达到开发开始时提出的期望，灵活性和易用性是目标，而Python被选为基石。
Ticket提出了一个问题，即是否可以使用不同的交易日历同步市场。这样做的直接尝试失败了，问题创建者想知道backtrader为什么不看日期。
在给出任何答案之前，必须考虑：
- 不一致天数的指标行为
后者的答案是：
- 该平台尽可能地具有
date和time不可知性，不会查看字段的内容来评估这些概念
考虑到股票市场价格是datetime系列的事实，上述数据在一定范围内可以保持真实。对于多个数据，以下设计注意事项适用：
-
添加到
cerebro的 1st数据为datamaster -
所有其他数据必须与时间对齐/同步，且永远无法超过（以
datetime术语）的datamaster
将上面的 3 个要点放在一起，可以提供问题创建者所经历的组合。情景：
-
日历年：
2012 -
数据 0:
^GSPC（或 S&P500 为好友） -
数据 1:
^GDAXI（或朋友 Dax 索引）
运行自定义脚本查看backtrader如何同步数据：
$ ./weekdaysaligner.py --online --data1 '^GSPC' --data0 '^GDAXI'
以及输出：
0001, True, data0, 2012-01-03T23:59:59, 2012-01-03T23:59:59, data1
0002, True, data0, 2012-01-04T23:59:59, 2012-01-04T23:59:59, data1
0003, True, data0, 2012-01-05T23:59:59, 2012-01-05T23:59:59, data1
0004, True, data0, 2012-01-06T23:59:59, 2012-01-06T23:59:59, data1
0005, True, data0, 2012-01-09T23:59:59, 2012-01-09T23:59:59, data1
0006, True, data0, 2012-01-10T23:59:59, 2012-01-10T23:59:59, data1
0007, True, data0, 2012-01-11T23:59:59, 2012-01-11T23:59:59, data1
0008, True, data0, 2012-01-12T23:59:59, 2012-01-12T23:59:59, data1
0009, True, data0, 2012-01-13T23:59:59, 2012-01-13T23:59:59, data1
0010, False, data0, 2012-01-17T23:59:59, 2012-01-16T23:59:59, data1
0011, False, data0, 2012-01-18T23:59:59, 2012-01-17T23:59:59, data1
...
一旦交易日历出现分歧。data0是datamaster（^GSPC），即使data1（^GDAXI）会在2012-01-16上提供一个酒吧，的&P500也不是一个交易日。
当^GSPC的下一个交易日到来时，backtrader对上述设计限制所能做的最好的处理是2012-01-17在^GDAXI的下一个尚未处理的日期交付2012-01-16。
同步问题随着时间的推移而累积。在2012的末尾，它看起来如下所示：
...
0249, False, data0, 2012-12-28T23:59:59, 2012-12-19T23:59:59, data1
0250, False, data0, 2012-12-31T23:59:59, 2012-12-20T23:59:59, data1
原因应该很明显：欧洲人的交易天数比美国人多。
在车票中#76https://github.com/mementum/backtrader/issues/76 海报展示了zipline的功能。让我们看看2012-01-13-2012-01-17难题：
0009 : True : 2012-01-13 : close 1289.09 - 2012-01-13 : close 6143.08
0010 : False : 2012-01-13 : close 1289.09 - 2012-01-16 : close 6220.01
0011 : True : 2012-01-17 : close 1293.67 - 2012-01-17 : close 6332.93
起泡的藤壶！2012-01-13的数据被简单地复制，显然没有征求用户的许可。嗯，这不应该是因为平台的最终用户无法撤消这个自发添加。
笔记
除了简要介绍一下zipline之外，作者不知道这是否是脚本开发人员配置的标准行为，以及是否可以撤消
一旦我们看到其他之后，让我们利用积累的智慧backtrader再次尝试：欧洲人的交易频率高于美国人。让我们把^GSPC和^GDAXI的角色颠倒过来，看看结果：
$ ./weekdaysaligner.py --online --data1 '^GSPC' --data0 '^GDAXI'
输出（直接跳到2012-01-13：
...
0009, True, data0, 2012-01-13T23:59:59, 2012-01-13T23:59:59, data1
0010, False, data0, 2012-01-16T23:59:59, 2012-01-13T23:59:59, data1
0011, True, data0, 2012-01-17T23:59:59, 2012-01-17T23:59:59, data1
...
又是起泡的藤壶！backtrader还复制了data1（本例中为^GSPC）的2012-01-13值，作为data0（现在为^GDAXI）交付2012-01-16的匹配。
更好的是：
- 与下一个日期
2012-01-17实现同步
不久将再次看到相同的重新同步：
...
0034, True, data0, 2012-02-17T23:59:59, 2012-02-17T23:59:59, data1
0035, False, data0, 2012-02-20T23:59:59, 2012-02-17T23:59:59, data1
0036, True, data0, 2012-02-21T23:59:59, 2012-02-21T23:59:59, data1
...
然后是不那么容易的重新同步：
...
0068, True, data0, 2012-04-05T23:59:59, 2012-04-05T23:59:59, data1
0069, False, data0, 2012-04-10T23:59:59, 2012-04-09T23:59:59, data1
...
0129, False, data0, 2012-07-04T23:59:59, 2012-07-03T23:59:59, data1
0130, True, data0, 2012-07-05T23:59:59, 2012-07-05T23:59:59, data1
...
这样的情节不断重复，直到^GDAXI的最后一个小节交付：
...
0256, True, data0, 2012-12-31T23:59:59, 2012-12-31T23:59:59, data1
...
此同步问题的原因是backtrader没有复制数据。
-
一旦
datamaster交付了一个新酒吧，另一个datas被要求交付 -
如果无法为
datamaster的当前datetime发送条带（例如，因为它将被超越），那么次佳数据就是重新发送这是一个酒吧，有一个已经见过的
date
正确同步
但并非所有的希望都破灭了。backtrader可以交付。让我们使用过滤器。backtrader中的这项技术允许在数据到达平台最深处之前对其进行操作，例如计算指示器。
笔记
delivering是一个感知问题，因此backtrader传递的内容可能不是接收者所期望的delivery
实际代码
from __future__ import (absolute_import, division, print_function,
unicode_literals)
import datetime
class WeekDaysFiller(object):
'''Bar Filler to add missing calendar days to trading days'''
# kickstart value for date comparisons
lastdt = datetime.datetime.max.toordinal()
def __init__(self, data, fillclose=False):
self.fillclose = fillclose
self.voidbar = [float('Nan')] * data.size() # init a void bar
def __call__(self, data):
'''Empty bars (NaN) or with last close price are added for weekdays with no
data
Params:
- data: the data source to filter/process
Returns:
- True (always): bars are removed (even if put back on the stack)
'''
dt = data.datetime.dt() # current date in int format
lastdt = self.lastdt + 1 # move the last seen data once forward
while lastdt < dt: # loop over gap bars
if datetime.date.fromordinal(lastdt).isoweekday() < 6: # Mon-Fri
# Fill in date and add new bar to the stack
if self.fillclose:
self.voidbar = [self.lastclose] * data.size()
self.voidbar[-1] = float(lastdt) + data.sessionend
data._add2stack(self.voidbar[:])
lastdt += 1 # move lastdt forward
self.lastdt = dt # keep a record of the last seen date
self.lastclose = data.close[0]
data._save2stack(erase=True) # dt bar to the stack and out of stream
return True # bars are on the stack (new and original)
测试脚本已经具备了使用它的功能：
$ ./weekdaysaligner.py --online --data0 '^GSPC' --data1 '^GDAXI' --filler
通过--filler将WeekDaysFiller添加到data0和data1中。以及输出：
0001, True, data0, 2012-01-03T23:59:59, 2012-01-03T23:59:59, data1
...
0009, True, data0, 2012-01-13T23:59:59, 2012-01-13T23:59:59, data1
0010, True, data0, 2012-01-16T23:59:59, 2012-01-16T23:59:59, data1
0011, True, data0, 2012-01-17T23:59:59, 2012-01-17T23:59:59, data1
...
2012-01-13-2012-01-17的 1st难题已经过去。而整台是同步：
...
0256, True, data0, 2012-12-25T23:59:59, 2012-12-25T23:59:59, data1
0257, True, data0, 2012-12-26T23:59:59, 2012-12-26T23:59:59, data1
0258, True, data0, 2012-12-27T23:59:59, 2012-12-27T23:59:59, data1
0259, True, data0, 2012-12-28T23:59:59, 2012-12-28T23:59:59, data1
0260, True, data0, 2012-12-31T23:59:59, 2012-12-31T23:59:59, data1
值得注意的是：
-
以
^GSPC为data0我们有250行（指数在2012交易250天） -
对于
^GDAXI我们data0有256行（该指数在2012交易256天） -
随着
WeekDaysFiller的到位，两个数据的长度已经扩展到260加上
522（周末和周末中的几天），我们将得到364。在一年中正常的365日之前，剩下的一天肯定是周六或周日*。
过滤器正在向填充给定数据未发生交易的日期的NaN值。让我们来描绘它：
$ ./weekdaysaligner.py --online --data0 '^GSPC' --data1 '^GDAXI' --filler --plot
充满的日子很明显：
-
钢筋之间的间隙在那里
-
对于卷图而言，差距更为明显
一个 2和图将试图回答顶部的问题：指示器会发生什么？。请记住，新条形图的值为NaN（这就是它们不显示的原因）：
$ ./weekdaysaligner.py --online --data0 '^GSPC' --data1 '^GDAXI' --filler --plot --sma 10
你在泡藤壶！简单移动平均线打破了时空连续性，跳过了一些没有连续性解的条。这当然是填充而不是数字akaNaN：数学运算不再有意义的效果。
如果使用上次看到的收盘价而不是NaN：
$ ./weekdaysaligner.py --online --data0 '^GSPC' --data1 '^GDAXI' --filler --plot --sma 10 --fillclose
在整整 260 天的时间里，用一个普通的形状记忆合金，情节看起来好多了
结论
将两种工具与不同的交易日历同步是一个决策和妥协的问题。backtrader需要时间对齐的数据来处理多个数据，而不同的交易日历没有帮助。
这里所描述的WeekDaysFiller的使用可以缓解这种情况，但它绝不是万能的灵丹妙药，因为填充哪些值是一个需要长期考虑的问题。
脚本代码和用法
可在backtrader来源中作为样本获得：
$ ./weekdaysaligner.py --help
usage: weekdaysaligner.py [-h] [--online] --data0 DATA0 [--data1 DATA1]
[--sma SMA] [--fillclose] [--filler] [--filler0]
[--filler1] [--fromdate FROMDATE] [--todate TODATE]
[--plot]
Sample for aligning with trade
optional arguments:
-h, --help show this help message and exit
--online Fetch data online from Yahoo (default: False)
--data0 DATA0 Data 0 to be read in (default: None)
--data1 DATA1 Data 1 to be read in (default: None)
--sma SMA Add a sma to the datas (default: 0)
--fillclose Fill with Close price instead of NaN (default: False)
--filler Add Filler to Datas 0 and 1 (default: False)
--filler0 Add Filler to Data 0 (default: False)
--filler1 Add Filler to Data 1 (default: False)
--fromdate FROMDATE, -f FROMDATE
Starting date in YYYY-MM-DD format (default:
2012-01-01)
--todate TODATE, -t TODATE
Ending date in YYYY-MM-DD format (default: 2012-12-31)
--plot Do plot (default: False)
守则：
from __future__ import (absolute_import, division, print_function,
unicode_literals)
import argparse
import datetime
import backtrader as bt
import backtrader.feeds as btfeeds
import backtrader.indicators as btind
import backtrader.utils.flushfile
# from wkdaysfiller import WeekDaysFiller
from weekdaysfiller import WeekDaysFiller
class St(bt.Strategy):
params = (('sma', 0),)
def __init__(self):
if self.p.sma:
btind.SMA(self.data0, period=self.p.sma)
btind.SMA(self.data1, period=self.p.sma)
def next(self):
dtequal = (self.data0.datetime.datetime() ==
self.data1.datetime.datetime())
txt = ''
txt += '%04d, %5s' % (len(self), str(dtequal))
txt += ', data0, %s' % self.data0.datetime.datetime().isoformat()
txt += ', %s, data1' % self.data1.datetime.datetime().isoformat()
print(txt)
def runstrat():
args = parse_args()
fromdate = datetime.datetime.strptime(args.fromdate, '%Y-%m-%d')
todate = datetime.datetime.strptime(args.todate, '%Y-%m-%d')
cerebro = bt.Cerebro(stdstats=False)
DataFeed = btfeeds.YahooFinanceCSVData
if args.online:
DataFeed = btfeeds.YahooFinanceData
data0 = DataFeed(dataname=args.data0, fromdate=fromdate, todate=todate)
if args.data1:
data1 = DataFeed(dataname=args.data1, fromdate=fromdate, todate=todate)
else:
data1 = data0.clone()
if args.filler or args.filler0:
data0.addfilter(WeekDaysFiller, fillclose=args.fillclose)
if args.filler or args.filler1:
data1.addfilter(WeekDaysFiller, fillclose=args.fillclose)
cerebro.adddata(data0)
cerebro.adddata(data1)
cerebro.addstrategy(St, sma=args.sma)
cerebro.run(runonce=True, preload=True)
if args.plot:
cerebro.plot(style='bar')
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description='Sample for aligning with trade ')
parser.add_argument('--online', required=False, action='store_true',
help='Fetch data online from Yahoo')
parser.add_argument('--data0', required=True, help='Data 0 to be read in')
parser.add_argument('--data1', required=False, help='Data 1 to be read in')
parser.add_argument('--sma', required=False, default=0, type=int,
help='Add a sma to the datas')
parser.add_argument('--fillclose', required=False, action='store_true',
help='Fill with Close price instead of NaN')
parser.add_argument('--filler', required=False, action='store_true',
help='Add Filler to Datas 0 and 1')
parser.add_argument('--filler0', required=False, action='store_true',
help='Add Filler to Data 0')
parser.add_argument('--filler1', required=False, action='store_true',
help='Add Filler to Data 1')
parser.add_argument('--fromdate', '-f', default='2012-01-01',
help='Starting date in YYYY-MM-DD format')
parser.add_argument('--todate', '-t', default='2012-12-31',
help='Ending date in YYYY-MM-DD format')
parser.add_argument('--plot', required=False, action='store_true',
help='Do plot')
return parser.parse_args()
if __name__ == '__main__':
runstrat()
