enter image description here

上篇

❸【白硕】算法交易的技术生态变革

白硕老师这次是特地从上海赶来参会,除了担任上海证券交易所的CTO,他还担任中国中文信息学会常务理事及中文信息学会信息检索与内容安全专业委员会主任委员。在演讲中他首先界定了算法的本质。第一是确定,算法有确定的语言和确定的逻辑步骤,有确定的输入和确定的输出。但算法也有不确定的一面,例如写算法的人会出错,硬件会出故障,不同的载体会体现不同的效率,还有就是数据,算法使用什么参数,用什么数据训练,有巨大的选择余地,也会带来巨大的差异。

白硕阐释了算法交易萌生的缘由和环境:效率不是主要目的,而贯彻战略意图、防止人性弱点和角色隔离是算法交易萌生的主要原因。过去操盘手通过直觉投资,而投资策略写成算法,可避免人性的贪婪,维持团队的纪律。算法交易的催化剂是共同市场的兴起,跨市场、跨品种的瞬间盈利机会,人已经没有办法抓住,只有算法交易才能抓住。业务上出现越来越复杂的关联,不用算法交易也很难把握。既然最后机器可以更好地判断很多事情、决定很多事情,就可以把更多的决策权、临场判断权交给机器。

enter image description here

白硕的报告逻辑清楚,结构严谨。他总结在交易的变革中,交易所面对的生态变化是:1)开放竞争带来交易所对交易量的绝对追求;2)效率目标压倒一切;3.)技术成为核心竞争力,技术收入占比上升;4)“纯技术”类新兴交易所如雨后春笋,老牌交易所频于招架。例如做交易系统出身的技术公司OMX成为控股北欧多家交易所的控股集团,与纳斯达克整合并购后,纳斯达克的技术系统里有一些东西已经被OMX取代了。5)并购如潮,系统强大意味着话语权强大。

而中介机构的变革也带来了更多进步:1)谋求强大的消息分发、订单路由能力;2)谋求优先成交、撮合前置的能力;3)为自营业务和优质客户谋求更高交易效率;4)为市场提供多样化的避险套利交易品种。有一种是超短线的,市场间、品种间瞬时出现赚钱的机会,就看谁快。人与计算机竞争,机关枪跟大刀长矛打仗,大刀长矛肯定没戏。第二种是组合,从长期趋势看若干产品组合在一起,从长期的大数据算下来、考验下来,有一种互补性,东方不亮西方亮,总体上有好的效益。有些基金就这样做出配置。而对变革中的投资者,白硕老师分析道:1)算法交易订单占比已大大超过手工交易订单,金额上也超过了;2)具有数理及IT背景的投资者崛起于华尔街;3)模型成为核心竞争力,得好模型者得天下;4)“宽客”文化的兴旺。

此外,白硕老师还对算法交易的技术生态变革进行了如下分析。变革中的业务:1)有了算法交易的工具,也就有了越来越多、越来越复杂甚至专门为算法交易定制的衍生/组合/结构化产品;2)越来越成熟的风险分析控制工具,包括复杂的理论定价模型;3)越来越紧密的跨时区、跨市场业务合作,例如沪港通、自贸区。变革中的资讯:1)交易数据:高频、细节、低时延;2)基本面数据:电子化、非结构化、语义与情感分析、机器可读新闻。索罗斯讲,他从来不看行情也不做基本面分析,他就看报纸。报纸上有什么东西?非结构化的文本数据。去年六月份,美国股市无缘无故大跌,后来查到原因是美联社推特帐号被黑了,黑客放了一条谣言上去,说白宫被炸,奥巴马被炸伤。这个消息一上来交易马上有反应。而且响应速度是非凡的,很难想象人看了那条推特,再去手工发一个什么指令,完全不是这样量级的速度,一定是机器反应的,机器已经能够对新闻做出反应。以后可以进一步把新闻索性按照一定的方式加标签,把新闻变成机器可读的新闻。标签可以自动产生也可以人工产生,产生出来的新闻可以提交给在第一线做交易的算法,算法则能够消化这些新闻,做出最有效的反应。路透有这样的产品,但是格式不对外,终端也是封闭的。我们尽量想得到标准化的格式,但目前他们只提供机器可读新闻的付费服务。国内如果能够建一套能够发中文的机器可读新闻的体系,就很厉害了。

接下来,白硕老师还解析了变革中的硬件:1)多核、集群、GPU支持下的大数据量化分析;2)利用专用硬件进行数据交换协议编解码;3)利用高速网络进行节点间通信;4)利用专用协议栈/设备进行高效率内存直访。

变革中的技术生态:1)我们看到无论是系统、资讯、硬件、基础设施还是技术标准,都在围绕算法交易寻找自己的发力点,合力促进一场深刻变革的到来;2)变革围绕三个字:第一是“快”,追求更高的交易效率;第二是“轻”,最新推出的交易系统普遍采用更轻便的平台、部署模式和需求响应模式;第三是“深”,希望能够具备更有深度的数据处理、加工、分析能力。

白硕还介绍了上交所在技术生态方面的布局:1)“狼群”计划,其目标是核心业务系统全面轻型化,采用PC服务器+开源操作系统;2)“猎豹”计划,其目标是对报单、行情、撮合全面提速;3)“狡兔”计划,其目标是建设同城、异地灾备以及为行业做的同址托管基地建设,核心系统灾备架构在新灾备格局下的全面优化。

最后他总结道,算法交易首先是在发达国家资本市场引起了技术生态的全面变革,从系统、资讯、硬件到基础设施再到技术标准化,都有一系列的变革,国内算法交易已经起步了,从整体上评估,技术生态还有很多让人不满意的地方,上海证券交易所也在付出巨大努力,包括做出很庞大的重资产投资,去全面改造和优化技术生态。这是一个巨大商机,全面向算法交易为主的模式转变的话,可做的事太多,每一件事都有巨大的挑战性。证券行业还是很有前景的,希望大家不管从什么角度能够抓住。

白硕报告期间,到场嘉宾与他做了频繁的沟通和互动。前德意志银行美国科技战略副总裁蔡凯龙先生,提出德意志银行曾准备在芝加哥到纽约之间架设微波通信,耗资上亿美元,就是为了把交易时间从14毫秒减到9毫秒。而在座的王飞跃研究员则对此项目的安全性提出质疑,他说电磁干扰太容易可能无法避免,这就是为什么目前交易公司只能采用成本更高的暗纤维网络的原因。蔡凯龙先生还就算法交易的监管风险以及对交易公平性的破坏提出了质疑。例如路透社提供有偿的新闻算法,是否剥夺了别人的利润?白硕老师回应道:可获得性公平在提供的时候源头是公平的,结果公平可以去追求,但是技术实现上也有一定问题,另外对先进技术是伤害。但在座的陈熙霖与王飞跃研究员都认为算法交易的社会作用偏向负面,影响社会公平。

工信部舆情中心的王新涛主任,就政府舆情预警系统及网络情绪指数与算法交易对接的可行性请教白硕老师。白硕老师回应,发达国家已经有相关的可行实践,但汉语的固有难度和中国本土的技术力量是否足以做这件事还在尝试。另外,也不能就情绪看情绪,情绪有时掩盖在很平静的语言当中。

enter image description here

沙龙彩蛋环节

这次研讨会既然是三会高手云集,这里就摘录几段各路高手的妙趣发言如下:

【中国自动化学会副理事长兼秘书长 王飞跃】刚才白硕老师说国内算法交易技术生态“含金量”与国际上不完全可比,我的感觉是可能要换一下文字的次序:完全不可比。但我个人认为这不是坏事,是好事。教书研究之外,我从上世纪90年代之初就尝试Day Trade:先是几千美元买进卖出共同基金,时间与频率都非常受限制,但风险几乎没有;后来自己的学生在股市上大亏,刺激之下我就自己Day Trade股票,再后来就是期权,长短一起来,每天的交易次数也越来越多,交易决策自然也就越来越快越急,一只股有时一天能在手里进出几十次,最后的感觉就是钱成了一堆没有意义的数,忘了“绿背Greenback”的“back” 后面之个人及社会的后果与影响。1998年美股“崩盘”后不久我就几乎彻底的退出股市,一个原因是精神压力太大,整天要关注各种新闻并阅读大量的材料,一有“风吹草动”就担心股市,对什么是“惊弓之鸟”有着与人不同更加铭心的别样理解;另一个更重要的原因,就是自己心里有越来越重的负罪感,觉得整个事情根本就是不对的,为什么交易要这么快这么频?这样的“钱生钱”方式并不直接产生任何实际价值,只能更快地腐化人性危害社会。不错,合理的交易有利于社会经济的发展,但太快太频就不能算是合理的,应该被看成是非法的并加以取缔。所以我认为这方面的“含金量”不太高对于社会经济发展有利,特别是在中国的股市,不是看成是坏事,应看成是好事。

enter image description here

特别是20多年前的算法交易或自动交易还很少,不到10%,可现在已经超过60%,而且还在快速增加,T3、T1,1/8、1/16的限制也早没了。人在交易时还有感情、偷懒、后怕,速度也慢,没有人性的算法都没有,而且速度快,就知道 “勇往直前”地“按既定方针办”,崩盘也无所谓,如果当成人这就是典型的Reckless神经病行为。算法交易让我常常想起一位小学同学的语文课造句:阶级敌人(算法?)总是睁着大眼看黑影,不掉坑里(Crash?)不罢休。算法是人设计的,其“方针”总有bug和缺陷,所以算法交易的比例越高,越有限制交易速度的必要。记得1995年前后,就多次出现过简单的15%交易算法造成股市莫名其妙地大起大落的“事故”,迫使有关机构引入新的规则,试图限制自动交易。但是措施的效果显然有限,以致近年美股还经常出现上千亿美元瞬间里能莫名其妙地“飞来飞去”的现象。如果将交易时间合理地加以限制,就能给理性和智能提供更大的“发展空间”,还可以有效地遏制投机行为,使竞争更加相对公平,也能避免再出现像Spread之类的公司,通过昂贵的暗纤维网络几个毫秒的优势来谋取暴利。当然,这样做,可能只是把矛盾从股市之内移到股市之外,最后还会以另外的方式出现在社会经济的某个角落,结果如何不得而知。因此,这不是一个简单的问题,但眼下的问题太明显了,应当解决。

我从不后悔,而且感谢自己的业余Day Trader经历,尤其是这段经历直接促成了自己目前的社会计算与平行系统研究领域。为了更好的交易,我很早就成了 “开源情报”的“专家”,这也使我能更容易地认识理解反恐情报安全信息学ISI的重要意义,并在此基础上提出了“社会计算”的研究领域。为了建成自己的自动算法交易系统,我还提出了面向自然语言计算的“语言动力学系统(Linguistic Dynamic Systems, LDS)”的概念与方法,试图对交易行为建模,组织自己的“人工交易员世界”,利用MatLAB、TradeStation、OptionStation等进行交易实验和实时优化,并在此基础上,后来提出了基于ACP方法的平行系统、平行管理和平行控制理论。还有,促使我入市的学生,尽管当年在股市上亏了,后来去了华尔街并回国创业,十分成功,也算是“不入虎穴,焉得虎子”。

《算法帝国》一书的英文书名的原意是“Automate This”,就是“把它自动起来”,其实全书都是“知识自动化”的意思。除了算法交易,书中还列举许多其它虽然赚钱不快但我看来更加有意义的“知识自动化”例子,如IBM的Watson系统、保安计算博弈、器官移植匹配、机器人医生、性格评估和客服人员的工作分配等等。记得读完考普研制作曲算法的“动人”故事之后,我曾在书的边角上留下了一段感言,觉得能把考普的算法用来调制新的美酒或发明其它未知的美食就更加“靠谱”了,比如可否用来Microbrew啤酒?

科技是把双刃剑,算法就更是了,而且每一个算法都可能都是一把双刃剑。虽然我不相信算法能“统治”人类,而且还卖力地推动“知识自动化”,但在智能技术有点“烫”的过头的今天,何处何时引入算法,如何使用,的确应该“三思而后行”。

【中国密码学会副理事长 杨义先】我和白硕老师是几十年老朋友了,我听到这个选题很感兴趣,所以报了名。算法要说神秘也很神秘,如果说很普遍也非常普遍,普遍到什么程度呢?刚才陈熙霖教授已经说了,生物的本能是固定的,是天性。这是第一步。天性是怎么来的呢?若干年习惯形成的,习惯是怎么来的呢?习惯实际上就是算法来的,算法又是怎么来的呢?算法其实是一些思路来的,思路是想出来的。

enter image description here

我们最近有意做了群体智能的算法,蚂蚁找食物,要把食物拿回家的过程,过去没有从算法上了解,通过研究发现,其实是一个从混沌到有序的过程,刚开始蚂蚁乱走的,不知道哪里有食物,到某一个阶段就有序了,后来出来的蚂蚁就直接往目标走了。每一个蚂蚁是非常笨的,但是一群蚂蚁能做很多事。我们把这个东西发现以后,在《美国科学院院刊》(PNAS)发表一篇论文,到现在半个月,在国际上引起很大轰动,包括美国《时代周刊》《每日科学》等七十多家国际媒体给予广泛报道。人民网、新华网、中国科技网等40余家国内媒体也给予了报道。《时代周刊》甚至说,基于此可以做出比谷歌还要好的搜索算法。而我们当初完全从数据挖掘、隐私发现的角度来开展研究的,没有考虑过搜索问题。

我觉得很多思维,包括投资的、炒股的,大家过去是凭经验做,但是,应该有人开始有意识地把这些做法凝练成算法,再用这些算法去指导相关的行动,我相信,最终效果会大大提高。而算法真的是思维的立足点,是非常重要的。

【中国计算机学会副秘书长 陈熙霖】 我觉得科学有时候很可怕。我们都很弱小的时候,我用科学打你一拳、你用科学打我一拳,可能就是流血。再后来科学可能是刀,也死不了人。再后来有枪了,我打你一枪,你没机会打我了。所以别相信科学能解决所有的问题。科学一定不能滥用。包括教学里,我觉得大学里缺少这个,一开始就应该给学生讲科学伦理。

【慕荣投资合伙人赵众】我一直在做海外中国证券交易,对宽客比各位有更多直接了解,我们行业本身有很多做量化的基金,这是一个新生事物,但在资本市场上,永远不能破除一个规律,大部分是赔钱的,只有极少数人成功,所以不要被量化恐惧,也不要神话它。高频交易很快,但实际上承受的风险与普通交易一样。实际上长时间做交易的人,速度并不是决定因素,关键还是人。无论什么技术手段、进入什么市场,最后关键决定的还是人。我是对宽客抱着一种听其自然的态度,不神话也不否定,如果有这个条件和能力,能够把它应用好,也是一个工具,但是所有工具到最后的结果还是取决于使用它的人。

关于算法,我想说的话

研讨会开场时,财讯传媒集团戴小京总裁的幽默给我留下极为深刻的印象,他说:“我代表财讯集团旗下二十多家杂志欢迎大家,你们的到来给我们这个旧房子带来了新鲜的空气。几年前在媒体、市场营销里有“数据驱动”的概念,我和老段(段永朝)当时探讨这个,老段沉思以后说这个取决于某种算法。那时候觉得算法很神秘。后来又到了杨静的群里,她有一个叫‘静’的微信群,进去后基本就不再安静。我们二十多人弄一本杂志,但是她一个人好像可以弄六本杂志。不知道她为什么有那么多话,我理解一个人可以同时想很多事,但是不能理解一个人能同时说那么多事。我估计她也掌握了某种算法…….”

其实并不是我掌握了什么神奇的算法,而是微博和微信的创新算法平台成就了我的神奇梦想。让我能有机会在这样一个群星璀璨的研讨会上,跟着三位讲者,回溯算法的历史,透视算法对世界的控制,前瞻算法将要改变的未来。

换个角度看世界,算法其实在生活中无处不在。从我的角度看,人类就是一种生物算法机器,在以往的物理世界和精神世界,人类的大脑应对自如,因为人脑的算法擅长图形、图像和语音识别等感官信号的处理;但在当今和未来信息爆炸,大数据泛滥的世界里,机器的大脑必然要参与进来,以其高效、逻辑性,可拓展性的硬件,以及不断进化、越来越复杂、越来越智能化的算法对暴涨的数据虚拟世界进行信息梳理、处理和管理。 人类的物理世界和人脑中存储运行的精神世界,终归是有局限的,现有的生物算法辅以机器算法完全可以应对。但机器的物理世界和电脑中存储运行的虚拟数据世界,可能是无限的,必须要以机器算法辅以生物算法作为其操作系统。也许,未来是由生物算法和机器算法的融合决定的,但无疑机器算法的比重将会逐渐提高。

从这次沙龙的研讨结果看,机器算法正是从人类的精神创造中逐渐抽象出来。而时代越是向现代推移,机器算法对世界的控制力就越高。算法控制了华尔街,控制了硅谷。算法还将控制未来的物理世界和数据世界。

记得有人说过,整个宇宙就是一个程序。那也就不必对生物算法和机器算法做太多的人为割裂。同一个宇宙,同一个算法。也许,最后我们会发现,整个宇宙就是一个不断自进化、不断迭代的高度复杂算法。当然,这只是我的一点联想与畅想,与科学无关。

enter image description here