帕皮提

注册

 

发新话题 回复该主题

传统vs互联网,金融行业云部署有何亮点 [复制链接]

1#

金融上云,这是时下一个非常热门的话题。目前,金融行业主要由传统金融行业和互联网金融组成,这是两类并不相同的用户群体。二者无论是在业务特色、IT沉淀,还是具体需求上,都有着很大的差别。进而在云计算部署方面需要考虑的问题也不一样。

前段时间在InfoQ主办的QCon北京活动中,青云QingCloud举办了一场金融云专场,邀请了来自传统金融行业和互联网金融的用户代表,为现场的参会者展现了不同金融用户云计算部署的实践与思考。InfoQ编辑将其中精彩内容做了整理,希望给更多人提供参考和借鉴。

    量化派:服务爆炸式增长时,如何让系统化繁为简  

作为一家互联网金融公司,量化派的主营业务包括现金贷、消费分期、场景消费三种。三种业务场景都由数据驱动,审核和风控都不需要人工。

从企业初创到C轮融资,量化派业务发展很快,其IT架构也经历了由简到繁的过程。仅以现金贷业务为例,用户信息需要经过主逻辑业务进入风控平台,再经过数据筛选决定用户等级。单这个系统就经过了单点服务、集群化服务、负载均衡、ELK集群、微服务等多个架构的演进。当服务呈现爆炸式增长时,很多问题都暴露出来了。

一方面,随着业务量不断增长,量化派对于IT的需求越来越高,实际情况却是原有硬件不能快速扩容,无法支撑起如此高速的发展。以前,量化派在机房都是租机架,主机容量有上限,部署新的机器相当繁琐。由于使用IDC基础架构,一旦原有合作伙伴不再合作,部署新的IDC带来的专线难以打通的问题也困扰着量化派。

另一方面,量化派原有的自建高可用方案不能支撑业务持续发展,一旦硬件出现问题,可能会导致数据永久丢失。而对于一家互联网金融企业,数据是核心竞争力,重要性不言而喻。当然,由于业务本身复杂度高,现有IT监控系统也早已不能有效发现系统中存在的问题了。量化派的业务发展对企业的IT提出了全新的要求。

正是由于上面的这些挑战,量化派技术总监周乾经过考察对比,决定将服务从原有的IDC搬到青云QingCloud,打造一个公有云和私有云结合的混合架构。这个工作做起来并没有想象中那么简单,由于涉及到上百台虚拟机,以及十几个数据库规模的微服务,其中需要考虑到的突发情况也不少。

众所周知,迁移MySQL,如果中间走公网,容易出现闪断,因闪断造成数据丢失是量化派不愿意看到的。为了避免这种情况,量化派使用了Canal中间件,把数据扔到MySQL里,MySQL自带的存储特性,直接将数据复制给了异地机房数据库,这个时候便不用担心某个用户借款丢失的情况发生。

对于缓存数据,量化派缓存用的是Redis,用Redis-port工具向RedisMaster发送sync,接受RDB文件,再回放RDB文件,复制便能完成。

而对于迁移过程中遇到DNS缓存问题,量化派和青云QingCloud一起找到了两个解决办法。第一个是通过变更域名,这个时候原有DNS缓存会失效,便自然会去访问新的。另一个是不变更域名,这时候就会有大量流量通过互联网访问到老的IDC上,这与他们的初衷是相违背的。这种情况下,量化派将原有IDC的负载均衡器上的服务指向青云QingCloud上的Server,缓存问题迎刃而解。

迁移上百台虚拟机如果纯靠手动完成,工作量太大。为此,量化派自建了自动化发布环境。为了轻量化运维,量化派自己开发了xypb-deploy项目,构建在paramiko库上,直接连到ssh。这个自建项目采用PythonNginx-parser,可以灵活切换流量。

周乾指出青云QingCloud所提供的负载均衡器功能,代理了四层流量。为了增加查询效率,通过负载均衡器代理到存库上,给用户提供连到数据库的机会。再通过很多数据库负载用户查询的流量,以达到效率提高的目的。

安全是比较大的话题,在演讲最后,周乾详解了量化派在青云QingCloud上实现安全的路径。量化派服务采用前后端分离,没有后端渲染,基本上所有开发都是Java,最后部署起来也是单独架包,不存在JSP或PHP等解释执行的脚本;第二采用orm,利用pojo访问数据库,杜绝SQL注入;第三采用

分享 转发
TOP
发新话题 回复该主题