讲讲飞贷金融科技那些年趟过的坑

每秒并发用户数1万左右;

内部系统DB交互破亿次;

业务数据每天达到1TB增量 ;

每天放款1亿元;

每天稳定活跃用户达到3万;

遍布全国各地注册用户超300多万;

总审批额度超过200亿元。

  看到这样的一组数据,在这样的金融业务压力下,深圳中兴飞贷金融科技有限公司即飞贷金融科技,不用IBM大机或小机,也不用Oracle数据库和品牌存储阵列,而是采用了x86架构与开源平台来搭建IT,胆儿也忒肥了!

  曾有人对此评价说,“搞金融业务用开源软件,这不就是玩火自焚吗?”要知道相对银行、证券等金融业用户来说,开源软件部署和运维更为复杂,很多时候还需要针对用户的高可靠性、高稳定性、高可用性做定制化的二次开发。可是,在飞贷金融科技的创始团队成员看来,这却好似一场凤凰涅槃般的进化。

缘起x86+开源

  飞贷金融科技创始人、董事长唐侠和公司总裁曾旭晖在银行等金融业摸爬滚打数年。 他们历任多个重要职位,自然对银行等传统金融业务非常熟悉,明白传统银行贷款申请难、获批难、用款难、还款难、再借难五大难的问题,由此带来了用户体验过程中繁琐的证明材料、多环节的时间等待、高昂的沟通成本等痛点。

  当然,他们也对飞贷金融科技要做的事情更为清楚,要实现“随借随还”只需3分钟就能让用户搞定最高30万的贷款。这与其它新金融有着完全不同的模式,因为不做理财端,采用独特风控体系,对接持牌银行等金融机构,满足中小企业主、个人的融资需求。这样的IT基础架构绝对不是四大商业银行那样采用传统IT“三大件”的基础架构模式。

  飞贷金融科技独特的“天网”风控体系

  飞贷金融科技首席技术官陈定玮表示,“从2015年一开始集中做飞贷手机APP,我们就没有考虑IBM小机、 Oracle数据库和品牌存储阵列那样的银行业用户传统IT基础架构,不只是因为这“三大件”贵得离谱,没有千万的投入很难搞定,即使投入千万也未必能达到我们所需要的峰值和效果。”

  显然,创新金融业务的需求特点决定了飞贷金融科技必须大胆采用创新型的IT基础架构模式。

  在这样的情况下,唐侠和曾旭晖给予充分的信任和肯定,陈定玮负责带领飞贷金融科技研发团队,毅然采用了x86架构和开源软件构建起来了整个公司业务的IT基础架构。

  毕竟在这之前没有人在金融业如此玩过,也没有人从一开始就考虑采用这样的模式来构建新金融与新IT 。可能也有人考虑过,但很少有人像陈定玮所带领的团队那样趟过无数的大坑小坑,关键他们还将这些坑全部填平,让开源应用变得更漂亮了。

那些年趟过的“三大坑”

  要玩转这一切,飞贷金融科技到底是怎样练成的呢?其间必定少不了在那些年趟过的那些坑。

  饶有风趣的是,陈定玮将那些大坑小坑归纳为“三大坑”。

  飞贷金融科技首席技术官陈定玮受邀参加“2016中国存储峰会”(右一)

  三大坑之大数据并发。按照飞贷金融科技的设计,“飞贷手机APP贷款,用户通过手机使用飞贷APP只需3分钟即可完成申请、获批授信额度,额度不使用不产生任何费用。飞贷APP支持7×24小时在线申请、提现、还款,提现快速到账。还款过程中支持任意调整还款期限和还款日,并可部分或全额提前还款,不收取违约金。”说了这么多飞贷APP业务模式,只是想强调非常重要的一点,即:用户只需通过飞贷APP就可以完成整个个人贷款流程,换句话说一但用户量到达一定数量,IT会很快承受不住其大数据并发量。

  飞贷APP1.0发布,出乎意料的用户量,使为客户提供服务的IT很快就撑不住了;随着飞贷升级到2.0,飞贷全国开放,用户量激增,即使带宽全部占满,DB数据库和前端服务也都撑不住;一直到了2016年升级到3.0版本之后,这一切才得以根本性解决。

  三大坑之数据库(DB)。庞大的数据量考验着系统的承受能力,飞贷上线后,激增的用户量使飞贷技术团队发现,DB 存入一旦达到60G以上系统就撑不住。

  所以后来采用开源数据库根据数据总量、并发数、读写分离进行优化。根据不同的需要采用了开源NoSQL数据库MongoDB 、Redis、Hadoop HBase与之匹配。

  三大坑之负载压力坑。对于日常业务交付带来的负载压力,如果只是采用开源平台和开源数据库还不能完全解决问题。为此,飞贷金融科技自主研发了一套神算中间件来解决其中的问题,神算中间件成为了应用和数据库底层之间的桥梁,不仅解决了负载压力问题,同时也提升了应用与数据库之间的交付效率和速度。

当然也有“三大杀手锏”

  俗话说:“你有张良计,我有过墙梯。”想要玩转金融科技,想要搞定这些技术大坑小坑,没有杀手锏怎能行。看了下面的“三大杀手锏”,上面提到的“三大坑”即可迎刃而解了。

  陈定玮联合公司60人的技术研发团队,趟过技术的大坑小坑之后,为飞贷金融科技构建了整套适用的IT基础技术架构。

  因此,完全抛弃了公司最开始的传统IT 架构,采用30多台x86服务器,以Ceph开源软件构建了分布式存储,超过了1PB 存储容量。最底层Ceph最开始陈定玮带领团队自己在摸索搭建,但从2016年就开始了与XSKY在Ceph领域的深度合作。再上面一层,采用Docker构建虚拟机的容器封装。整体部署采用混合云模式,前端APP服务部署到阿里云,解决了异地带宽的问题,为用户访问飞贷APP加速,但是核心数据业务应用还是全部都部署到飞贷金融科技自己的私有云平台。

  为了提升金融业务的实际安全性,飞贷金融科技的IT基础技术架构全程通讯协议采用HTTPS ,并以AES256算法加密,还长期与国内某专业安全公司合作加固APP安全。

  采用自主研发的分布式跨平台网络通讯中间件组件,针对大数据存储、大并发的需求,实现更高的通讯效果,“曾经用过传统的通讯方式,后来不再采用,开始研发自己的通讯组件。”

  或许有人觉得这都算不了什么,最值得关注的“三大杀手锏”马上开始说。

  三大杀手锏之神算(Fortune)平台。这是一个自己研发的中间件,部署在应用和数据库层之间,目前国内大型电商才有类似的中间件比如阿里系、京东商城等。借助神算平台,在每一次应用与数据库之间的交互时,融合风控体系技术和流程,可以实现500毫秒(半秒钟)算出用户的授信,最慢三分钟实现用户获批高达30万的授信额度。不过,因为授信过程因人而异,个人风险等级不同,所走流程不同,在用户信息都非常完善的情况下,最快实现500毫秒出额度。

  三分钟四个步骤,最高获批30万

  神算平台对接数据库,解决了负载并发的问题,全部写SQL语言,并由中间件处理后提供给DB。当然,这里通过中间件控制,也实现了分布式模式,并且还借助神算平台做数据容灾。

  提到数据容灾,假如DB挂了,神算平台可以自动化选择另一个DB ,毕竟数据策略上采用了读写分离。并且实现了拆表拆库,根据业务特点和业务量来灵活实现。

  可见,神算平台不仅搞定了负载压力的问题,同时对大数据并发也有非常好的协调作用。

  三大杀手锏之运维自动化。飞贷金融科技采用开源的具有高可用性及扩展性的云计算平台CloudStack,支持管理大部分主流的虚拟机。Ceph做冷热数据存储分离,飞贷金融科技IT所有组件都有容错机制,一旦遭遇自动化实现不了,会有警告提醒,利用各种通讯工具通知到相关人员。从多个体系联合实现自动化运维的目的。

  在Linux软件平台下实现虚拟化部署,飞贷金融科技根据CloudStack的特性自己写程序去实现。

  飞贷金融科技的理想就是:科技驱动业务,实现创新业务的需求。因此,公司很早就组建了自己的实验室,专业做创新互联网技术研究,包括对新算法、新平台的研究,以期帮助加速应用,加速业务创新的实现。

  因而,飞贷金融科技也采用了最热门的开源数据库与算法工具,根据工作负载、基础设施以及具体需求的不同,融合了Storm与Spark算法,不仅支持Java、Python、Scala语言,同时可以更好地实现与 HBase、HDFS分布式文件系统对接。

  目前,飞贷实验室正在做Hadoop平台内部测试,待时机成熟时,飞贷金融科技将会实现Hadoop平台的创新部署。

  可见,有了开源数据库的优化,不仅让数据库具备的数据总量、并发数、读写得到了很大提升,同时在算法工具的辅助下也提升了应用效率。同时富有容错机制的运维自动化,也加强了飞贷金融科技IT系统的高可用和弹性扩展特性。

  三大杀手锏之数据智能处理。飞贷金融科技将结构化数据、非结构化数据全部拆分,转变解析成结构化数据,“拆表拆库”然后采用算法来实现要的目的,调入规则引擎,最后就可以导出客户的数据分析结果。

  规则引擎相对非常复杂,采用Java平台,做瞬间规则判断,具体构建了数据模型来进行判断。

  同时飞贷构建了自己的风控模型系统,根据用户风险特征画像形成信息标签,并将标签导入风控模型系统,风控模型系统还会基于新的标签对客户再次进行评估和判断。

  可见,拥有风控模型系统的把控,加上大数据处理的创新手段,这在很大程度上也对大数据并发和负载压力有所改善和优化。

小结:缘定商业模式的创新

  

  飞贷金融科技获得Intel颁发的金融IT基础架构创新奖

  作为唯一入选美国沃顿商学院的中国金融案例,也是唯一获得了Intel颁发的金融IT基础架构创新奖,飞贷“随借随还”的手机APP贷款,在2016年从2.0版本升级到3.0版本后,3分钟内可以搞定中小企业和个人用户的融资需求,这不仅实现了互联网与金融平台的融合与创新,同时也实现了飞贷金融科技商业模式的改变与创新。

  “敢为天下先。”在很大程度上,飞贷金融科技给传统贷款“五大难”问题的解决提供了一条创新之路。

  这也预示着一个创新的新金融商业模式从此诞生,并随着飞贷金融科技趟过一个又一个技术“大坑小坑”,借助“三大杀手锏”的技术基础,面对中国广泛的中小企业主和个人借贷市场,未来发展可期。

——阿明/文——

  本文来源:阿明独立自媒体,微信公众号datachina,版权所有,侵权必究,转载请授权。

声明:本文由入驻搜狐公众平台的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。
推荐阅读