让数仓自动化更触手可及 JOS怡和科技开启大数据智能时代

以“数领先机,智赢未来”为主题的第九届中国数据库技术大会(DTCC2018)于5月10日-12日在北京举办,亚洲主要的系统集成商、技术解决方案供应商及技术咨询顾问JOS怡和科技受邀参会,JOS中国区技术和合作伙伴总监杨旸出席活动并发表主题演讲,对数据仓库自动化工具进行了详细介绍。此外,JOS还邀请了WhereScape亚洲区解决方案总监萧俊庆到场,通过数据剖析和数仓自动化软件的展示,就如何实现自动化数据仓库,如何实现全面数据管控和治理进行了分享。

2018中国数据库技术大会JOS怡和科技展区

在物联网极其发达的时代,有网络的地方就会有各种数据的产生,传统平台和开发方式已经很难满足“大数据”的规模和需求,报表质量差、数据质量难以规范等现象频繁出现。采用传统的数据仓库开发方式,难以跟上业务需求的不断变化,开发者大量精力放在编写代码上,且开发能力参差不齐,难以保证开发质量和最佳的数仓实践,往往花费了6-12个月,而结果不准确、不全面、不符合需求,或者最终发现数据质量本身难以满足业务期望,造成时间和人员精力的巨大浪费。如何从熟悉或陌生的多个来源、多年积累的数据中快速挖掘有价值的信息,形成及时、准确的决策,数据仓库自动化是近年最火的趋势之一。

拥有10余年科技咨询经验的JOS怡和科技,更深刻地理解客户的业务和管理,通过开发数据仓库自动化系统,帮助客户IT团队实现对数据更自动、更低成本、更敏捷地开发。

实现敏捷开发 紧跟需求变化

传统数据开发需要数十个星期,漫长的需求分析、由丰富的分析师和专业开发团队历经半年到一年开发,但仍常常出现用户对结果不满意或者改变需求的情况,造成开发跟不上业务,双方隔阂越来越大的现象。JOS中国区技术和合作伙伴总监杨旸表示,在传统的数据仓库开发方式和手工编码耗费了过多精力,开发者对数据本身的业务逻辑、清洗、处理等很难投入足够精力。多年多系统积累的数据也很难靠简单的数据标准来管控,而数仓自动化缩短时间,可以很快看到效果,找出潜在问题,快速与用户进行沟通,迅速得到用户反馈。

JOS中国区技术和合作伙伴总监杨旸发表主题演讲

数仓自动化能够帮助企业、政府等用户快速开发数据仓库,将几十人的团队缩小到两三人的敏捷小分队,同时大大缩短时间,将传统开发需要用几个月的时间缩短到几周或者几个小时。据杨旸介绍,JOS怡和科技利用WhereScape等自动化工具可以在几天的时间内完成开发、测试和文档,基本实现了代码自动化,从完全陌生的数据到给客户访问,用十分钟就可以完成,真正实现快速见效、让管理更精准,与业务部门更快配合和创新。

以荷兰Vodafone电信为例,该公司为了融合一个数据质量较差的系统,花费了9个月时间和大量资金进行开发和测试,但数据质量仍然存在问题。当采用WhereScape产生数据的方式后,将时间缩短到了几天,并且高质量地完成了报表,大大降低了运营成本。

提升开发质量 降低维护难度

数仓自动化在提升开发速度的同时,更能够减少手工代码带来的失误。传统的数据库由于过多人工参与的因素,不可避免造成开发者失误。同时,开发者经验参差不齐,该去重的地方没去重,造成重复统计;该采用Slow Changing维度的地方采用了普通维度造成错区统计等。最后不可避免地导致统计不准确,用户不信任。WhereScape数仓自动化系统能够自动产生存储过程、SQL代码等,并自动产生文档,包括数据源统计情况、血缘等,将重复、可自动编码的工作自动化,减少人工代码,从而确保了数据仓库的高水准。

从容面对监管,实现数据管控和治理

随着《个人信息安全规范》和欧洲GDPR的出台,对个人信息、敏感信息的来源、处理、存储、访问、修改等严格规定,WhereScape亚洲区解决方案总监萧俊庆补充说,自动化和数据治理机制能够将数据汇集到一起,自动记录从数据加载到报表的整个流程,从ODS、贴源层、存储模型和数据集市中,随时找到、解释、处理关键字段,更便宜、快速、从容地满足监管要求。最后,就数仓自动化如何缩短开发时间和提升数据质量方面的细节,两位主讲人与现场嘉宾展开了热烈的问题互动与探讨。

现场问答互动

目前,JOS怡和科技凭借10多年服务于零售、制造业、餐饮、地产、金融等行业的科技咨询经验,能够帮助客户IT团队实现敏捷开发,更切合实际地将大数据落地。由数学、统计学、数仓架构、大型项目管理等多领域专家组成的JOS团队,专业知识涵盖了整个大数据能力范围,无论企业是否拥有成熟的开发团队,它都能帮助企业决策者和业务部门更容易、更快速地从海量大数据中获取真正有用的洞察,为决策提供科学数据依据,为企业赢得客户与市场先机。

声明:本文由入驻搜狐公众平台的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。
推荐阅读