【Pivotal中国2018年数字化转型技术(大数据|容器|云原生应用)主题系列研讨会】之第五场活动回顾

2018年10月26日,《Pivotal中国2018年数字化转型技术(大数据|容器|云原生应用)主题系列研讨会》之第五场研讨会在Pivotal 北京办公室顺利举行。活动现场气氛活跃,与会者和来自Pivotal中国研发中心的讲师们积极互动,交流探讨。

活动开始,Pivotal全球研发总监姚延栋发表开场致辞,欢迎各位与会者的到来。姚延栋欢迎了各位与会人员,和大家一起回顾了Greenplum的成长历程,并表示了对Greenplum未来的信心与期待。姚延栋表示,非常感谢在Greenplum成长的过程中有社区和客户的相伴,希望参会人员能在此次会议中有所收获,并期待大家能和我们的技术人员有进一步的交流。

接下来,Pivotal中国研发中心软件工程师邱培峰向大家介绍了《GPKafka – Kafka数据导入工具简介》。Kafka是分布式消息订阅系统,有非常好的横向扩展性,可实时存储海量数据,是流数据处理中间件的事实标准。当通过Kafka和greenplum搭建流处理管道时,如何高速可靠的完成流数据加载,成为用户最关心的问题。从5.10开始,Greenplum发布了新的工具GPKafka,为Greenplum提供了流数据加载的能力。本专题主要介绍如何使用GPKafka各种特性,用户可以轻易实现实时数据导入,以及断点续传,各种数据格式加载,以及transform等功能。

茶歇过后,Pivotal 资深研发工程师张桓分享了《数据科学实践》。介绍了Greenplum 的分布式执行引擎,以及借助MADlib,如何实现线性可扩展的机器学习平台。

在AI的浪潮下,机器学习在企业级计算领域的应用愈加广泛。企业大量核心数据都存储在关系型数据库中,针对海量数字资产应用机器学习技术的一个痛点问题是存储型系统和不同类型的分析型系统之间的数据拷贝开销。

Greenplum作为一款MPP分布式数据库引擎,内置支持海量数据的OLAP处理,同时Greenplum与顶级高校协作,共同开发的MADlib机器学习框架,实现了数据库内部分析,形成一套从数据存储到分析的一体化解决方案。

最后,Pivotal 解决方案架构师庄怀轩做了《现代化数据微服务架构实践》的演讲。随着微服务生态的发展,传统的数据系统也面临着新的挑战。如何在保证大数据系统优异性能的前提下,充分利用现代化微服务架构实现系统改造,Pivotal数据套件可以给出一种新颖的解决方案。作为Spring技术的贡献者和推动者,Pivotal将新一代数据平台,分布式内存计算平台Gemfire与Spring生态完美结合,为数据平台的微服务改造提供了新的思路。

附上演讲PPT(请耐心等候加载):

GPKafka – Kafka数据导入工具简介:

GPKafka - Kafka数据导入工具简介

数据科学实践:

Grrenplum & Data Science

现代化数据微服务架构实践:

微服务架构下的数据服务实践

 

“【Pivotal中国2018年数字化转型技术(大数据|容器|云原生应用)主题系列研讨会】之第五场活动回顾”的一个回复

  1. Pingback: 技术研讨会

发表评论

您的电子邮箱地址不会被公开。