首页 文章详情

开源平台赋能技术革新,数据分析深入业务场景 | 易观开发者深圳站【回放】

易观数科 | 269 2020-11-17 12:26 0 0 0
UniSMS (合一短信)
11月14日,易观开发者日深圳站在航天科技广场成功举行。作为今年易观A10数据智能峰会的最后一场,本次活动吸引了来自深圳数据领域的技术爱好者参与演讲互动共同分享讨论数据技术发展前沿及行业实践应用。

 

开发者日深圳站活动现场


在本次技术开发者日活动上,易观CTO郭炜、易观方舟首席架构师&易观 Argo发起人江振兴、易观数科大数据平台部总监&Apache DolphinScheduler PPMC代立冬、唯修汇技术总监夏彬以及联易融数字科技大数据开发工程师孙朝和等大数据领域的行业专家和一线实践者,共同分享各自基于大数据技术发展的洞察认知和实践方法论。

 


云原生时代下的技术与数据洞察


近两年,云原生能力开始在云上充分显露。作为已经大规模普及且高度数据化的领域,云原生的发展正在影响着云的走向。易观CTO郭炜在开场致辞中指出,未来5年,大数据中心即将被重构,云原生的大数据时代即将来临。


现在很多业务都需要能够尽快地将结果反馈给用户,因此后台对于数据查询的实时性以及自定义性的需求也越来越高。在云原生的趋势下,大数据的计算、存储、调度、分析等能力也正在逐步向云原生迈进,这一点从各领域之下的所诞生的工具就可以得到印证,因为有需求才会有工具。
 
最后郭炜认为,『大数据集群费用只需要一半,挖掘算法和查询可以提速 100 倍,存储可以跨云、跨平台任意选择计算引擎调用,大数据计算任务调度随需而定』这样的大数据计算环境,在数据中心即将被重构的今天,已经近在眼前。

 


海豚调度:Apache DolphinScheduler RoadMap


Apache DolphinScheduler(以下简称为“海豚调度”)自 2019 年 3 月开源,8 月进入Apache孵化器后,目前已累计有400+公司在生产上使用。经过了一年多的发展、开源共建之后,海豚调度目前已经发展到了一个新的阶段。现场,易观数科大数据平台部总监&Apache DolphinScheduler PPMC代立冬分享了近期海豚调度的发展路径。

 

代立冬在分享中提到,经过社区开发者的反馈,目前已经在规划海豚调度的中短期内发展计划。首先云原生和容器化的大趋势,海豚调度将支持官方Docker版本以及云原生环境下的数据调度;其次在可扩展性方面将向SPI化靠拢,实现邮件告警、注册中心、资源存储、全局队列、任务插件、日志存储等多功能的SPI化,使整体架构设计保持简洁,并实现各个功能与插件之间的相对独立性;第三,海豚调度将通过重构Master 的形式减少数据库轮询和线程的使用,从而进一步提高性能;最后,近期海豚调度将上线任务结果参数传递、任务并发数控制、降低列表依赖性、工作流版本管理等新功能,以期能够更好地为开发者服务。
 
目前随着社区的发展和设计的迭代,海豚调度性能越来越好,可靠性越来越高。最后代立冬也展望了一下未来社区的发展,希望能够有更多的用户和开发者能参与到海豚调度的发展中来,一起让它变得更好。

社区共建,让海豚调度发展路线越来越明确


“调度选得好,下班回家早;调度用得对,半夜安心睡”,简单的20个字浓缩了海豚调度的能力和愿景。社区模式正在使海豚调度的发展路线更加明晰,目前海豚调度社区中已经聚集了数千名工程师和400多家使用者,其中不乏许多积极贡献者,联易融数字科技集团有限公司的大数据开发工程师孙朝和就是其中之一。

 

联易融数字科技集团有限公司的大数据开发工程师孙朝和
 
为了更好地贴合业务,针对实际应用场景的改造是必不可少的。越来越多的社区贡献者加入进来,从多方面不断优化海豚调度。当然,技术的发展是无止境的,对海豚调度的优化也还在持续进行中。孙朝和提到,他们团队目前还在基于事件的工作流调度、易用的ClientSDK 这两个方向上努力,以便能够满足不同粒度的工作流环境下更加灵活的触发方式的需求。



迭代更新:新一代用户行为分析产品Argo


易观 Argo 作为易观方舟智能分析组件的免费版,一经发布就收获了一大批拥趸者。经过了一年的不断优化,易观 Argo 的能力又迈上了新台阶。开发者日现场,易观方舟首席架构师江振兴对 Argo 最新的能力进行了全面阐述。
 
Argo目前紧随商业版高效迭代,以帮助用户节支提效。易观Argo目前已经具备多种丰富的数据分析能力,如:每分钟自动更新生成数据报表、多分析模型优化智能路径、基于用户行为等属性自定义创建分群和个性化触达、新版本的可视化埋点能力、留存分析以及多渠道触达的能力等。

 

在演讲最后江振兴提到,从推出至今,Argo已积累数百家使用者,涉及金融、零售、医疗、教育、游戏、电商、汽车、餐饮等多个领域。在开放的 Argo社区,目前已汇聚数千位开发者和数据爱好者,易观也希望更多的开发者能加入Argo,一起践行The Apache Way!

 


用户案例:唯修汇基于易观Argo的精细化运营实践


除了数据调度,大数据工程师还经常面对这些困境:经常写各种临时脚本、业务对数据耗费时间长、想借助第三方工具提效,但是需要付费并且公司审批流程慢。易观 Argo 就是为此而生,将投入过亿的用户行为分析产品免费开放出来,集“收数、理数、用数”于一体,采集全端用户行为数据,帮助业务人员自助实时查数与用数。在活动现场,来自唯修汇的技术总监夏彬现场分享了他们团队基于易观 Argo 数据分析平台的应用实践。

 

唯修汇技术总监夏彬 
 
夏彬主要从【数据驱动运营决策】以及【数据驱动产品智能】这两方面进行了介绍。夏彬认为,对于科技公司而言,数据的重要程度可想而知。尤其是对于唯修汇这样一个以自身能力赋能他人的平台而言,急需数据分析能力来为平台下的精准检索、智能调度、金融征信、预测分析等能力提供数据支撑,而易观 Argo 在数据体量还不大的当下,显然已经十分出色地完成了任务。在分享最后,夏彬还对易观Argo未来的发展提出了3点建议,增强小程序的可视化埋点、持续提升社区活跃度以及向社区用户开放用户画像和智能运营能力。

 

此外,易观数科客户成功经理李玲也就企业如何依靠易观Argo快速搭建自己的数据分析平台展开演讲,并现场分享具体的行业实践案例,帮助与会小伙伴建立起从宏观系统到具体场景对易观Argo能力的理解。数据驱动业务增长,结合企业具体的场景应用实践,Argo也通过自身的不断优化最终赋能更多企业及创业团队。
 
需求在变,场景在变,技术同样也需要顺应业务的发展而不断优化自身,这也是易观积极举办开发者日活动初心所在。通过不断与社区的开发者交流,持续深入到各种不同的应用场景之中,海豚调度与易观Argo正在向着最贴合开发者使用习惯、涵盖最全面应用场景的数据处理工具前进。
 
易观始终践行“让数据能力平民化”这一使命,通过开放自身在数据领域的能力与认知,将数据能力更深入推广到开发者群体,为行业打造数据根基,让数据价值被更广泛认知,与业内开发者共同构建以数据为驱动的数字业务新生态。

 

扫描下方二维码,观看直播视频回放


视频回放

点击文末阅读原文,观看直播视频回放
“在看”我吗?
good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter