首页 文章详情

开源+搜索,Elastic与亚马逊之争能否打破行业潜规则?

中智观察 | 186 2021-09-10 20:14 0 0 0
UniSMS (合一短信)


无心插柳柳成荫。Elasticsearch创始人Shay Banon跟随自己的新婚妻子来到伦敦时,他还是一个待业的工程师。

妻子想通过学习成为一名厨师,而他则想为妻子开发一个方便搜索菜谱的应用。经过一系列机缘巧合的经历后,Shay Banon成功地打造了一个易用的、高性能、实时、分布式搜索引擎——Elasticsearch。

Shay Banon没有想到,通过开源,Elasticsearch背后的公司Elastic不仅在纽交所成功上市,在9月2日记者写稿时,公司市值达到150亿美元。

但是更令他没有想到的时,因为开源,让全球最大的云服务商亚马逊云科技利用Elasticsearch赚得盆满钵满。虽然两家公司的体量相差悬殊,但是在开源产品利用上的缠斗延绵不绝,或许能终结在开源软件上的行业潜规则。

1.

大数据搜索市场起来了

解决用户的刚需,让大数据应用落地,大数据搜索市场起来了。

当用户需要打车、送餐或者送货到家服务、上网购物时,数据搜索能够匹配乘客与司机、送货的骑手与顾客,为在线购物者提供相关的结果和建议。

另一方面,在传统的IT、运营和安全部门中,使用Elastic来聚合定价、报价和商业数据,每天处理数十亿日志事件,以监控网站性能和网络中断,并为数千个设备和关键数据提供网络安全操作。

这些搜索和分析都是实时完成的。目前搜索和实时分析已经成为大数据平台和应用基本配置。

ElasticSearch就是实现这些需求的开源工具,是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。

而Elastic被业界称为大数据领域的一头"怪兽",能够满足用户大数据搜索与实时处理需求,应用迅速扩展,成为解决大数据应用刚需的一个核心技术。

可以说,Elastic在2018年的成功上市,为开源和大数据市场注入了兴奋剂,不但解决用户在大数据应用的刚需,让大数据应用落地,而且解决了开源软件的生存问题。

在中国,Elastic的应用场景已经扩展到众多领域,包括业务分析、企业内网搜索、APP搜索、安全分析、网站搜索、APM等。

如在APM领域,很多合作企业都采用Elastic技术,对云计算性能进行监控。

安全分析领域,传统的技术无法完成大数据实时处理,利用Elastic的技术则可以实时找到安全漏洞,进行事件分析,提前发出安全预警。国内外的一些安全SIEM软件厂商都采用了内嵌了Elastic的技术进行安全分析。

在企业数据搜索与实时处理领域,Elastic主导的开源搜索引擎绝对是行业的领导者。

Elastic长期占据市场研究公司相关领域市场头把交椅。在Forrester 2021年的最新报告中,Elastic被评为领导者。

Forrester对Elastic的评价是提供一整套工具,让用户可以更快、更轻松地使用 Elasticsearch 打造卓越的搜索体验。

在DB-Engines根据其受欢迎程度对数据库管理系统进行的排名中,Elastic长期占据搜索引擎领域排名第一。

目前国内外大厂几乎无一不用Elasticsearch,包括阿里、腾讯、京东、美团等,以及AWS、微软等。

在商用化产品上,Elastic Stack作为目前世界上最流行的数据搜索与实时分析引擎套件,被很多全球很多著名公司如Facebook、eBay、IBM、Microsoft、Uber、Cisco等,以及联想、华为、百度、携程、滴滴、京东等采用。

各行各业从一线互联网公司,到传统的行业,都能找到使用Elasticsearch的身影。Elastic的开源技术正越来越受到众多开发者的青睐,已然成为大数据领域分析工具的上佳选择。

2.

搜索市场,Elastic商业化开创新天地

在技术上,Elasticsearch受追捧和热爱源于创新和非凡的用户体验。

数字经济时代,企业拥有了更多的数据,并且每天都在新增数据,包括结构化的和非结构化的数据,以及来自许多不同数据源的数据,如数据库、网站、应用程序以及移动和连接设备等。

Elasticsearch希望搜索能为用户提供一种与其数据进行交互的新特征:

最显著的特征一是速度快,实时获得结果的能力;

二是规模大,以毫秒级的性能,查询千兆字节数据的能力。Elasticsearch 是一个实时分布式搜索和分析引擎,可以应用在任何实时检索的场景中。

三是相关性,获得准确和可操作的信息、见解和解决问题的能力。

Elasticsearch 是一个实时分布式搜索和分析引擎,可以应用在任何实时检索的场景中。

开源成就了Elastic。

2010年在荷兰诞生在美国成长的Elastic,一手抓住搜索,一手专注开源,利用创新的搜索引擎技术和开源的软件,被全球数以百万计的开发人员和成千上万的客户所信赖,成为大数据搜索和数据实时处理领域的头部企业。

基于开源技术,Elastic迅速拉进了与用户的距离,由用户验证产品,由用户反馈最新需求。

目前,有超过10万开发者的社区、超过3.5亿的产品下载和7000多家客户,为Elastic贡献了代码和大量的应用场景。

同时,基于开源的特性,Elastic形成一种自下而上的销售策略,潜在客户即为经常使用Elastic的技术人员,通过一系列销售和营销手段逐步渗透,为核心客户群提供更有效的企业级服务支撑,稳固其商业模式。

Elastic商业化道路顺风顺水。

在开源之外,Elastic依靠商业产品与服务发展壮大。

其主营业务收入包括总订阅收入(许可证收入License+订阅收入Subscription)与服务支持收入(Professional Service)两大板块构成;专业服务收入主要来自于咨询服务增加,导致产品被越来越多的采用。

另外收入来源还包括商业插件提供,以及培训业务的发展,包括在线培训和企业上门培训等。

Elastic建立了一个独一无二的商业模式:其一是利用开源实现分布架构和销售;其二开发商业版本和功能, 服务用户的同时赚钱;其三,Elastic不像其他开源软件由开源基金会掌控,而是由Elastic控制,所以产品能够快速迭代。

3.

与亚马逊的争斗延绵不断

在2018年上市后,作为一家上市公司,Elastic商业成绩被市场放大观察。

Elastic因为开源迎来的增长受到一些加入到开源社区云服务商的发行版的挑战。最著名的莫过于亚马逊云服务。

AWS 早在2019年 3 月就宣布推出 Elasticsearch 公开发行版。然而,该版本并没有得到所有社区成员的支持。虽然AWS表示,发布公开发行版是为了确保 Elasticsearch 保持完全开源,但技术社区的其他成员表示,这是亚马逊进一步巩固其强大的客户基础的又一举措。

为了应对亚马逊云计算的挑战,Elastic迫不得已在2021年1月15日出手,修改许可协议。

当天Elastic公司CEO Shay Banon突然发文宣布,Elasticsearch和Kibana的其中一项开源许可协议将发生变更。

具体而言,Elasticsearch和Kibana在许可证方面进行了重大的更改,由开源Apache 2.0许可证,改为采用SSPL(服务器端公共许可证)。

行业分析认为,此次许可协议变更对大部分免费使用默认发行版的社区用户没有影响,主要限制的是云服务提供商。

近年来,云服务提供商一直在使用开源产品,修改其代码,开发托管(收费)服务解决方案版本。然而,修改后的代码将无法作为开源代码加以访问。

同时云服务商的商业行为也妨碍了开源软件公司商业化。在开源许可下,如何实现盈利,实现更健康的发展,则成为开源软件公司面临的最大挑战。

当然这并不是Elastic第一次更改开源许可协议。专家介绍,Elastic曾在2018年就更改过一次开源许可协议。

同样,在开源领域,数据库软件MongDB、Redis Lab、图数据库Neo4j等在2018年就修改过相关的开源许可协议,以改变其在数据库商业化方面面临的“吸血”困境。

但是Elastic公司的决定却令业界惊愕,首先感觉受伤的是大量的开源用户,尤其会对公有云上的用户造成冲击。

如何规避影响,保证应用稳定持续运营也是大量的中国用户面临的一个主要问题。另外,在开源软件得到大量应用的情况中,用户不得不面对开源软件协议修改带来的巨大风险。

迫不得已,AWS发展Elastic开源分支。

作为应对举措,亚马逊AWS官方宣布推出 OpenSearch 项目!

OpenSearch项目由OpenSearch和OpenSearch Dashboards组成,这两项对应是Elasticsearch和 Kibana( 7.10.2 版本)。

项目均采用Apache License 2.0开源许可协议,功能完成度也不少,包括像企业安全、告警、机器学习、SQL、索引状态管理等。

而针对Elasticsearch之前的改变以及自己的真开源讲法,AWS表示OpenSearch虽然基于Elasticsearch,但是删除了其中和Elastic有关的商业许可证限制、代码、商标等,在采用了Apache License 2.0 之后,OpenSearch可以让每个用户都毫无负担的构建和创新,而不用再担心一些贡献之外的问题。

AWS 声称自己创建的分支是“真正”开源的 Elasticsearch。

Elastic再出手,切断AWS分支的联系。

就在2021年8月底,Elastic与AWS的战争升级,用户无法链接到Elastic开源客户端口。

根据相关报道,Elastic开发者上个月向 elasticsearch-py 提交了一个 PR(已被合并),旨在修改 Elasticsearch Python客户端连接到Elasticsearch的验证逻辑。修改后的客户端将无法连接到由AWS维护的Elasticsearch分支OpenSearch,以及一些版本较低的Elasticsearch开源发行版,或是托管到 AWS Elasticsearch Service的Elasticsearch。

Elastic 维护的开源客户端库为多种编程语言提供了方便的高级接口。虽然 Elasticsearch的客户端仍然开源,不过只允许连接到Elastic 的商业产品。

AWS 认为,Elastic这种行为具有破坏性,并给开发者带去了阻碍。因此决定从 Elasticsearch的所有客户端fork出新分支,并保证这些分支可以轻松连接到任何OpenSearch或Elasticsearch集群。

AWS 表示,开发者只需对其应用程序的代码进行细小的改动,即可像以前一样正常连接到Elasticsearch以及相关的衍生版本,并建议开发者不要将任何由 Elastic维护的客户端升级到最新版本,因为这可能会导致应用程序中断。

AWS 和 Elastic 的争斗“赤裸裸”,企业大数据搜索酝酿变革。

自Elasticsearch 变更开源协议以来,AWS 和 Elastic 这两家公司就开始逐渐“脱钩”。AWS 先是创建了一个自称真正开源的 Elasticsearch 分支,并获得了不少厂商的支持。现在,Elastic 修改 Elasticsearch 的客户端,以阻止连接到 AWS 的 OpenSearch。双方彼此都不想产生任何关联。

有人认为 AWS 的行为是在赤裸裸地“抢劫”开源项目,也有人认为 Elastic 从最初的变更开源协议,到现在限制用户正常使用客户端,不仅违背了开源精神,更是有拿用户当做筹码的意味。

4.

未来,大数据搜索三大力量并行其道

在大数据市场开拓上,三大力量较量正酣。

一是以Elastic引领的开源系统和其商业服务。

Elastic横跨开源和闭源两种模式。其中,核心产品是开源的,用户可以自由下载或者使用。

对用户而言,开源的Elasticsearch的目标是让全文搜索变得简单,开发者可以通过它简单明了的RESTFul API轻松地实现搜索功能,能够轻松地进行大规模的横向扩展,以支撑PB级的结构化和非结构化海量数据的处理。

而闭源的是商业化的产品,包括核心商业插件、高附加值产品等。作为一家搜索公司,Elastic提供开源的Elastic Stack,包括Elasticsearch、Kibana、Beats、Logstash(ELKB),同时提供商业功能包含商业插件和原厂Support的商业订阅,以及SaaS产品Elastic Cloud,包括托管Elasticsearch服务、托管应用程序搜索服务、托管网站搜索服务。但是代码是开放的,方便用户基于代码快速调优和查找问题。

Elastic另一个独特的地方是满足了市场上大数据业务刚需场景,即时消费,即时应用时最大的需求是对大数据进行快速搜索,实时地进行处理,对数据异常进行监控、预警、提醒,对数据的关联性进行分析。

二是云服务商让搜索应用不断扩大。

Elastic与众多云服务商建立合作关系。如与谷歌和阿里巴巴建立了合作伙伴关系,在云上启用了Elasticsearch服务,以及与微软和IBM的关系,这些关系带来了“模板”以简化Elasticsearch的部署。

已其托管服务并与Elastic竞争的AWS,宣布现有的Amazon Elasticsearch Service,将会变更名号,成为一个崭新的Amazon OpenSearch Service!

更名之后的Amazon OpenSearch Service,想必是为了摆脱和Elasticsearch的关联,在不影响正在运营业务的前提下,还会提供一系列可供部署和运行的开源引擎,以及新版本的OpenSearch。

AWS还宣布未来的Amazon OpenSearch Service API将与现有服务API完美兼容,还会为用户提供将现有Elasticsearch 6.x和7.x托管集群迁移至OpenSearch 的无缝升级路径。

三是自主开发的产品。现在这类产品呈现星火燎原之势。

星环科技已经推出了完全可以替换Elasticsearch的大数据综合搜索引擎——Transwarp  Scope,不但可以完成用户对全文搜索、关系的精确查询及分析需求,而且还在半结构化数据检索、时空数据检索、语义检索、模糊检索等方面更胜一筹。

腾讯 AI Lab重新构建了大规模、轻量级、松耦合、可裁剪、低运营成本具有完整解决方案的新一代搜索系统TurboSearch,拥有完整的分布式、海量搜索系统及运营解决方案,支持便捷私有化部署,高性能索引及并行检索等。

与业界部分开源引擎框架ElasticSearch、Solr等不同的是,TurboSearch更倾向于面向在线高并发、大规模、低时延的检索需求,同时能够平行扩展到多模态场景,并提供完整的搜索运营能力。

螳螂捕蝉,黄雀在后。中国软件网相信,大数据搜索与实时分析引擎应用会不断增加,通过充分竞争,产品与服务会给更加多样化,给用户更多的选择。


CDEC2021深圳站 扫码参会

9月9日不见不散 

加入社群请添加微信:kaizhuo007


CDEC2021南京站 扫码参会

9月16日不见不散

good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter