近日,阿里云技术专家徐若晨在全球分布式云大会上,分享了《边缘容器云助力AI推理高效落地》的主题演讲,分享了阿里云边缘容器云如何助力开发者实现更快速的AI推理应用的迭代和部署。此外,他还分享了边缘AI推理应用在实际业务中的应用案例。![9a66946964f7ff2a57d3be7ca3dd76b1.webp](https://filescdn.proginn.com/b5fad77c1f7472f2bd5d57c3eb6058b9/9a66946964f7ff2a57d3be7ca3dd76b1.webp)
对比终端程序来看,边缘云实际是一个终端算力上移的过程。将更多的终端服务跑在边缘上,实现终端瘦身。在这个过程中,开发者可以获得更加标准化的运维方式,做到云边一致的体验,使得应用程序可以更高速的迭代,减少终端发版。边缘上丰富的生态及常用的中间件,可以使应用程序的实现更加灵活。
此外还可以提供专属的ARM阵列、 GPU硬件等异构资源,使得应用程序的性能可以进一步提升。例如当前所说的AI推理等应用,它就需要GPU硬件资源,跑在终端上的可能就比较小。
往上是异构资源纳管,简单来说就是要将各种资源接入k8s集群中去,无论是ARM阵列,带有GPU的服务器等,在K8s中都体现为一个Node。
由于前面提到的边缘资源的规模很大,在一个K8s集群中无法容纳,所以再往上是集群的管理和融合调度,它对上提供的是一个标准化的k8s界面。使用户可以通过一个K8s集群,将应用部署到所有的边缘节点中,而不需要考虑太多分布式的逻辑,是保持云边一致体验的重要组成部分。
再往上是边缘特性的增强,边缘就要有边缘的特点,突出边缘的优势。结合边缘云的特性,我们做了域名服务导出,边缘数据集分发,镜像加速,工作负载增强,以及超大规模的服务网格,让用户可以更方便的使用边缘的能力。
这些能力可以以K8s的形式使用,也可以通过我们应用管理功能来整合使用,用户可以自主选择。一般来说,如果用户有自建的发布管控系统,可能对接我们的k8s界面比较多。如果用户更多的注重于应用开发,暂无精力投入建设自己的发布管控系统,直接用我们的应用中心的能力也是可以的。
最上面是能力开放层,本质是期望用户、开发者,能基于下层提供的能力,通过适合自己的方法,把业务跑起来。助力AI推理应用的高效开发、部署,发挥边缘计算的价值,就会重点用到上面介绍的这几层能力。![dec3884ee8ce5c1528133bfe27a07f6f.webp](https://filescdn.proginn.com/fe8b96538dde14a6750706efd1dc20e9/dec3884ee8ce5c1528133bfe27a07f6f.webp)
![ea190852733ba0c739d81d1ed19d08bd.webp](https://filescdn.proginn.com/cbc391c298a8786e9c5cce290fcd756a/ea190852733ba0c739d81d1ed19d08bd.webp)
此外,我们还支持用户定义的资源使用策略,不管是关注时延,还是关注成本,都可以自己定义。通过全域算力覆盖的能力,我们希望能让开发者体验到云边体验的一致,可以更聚焦于自己的应用业务逻辑。![89f1f1a9219157ade3b7e484f63fe823.webp](https://filescdn.proginn.com/47527d6b927c7abb7c1872cdd505d331/89f1f1a9219157ade3b7e484f63fe823.webp)
其次依托边缘云在文件分发场景的长期积累和沉淀,我们构建了镜像快速分发到边缘的能力,以及镜像的主动预热能力,以支撑超大流量规模的并发,为扩容提速。
此外,我们的镜像仓库还支持与各类DevOps流水线集成,优化开发者使用体验。还是那句话,我们期望开发者把应用部署到边缘,去获取云边端架构带来的收益,同时减少因为应用部署位置差异带来的负担。![2f34b2ce70f15af1cba775e5883e8bcc.webp](https://filescdn.proginn.com/813e4b0c49e8bba96dd8487df7ec4eab/2f34b2ce70f15af1cba775e5883e8bcc.webp)
用户部署完应用之后,他需要创建一个4/7层负载均衡,以对外提供服务,然后要拿着这个负载均衡的公网地址,去自己的DNS服务上加一条配置。然后还需要描述下哪些区域的终端用户去访问哪些服务器地址。如果一个地区有多个节点或者服务,还得想办法描述这个IP的能力权重,比如有的ip后面服务能力强,有的IP后面服务能力不强。这些操作对 CDN的专家来说,那是轻车熟路。但是这对于一个AI推理应用的开发者来说,就稍微有点门槛,要关心的东西太多了。
而现在,直接使用我们现在的域名服务导出能力,只要把域名权威托管或者CNAME解析过来,我们就可以联动部署去给你自动做就近解析。因为你是通过边缘容器云部署的,IP有哪些,我们可以直接给你添加到边缘云的解析服务中;ip的运营商属性是什么,我们可以直接给你添加到边缘云的解析服务中;IP的能力是多少,能跑多少QPS,我们可以基于后面的副本数转换,权重信息可以给到边缘云的解析服务中;服务的能力跑高了,负载均衡的监控数据我们也对接到边缘云的解析服务中,他可以自动做切量和水位控制。
不需要关注过多细节,只需要很简单的几步,你就可以具备一个全网覆盖的,可以就近访问的AI推理应用。开发者关心的东西少了,创新的热情才会进一步进发,促进AI生态的繁荣。![60a0c2335298cc30617d01feae048780.webp](https://filescdn.proginn.com/f66f70e674c55ebe5a6edc5aed1037b1/60a0c2335298cc30617d01feae048780.webp)
对接开源的标准,我们支持Prometheus格式的metrics采集,并且支持自定义给你投递到对应的服务器上。比如你可以阿里云控制台开一个Prometheus实例,然后把地址配置到我们这,我们就可以给你把数据投递过去,当然开发者自建的Prometheus服务地址也是可以的,这个没有限制。然后可以在我们这定义一些弹性伸缩的规则,比如最少多少个副本,最多多少个副本,什么指标到达什么水位的时候扩容,什么指标低至什么水位的时候缩容,可以是你自定义的指标采集,也可以是我们内置的基础指标例如CPU、内存、GPU利用率等。![3997f5fbf2676a593e8bb6b381354297.webp](https://filescdn.proginn.com/a1defab266abf134c90bc7a674500554/3997f5fbf2676a593e8bb6b381354297.webp)
让我们来看一个实际运行在我们边缘容器云平台上的业务案例。这是一个手机应用内机器人,它允许用户通过多轮的对话交互来在边缘执行推理任务,最终生成操作意图。这个意图随后被上传到中心服务器,以执行全局业务查询逻辑,紧接着操作将被下发至用户终端执行具体任务,如帮助用户完成特定动作,并将结果展现给用户。在这个业务案例的实施过程中,我们关键地利用了先前提及的域名服务导出的就近服务功能、边缘数据集分发、以及边缘镜像加速等核心能力。![1ad83b494e655912f4a9a9d992ba2704.webp](https://filescdn.proginn.com/0e742f63321940c787ebdf8b4a0f3aad/1ad83b494e655912f4a9a9d992ba2704.webp)
终端算力上移 云端算力下沉
![9a66946964f7ff2a57d3be7ca3dd76b1.webp](https://filescdn.proginn.com/b5fad77c1f7472f2bd5d57c3eb6058b9/9a66946964f7ff2a57d3be7ca3dd76b1.webp)
云—边—端模式的优势
对比终端程序来看,边缘云实际是一个终端算力上移的过程。将更多的终端服务跑在边缘上,实现终端瘦身。在这个过程中,开发者可以获得更加标准化的运维方式,做到云边一致的体验,使得应用程序可以更高速的迭代,减少终端发版。边缘上丰富的生态及常用的中间件,可以使应用程序的实现更加灵活。
此外还可以提供专属的ARM阵列、 GPU硬件等异构资源,使得应用程序的性能可以进一步提升。例如当前所说的AI推理等应用,它就需要GPU硬件资源,跑在终端上的可能就比较小。
边缘容器云技术架构帮助AI推理应用高效开发和部署
往上是异构资源纳管,简单来说就是要将各种资源接入k8s集群中去,无论是ARM阵列,带有GPU的服务器等,在K8s中都体现为一个Node。
由于前面提到的边缘资源的规模很大,在一个K8s集群中无法容纳,所以再往上是集群的管理和融合调度,它对上提供的是一个标准化的k8s界面。使用户可以通过一个K8s集群,将应用部署到所有的边缘节点中,而不需要考虑太多分布式的逻辑,是保持云边一致体验的重要组成部分。
再往上是边缘特性的增强,边缘就要有边缘的特点,突出边缘的优势。结合边缘云的特性,我们做了域名服务导出,边缘数据集分发,镜像加速,工作负载增强,以及超大规模的服务网格,让用户可以更方便的使用边缘的能力。
这些能力可以以K8s的形式使用,也可以通过我们应用管理功能来整合使用,用户可以自主选择。一般来说,如果用户有自建的发布管控系统,可能对接我们的k8s界面比较多。如果用户更多的注重于应用开发,暂无精力投入建设自己的发布管控系统,直接用我们的应用中心的能力也是可以的。
最上面是能力开放层,本质是期望用户、开发者,能基于下层提供的能力,通过适合自己的方法,把业务跑起来。助力AI推理应用的高效开发、部署,发挥边缘计算的价值,就会重点用到上面介绍的这几层能力。
![dec3884ee8ce5c1528133bfe27a07f6f.webp](https://filescdn.proginn.com/fe8b96538dde14a6750706efd1dc20e9/dec3884ee8ce5c1528133bfe27a07f6f.webp)
边缘数据集让应用开发者高效使用模型和数据
![ea190852733ba0c739d81d1ed19d08bd.webp](https://filescdn.proginn.com/cbc391c298a8786e9c5cce290fcd756a/ea190852733ba0c739d81d1ed19d08bd.webp)
开发者只需关注一个租户集群即可实现全域算力管理
此外,我们还支持用户定义的资源使用策略,不管是关注时延,还是关注成本,都可以自己定义。通过全域算力覆盖的能力,我们希望能让开发者体验到云边体验的一致,可以更聚焦于自己的应用业务逻辑。
![89f1f1a9219157ade3b7e484f63fe823.webp](https://filescdn.proginn.com/47527d6b927c7abb7c1872cdd505d331/89f1f1a9219157ade3b7e484f63fe823.webp)
边缘镜像服务提高开发者部署应用的效率
其次依托边缘云在文件分发场景的长期积累和沉淀,我们构建了镜像快速分发到边缘的能力,以及镜像的主动预热能力,以支撑超大流量规模的并发,为扩容提速。
此外,我们的镜像仓库还支持与各类DevOps流水线集成,优化开发者使用体验。还是那句话,我们期望开发者把应用部署到边缘,去获取云边端架构带来的收益,同时减少因为应用部署位置差异带来的负担。
![2f34b2ce70f15af1cba775e5883e8bcc.webp](https://filescdn.proginn.com/813e4b0c49e8bba96dd8487df7ec4eab/2f34b2ce70f15af1cba775e5883e8bcc.webp)
域名导出服务方便开发者进行简单部署提高应用访问体验
用户部署完应用之后,他需要创建一个4/7层负载均衡,以对外提供服务,然后要拿着这个负载均衡的公网地址,去自己的DNS服务上加一条配置。然后还需要描述下哪些区域的终端用户去访问哪些服务器地址。如果一个地区有多个节点或者服务,还得想办法描述这个IP的能力权重,比如有的ip后面服务能力强,有的IP后面服务能力不强。这些操作对 CDN的专家来说,那是轻车熟路。但是这对于一个AI推理应用的开发者来说,就稍微有点门槛,要关心的东西太多了。
而现在,直接使用我们现在的域名服务导出能力,只要把域名权威托管或者CNAME解析过来,我们就可以联动部署去给你自动做就近解析。因为你是通过边缘容器云部署的,IP有哪些,我们可以直接给你添加到边缘云的解析服务中;ip的运营商属性是什么,我们可以直接给你添加到边缘云的解析服务中;IP的能力是多少,能跑多少QPS,我们可以基于后面的副本数转换,权重信息可以给到边缘云的解析服务中;服务的能力跑高了,负载均衡的监控数据我们也对接到边缘云的解析服务中,他可以自动做切量和水位控制。
不需要关注过多细节,只需要很简单的几步,你就可以具备一个全网覆盖的,可以就近访问的AI推理应用。开发者关心的东西少了,创新的热情才会进一步进发,促进AI生态的繁荣。
![60a0c2335298cc30617d01feae048780.webp](https://filescdn.proginn.com/f66f70e674c55ebe5a6edc5aed1037b1/60a0c2335298cc30617d01feae048780.webp)
业务数据可观测,自定义弹性扩缩容
对接开源的标准,我们支持Prometheus格式的metrics采集,并且支持自定义给你投递到对应的服务器上。比如你可以阿里云控制台开一个Prometheus实例,然后把地址配置到我们这,我们就可以给你把数据投递过去,当然开发者自建的Prometheus服务地址也是可以的,这个没有限制。然后可以在我们这定义一些弹性伸缩的规则,比如最少多少个副本,最多多少个副本,什么指标到达什么水位的时候扩容,什么指标低至什么水位的时候缩容,可以是你自定义的指标采集,也可以是我们内置的基础指标例如CPU、内存、GPU利用率等。
![3997f5fbf2676a593e8bb6b381354297.webp](https://filescdn.proginn.com/a1defab266abf134c90bc7a674500554/3997f5fbf2676a593e8bb6b381354297.webp)
边缘容器云助力边缘AI推理的业务实践
让我们来看一个实际运行在我们边缘容器云平台上的业务案例。这是一个手机应用内机器人,它允许用户通过多轮的对话交互来在边缘执行推理任务,最终生成操作意图。这个意图随后被上传到中心服务器,以执行全局业务查询逻辑,紧接着操作将被下发至用户终端执行具体任务,如帮助用户完成特定动作,并将结果展现给用户。在这个业务案例的实施过程中,我们关键地利用了先前提及的域名服务导出的就近服务功能、边缘数据集分发、以及边缘镜像加速等核心能力。
![1ad83b494e655912f4a9a9d992ba2704.webp](https://filescdn.proginn.com/0e742f63321940c787ebdf8b4a0f3aad/1ad83b494e655912f4a9a9d992ba2704.webp)
![7eff715d8897c028329442384bdb0d7c.webp](https://filescdn.proginn.com/ef47eb0ab658b39e98d14704ac76555e/7eff715d8897c028329442384bdb0d7c.webp)
![25dd1d1767bf6e6dbf1c4f6cb60244e4.webp](https://filescdn.proginn.com/3c5ae1a611b8c727f7300dc1eb69405b/25dd1d1767bf6e6dbf1c4f6cb60244e4.webp)
![ac09e20d0fc36f96d346152917150afd.webp](https://filescdn.proginn.com/45b484846b919076e9403226536e529e/ac09e20d0fc36f96d346152917150afd.webp)