随着集群规模的逐渐扩大,集群间的CPU等资源利用率并不均衡,存在的矛盾是业务资源预算越来越多,但集群的整体利用率却在持续降低。本次分享主要介绍平台基于Kubernetes利用集群利用率的不均衡性,开发了基于负载的在离线服务弹性管理,以及利用Istio Service Mesh中Envoy代理SideCar支持Sogou RPC/HTTP/GRPC等协议,极大的便利业务的接入。同时Yarn集群任务根据不同的优先级以及任务画像动态弹性伸缩到Yarn On Kubernetes系统,提供离线批处理计算能力,缓解计算hadoop集群的压力,同时均衡集群负载解决业务方资源预算不足的问题。
申贤强,任职于搜狗大数据平台部,主要负责建设公司级大数据分析可视化中台,具体包括Hadoop、HBase、K8S等基础平台的开发和建设,主要提供一站式数据分析查询服务,让海量数据的价值得到体现,提供高性能和稳定的计算存储平台。
自2014年起,Kubernetes(缩写为K8s)项目已经经历了近7年的快速发展,从2014年6月的0.1版本,到2015年7月的1.0,再到现在将近20个大版本的演进,所有核心功能特性已经趋于稳定,越来越多的业界往容器化方向转型。中通快递在2019起由原来以虚机为主的场景逐步切换成以容器为主的场景,从而实现运维自动化,快速部署应用、弹性伸缩和动态调整应用环境资源,提高研发运营效率。在架构升级改造的过程中,收获不少经验,也踩了了不少坑。尽信书不如无书,本次讲解将分享许多教程之外,中通容器化团队的实战经验和架构决策思路:k8s集群规划,组件选择,集群间数据复制等。
杨小飞2019年加入中通,现任中通云架构师,负责中通云服务平台IAAS与容器以及边缘计算相关的产品设计与规划,在云计算,AI,边缘计算等领域均有丰富积累,曾在华云,新致云等公司任职架构师。积累了大量IaaS和PaaS层的实战经验。
基于容器隔离和Kubernetes编排和调度技术,通过一组预先定义好的资源及架构清单来一键部署整个架构及服务,实现对整个系统及微服务架构的编排和运行时的调度,实现对整个服务生命周期的管理,并且可以在运行时对整个架构中的各个服务进行调度。架构定义包括服务的实例数量、需要的资源、亲和和反亲和、服务之间依赖、服务启动拓扑顺序、部署方式(Docker)到服务证明周期管理,并通过自动化运维维护好服务的这些状态。并方便的利用服务特定进行弹性伸缩,自动化故障迁移和恢复。
分享提纲:
介绍背景,介绍公司及公司业务形态并引出技术驱动实现。
设计思想及解决核心问题,解析CityOS-stack系统核心思路及方案。
基于容器构建一栈式微服务系统CityOS-stack架构设计及组件。
解析并介绍CityOS-stack核心功能包括服务管理、依赖管理、拓扑管理、健康检查等功能
分享要点:
首先,通过介绍公司和公司业务形态,通过背景介绍,来出现在项目侧落地时的痛点和难点。其实,通过容器化技术如何打造标准化产品交付及技术实现;引出CityOS-stack架构和功能组件,并分解具体的功能组件及实现原理,包括元数据定义、解析,服务生命周期管理,资源调度管理。再次,CityOS-stack对于主要的功能点介绍有状态服务、服务启动顺序、自动扩缩容、服务整合方案、健康检查、服务依赖性及等技术实现。
李大帅, 曾就职于百度、百度外卖、饿了么,而后以合伙人的身份 ,历任工程师、架构师、合伙人。毕业于北京邮电大学通信工程专业。2011年入职百度, 负责百度DNS和CDN相关架构设计和调优工作;后来转到LBS研发部负责百度地图稳定性和可靠性工作。 2016年转到百度外卖基础架构部做架构工程,负责百度外卖统一接入层(WFE)项目架构和模块设计工作;主导了高性能框架设计和研发。2017年10月,启动百度外卖私有云项目,基于Kubernetes,Docker 生态构建私有云服务,一期完成从物理机、混合云无缝接入并交付到线上生产业务集群;旨在支持在线业务快速发展,支持业务微服务化,支持业务实例按需扩展。2018年以合伙人的身份创业,负责国内某股份制银行的微服务架构升级、服务治理和分布式系统的研发和架构设计。2020年12月以加入京东数字城市,任架构师,负责交付标准化及容器化建设。