1. 网易自研日志采集系统的架构发展过程,以及当前架构的优点,包括大规模agent管理,kafka写入策略优化,归档hdfs压缩优化等
2. 网易数据服务的系统架构与特色功能,涉及数据服务的易用性,高性能,扩展性,稳定性4方面
3. 日志采集、数据服务在云原生环境下的适配与发展
2018年加入网易,目前任职网易杭州研究院开发工程师,主要参与了网易数据中台的日志采集平台与数据服务平台的设计与开发工作。在分布式环境下的大规模数据集成领域积累了丰富的实战经验,对数据服务产品也有一些实践与稳定性建设经验。
随着海保人寿业务规模的发展,数据规模和业务逻辑复杂度越来越大,导致技术团队在对异常保险交易进行交易链路追踪、关联交易分析等的复杂度也越来越高。迫切需要从全局视角出发,对数据中心内所有设备和应用的日志进行统一管理和高效分析。
本次分享主要通过海保日志管理平台演变过程,讲诉日志集中管理和分析应用的经验。重点介绍海保如何基于开源日志分析工具ELK开发日志管理平台,并实现对保险交易事件和IT运维事件的高效追踪和有效管理,满足保险公司开发、运维和运营人员不同视角的数据分析需求。
张伟,专注运维领域十年,擅长IT运营与运维管理;具有丰富的运维保障、基础架构规划和运维平台建设经验。曾任天涯社区SRE和海航易建运维开发专家,主导开发的海航易建运维平台满足了上千台航空业务服务器的高效运维管理需要。现任海保人寿运维开发负责人,负责运维工具平台落地和推广,实现团队高效运维和智能运维。
作为云原生基础设施之一的云原生操作系统,向下封装资源,向上支撑应用,为整个数据中心提供分布式调度与协调功能,实现数据中心级弹性伸缩能力的软件堆栈。从异构计算资源到SDN网络到数据存储,从无状态应用到企业核心应用到数据智能应用,逐步构建起灵活、高效、智能、安全的企业IT基础设施,打造标准化、自动化、可移植、可控的应用交付管理体系。本次分享将介绍浙江移动数据中心操作系统建设之路,举例数据中心操作系统在运营商体系下落地和使用时遇到的问题,并进一步介绍新一代数据中心操作系统的探索和实践。
分享提纲:
a、介绍数据中心操作系统的建设背景、历程;
b、介绍运营商体系下数据中心操作系统在应用发布、资源调度、架构演进等方面遇到的挑战和解决方案;
c、介绍新一代数据中心操作系统的探索和实践。
陈健飞,2011年起一直从事服务器、虚拟化、容器化服务等相关工作,现为浙江移动容器云团队负责人;专注于容器云技术架构演进和业务上云方案架构设计,乐于挑战和解决疑难问题。
vivo自建的数据中心上部署了大量数据库服务,用于支撑手机领域相关的众多数据业务,例如浏览器,应用商店,短视频与官网商城等。DTS为这些数据库服务的日常数据备份和数据迁移,保驾护航,也为业务跨机房的数据同步提供有力帮助。DTS不仅仅可以提供稳定可靠的数据传输服务,还能够支持数据补齐能力以及数据的增量订阅,发挥数据的应有价值。
本次演讲首先介绍数据传输服务DTS的整体架构,以及核心模块的设计思路与实践,并在后分享产品的展望。
8年多互联网从业经历,曾在SAP China Labs从事HANA内存数据库研发,后加入蚂蚁金服OceanBase内核团队。2019年就职vivo,主要负责数据库中间件项目的研发。