绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2020SACC专场二十一:中台设计与最佳实践(PPT下载)
2020-10-27 14:03:36
企业数据中台建设经验分享
演讲简介:

分享提纲:
1. 中台概念的引出,中台的概念及缘起,中台的定义;
2. 中台的延伸及引出背景等;中台发展所需的“生态”环境;
3. 具体中台技术架构等;
4. 面对中台的“冷思考”等内容。
分享要点:
大数据系统建设之后,面临着如何运营数据资产的问题。数据中台体现了数据运营的理念,期望发挥数据在支撑业务、强化管理、直接变现等各个方面的运营支撑需求。企业在建设数据中台的过程中,首先要明确哪些建设内容范畴,期望达到的阶段目标,同时建立数据运营的理念和管理架构。
数据中台会是大数据下阶段发展的重点和热点,不仅是要关注技术实现的方式,更要关注在实际落地中,如何结合业务场景,让不同使用者感受到数据的魅力和甜头。
数据中台更应该站在应用者的角度进行设计,给出应用者所需的数据内容和分析工具,让其能够自主分析,享受数据中台应用的价值。

段云峰 中国移动 大数据系统总设计师、奠基人
嘉宾介绍:

北京邮电大学兼职教授,中国企业数字化联盟特聘专家、贵州省大数据技术专家、海南省大数据产业联盟专家、教育部评审专家等;北京大学信息处理专业博士后;十八年专注于数据仓库、大数据、云计算、人工智能等研究与推广;段博士承担了国际最大电信运营商的数据仓库和大数据中心的设计和建设、运营工作,积累了19年的大数据、人工智能(含机器学习)领域的实际工作经验。带领相关的团队,从系统创建到系统运营,开发了很多大数据领域的各种应用。积累了国内唯一的大数据系统在大型企业建设、运营的经验。其前后主持设计的技术文档,有150余册、1200多万字。涉及大数据系统的数据模型、数据接口、系统架构、质量管控、业务应用、系统安全等各个领域;受邀为多场大型专业论坛会议进行主题发言,多次获得好评,行业经验丰富;2018年6月在美国硅谷 datawork summit 2018(世界顶级的大数据峰会)上两次发言(国内仅四家中国企业参会),取得良好效果。


数据驱动的全链路数据治理在网易严选的实践
演讲简介:

Data Governance, 数据治理在性感的数据技术体系里,是最不性感的一块拼图。治理(Governance)是一个很官僚化的术语,流程,评审,审计,规范这些令人昏昏欲睡的东西构成了数据治理的手段和工具。
我们将数据治理的首要目标定为提升数据体系的整体运转效率,因此,在网易严选,严选数据治理是一个系统化的工程。而数据驱动+AI是解决系统化问题很好的一套方法体系。我们围绕着这个目标和方法论,建设严选统一元数据,全链路数据血缘以及数据仿真工具,在此基础上优化数据任务调度/计算引擎,加快数据生产的效率;提前发现数据质量和可靠性问题;自动对数据生产链路任务进行分级和降级。我们希望通过SACC这个平台把我们的工作分享给大家,抛砖引玉,共同成长。

左琴 网易严选 数据及算法工程团队负责人
嘉宾介绍:

网易严选数据及算法工程团队负责人;在2017年加入网易严选技术团队,负责网易严选数据平台,数据科学平台,机器学习平台,搜索/推荐/广告工程等工作;在大数据的存储,计算引擎等方向有比较丰富的经验。


有赞数据中台演进及成本治理实践
演讲简介:

有赞的业务高速增长,数据中台的计算资源消耗也水涨船高。半年翻一番,涨幅甚至超过业务,这不是一个可持续发展的状态。我们从减少浪费、技术优化、成本运营等角度出发,进行综合治理。希望能够提升成本意识,提高成本“能效”。
分享大纲:
1、机器资源利用率
• 集群水位和机器利用率标准
• 低利用率缩容/降配
• 任务延迟启动,削峰填谷
• 机型优化(计算型、存储型)
2、容器化改造
• 利用k8s实现弹性扩缩容
• 离线在线错峰混部
• 资源按需购买
• 存储计算分离
3、数据存储优化
• 冷备数据使用腾讯云cos服务
• hive分区表生命周期管理
• 优化存储压缩倍率
4、数据/任务优化
• 无用数据(链路)探查下线
• 任务优化(倾斜、表关联等)
• 减少调度频次
• 使用hive cube
• 减少重复计算
5、成本运营机制
• 数据成本量化
• 多维度账单
• 推进/奖惩机制
• 降本功能支持/反馈

姜博 杭州有赞科技 数据中台负责人
嘉宾介绍:

有赞数据中台负责人,主导有赞数据中台建设,打造商家服务的数据基础设施,探索数据驱动业务增长的最佳实践。 前阿里集团高级技术专家,历经阿里大数据平台、集团风控中台的建设, 并参与创立一家大数据安全子公司。


58同城 AI 算法平台的演进与实践
演讲简介:

58同城AI算法平台支撑了58集团搜索、推荐、NLP、语音、图像等各类AI应用,我们自2017年开始构建AI算法平台,初期支持了基于YARN的LR、FM、GBDT等大规模机器学习算法,之后基于Kubernetes和Docker构建了支持TensorFlow、Pytorch、Caffe、PaddlePaddle等框架的深度学习平台。
本次分享将从大规模分布式机器学习模型训练及推理实现、深度学习平台整体架构、GPU/CPU上推理性能优化、利用vGPU及模型混部优化GPU资源调度等方面剖析我们在不同阶段的关键技术点。

陈兴振 58同城 架构师/AI平台部负责人
嘉宾介绍:

58同城AI Lab后端架构师,AI平台部负责人,2016年加入58,目前主要负责AI算法平台及周围子系统的建设工作,在58先后负责过推荐系统、智能外呼系统后端架构设计和研发。曾就职于东软、中科院计算所、腾讯地图,负责后端系统研发、大数据平台建设等工作。


  • 陈兴振_58同城AI算法平台的演进与实践.pdf

    2750KB
  • 打印版2-2020架构师大会-数据中台-段云峰.pdf

    4295KB
  • 左琴_数据驱动的全链路数据治理在网易严选的实践.pdf

    10438KB
  • 姜博_有赞数据中台演进及成本治理实践.pdf

    13712KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

SACC中国系统架构师大会
创建时间:2019-06-18 13:57:01
中国系统架构师大会每年都将邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • SACC官方账户
    栈主

小栈成员

查看更多
  • 小雨滴
  • 栈栈
  • 老七
  • 韩涵
戳我,来吐槽~