万亿级消息背后:小米在消息队列的实践
演讲简介:
Talos 是小米基于 HDFS 自研的分布式消息队列,一方面作为消息队列支持大数据、有品、推送、信息流等在线业务,另一方面也作为小米内部数据集成平台的总线,支撑数据检索,OLAP 分析,模型训练等离线业务。随着业务的发展,数据量也爆发,突破 2 万亿条/天,Talos 也迎来更多的挑战。本次演讲主要介绍 Talos 在小米的实践,包括架构演进、问题挑战以及在性能、稳定性、资源等方面的优化工作。
勇幸 小米 研发工程师
嘉宾介绍:
13年毕业加入小米云平台;曾负责小米集群管理系统 Minos 的研发(已开源),后核心参与并见证了小米数据流平台从 0 到 1 的建设,及后续的持续优化;目前主要负责分布式消息队列,数据检索系统的研发与支持工作,旨在为公司提供高效、可靠、易用的数据分发、检索服务。
自然语言处理技术在文娱大脑中的应用
演讲简介:
近年来,随着文娱产业的不断发展,剧本、弹幕、影评等内容相关的数据得以沉淀下来,自然语言处理技术在文娱产业得到了广泛的应用。阿里大文娱北斗星平台是一个行业领先的泛内容大数据智能分析平台,基于多种形式的内容相关海量数据和AI技术,为投资采购、内容制作、市场营销、运营发行等环节的决策赋能。本次演讲将以面向内容的用户舆情分析、内容创作理解、智能选角等典型场景为切入点,介绍自然语言处理在阿里大文娱北斗星平台中的应用情况。
海致智能数据平台BDP技术演进之路
演讲简介:
-介绍海致BDP从SaaS服务演变为公安金融私有化云服务的发展史
-BDP的核心组成部分(spark引擎、数据接入、可视化建模、OLAP分析、机器学习、数据大屏等)
-BDP的技术挑战与建设难点(灵活CUBE查询、DB数据源兼容、实时数据分析、spark扩展等)
-BDP的私有化部署及智能监控
朱金清 海致 CTO/大数据分析与应用国家工程实验室技术委员
嘉宾介绍:
以CTO&技术合伙人加入海致,负责产品技术,专注大数据领域;曾先后在百度、阿里和滴滴从事十多年的数据存储和大数据相关工作;之前是滴滴首席工程师,滴滴工程委员会委员,负责智能交通的大数据分析和产品研发;2011-2016年在阿里从事大数据分析和开发、MySQL/HBase分布式数据库的管理和开发;2009年毕业之后加入百度从事凤巢等广告数据库的管理调优工作;曾获得美国 TRB2019 年佳论文奖、中国 COTA2017 智慧交通年会论文奖、2008 年 NDBC 萨师煊论文奖等。
沈一 阿里巴巴 算法专家
嘉宾介绍:
博士毕业于中国科学院大学,目前在阿里巴巴优酷内容智能团队负责NLP相关算法的研发