-
10个Pandas的另类数据处理技巧
本文介绍了10个Pandas的常用技巧。本文所整理的技巧与以前整理过10个Pandas的常用技巧不同,你可能并不会经常的使用它,但是有时候当你遇到一些非常棘手的问题时,这些技巧可以帮你快速解决一些不常见的问题。1、Categorical类型
栈栈 2023-04-23 17:59:10 -
数据治理体系建设与实践
全网全大数据面试提升手册!01数据治理建设路径1.业务数字化的目的是打造一体化的业务流、信息流与数据流从企业整体经营管理的角度,战略制定及分解—领域业务目标制定—业务方案设计—业务需求识别&信息系统功能及数据库设计—数据汇聚及分析—业务目标监测及改善,这个过程会有层层信息耗散,全局数据治理
栈栈 2023-04-23 17:58:07 -
阿里郭进士:淘系数据模型治理与方案分享
分享嘉宾:郭进士阿里巴巴编辑整理:张超深圳回收宝出品平台:DataFunTalk导读:本次分享题目为淘系数据模型治理,主要介绍过去一年淘系数据治理工作的一些总结。具体将围绕以下四部分展开:模型背景&问题问题分析治理方案(DataWorks智能数据建模)未来规划01模型背景&问题1.整
栈栈 2023-01-04 17:42:03 -
京东科技埋点数据治理和平台建设实践
Tech导读本文核心内容聚焦为什么要埋点治理、埋点治理的方法论和实践、奇点一站式埋点管理平台的建设和创新功能。读者可以从全局角度深入了解埋点、埋点治理的整体思路和实践方法,落地的埋点工具和创新功能都有较高的实用参考价值。遵循埋点治理的方法论,本文作者团队已在实践中取得优异成效,在同行业内有突出的创新
栈栈 2023-01-04 17:27:19 -
数据治理 VS 公司治理、IT治理、数仓治理
作者丨石秀峰全文共3653个字,建议阅读需10分钟如题,今天要聊得这个话题,包含了四个“治理”。先上一张图:看完这张图你有什么想法,这张图说明了什么?它是在描述公司治理、IT治理、数仓治理和数据治理的关系吗?如果这张图是在描述四个“治理”之间的层次结构,那你认为哪一个结构是正确的呢?如果您是企业的高
栈栈 2023-01-03 17:22:24 -
金融数据治理实践与思考
导读:结合当前业界数据治理的现状、背景、框架,我们可能希望了解一个从0~1的数据治理架构体系怎么做。也有朋友会有疑问:数据治理的管理、域间组合和协同,他们是什么样的一个关系,该怎么样去开展?另外,在这几年的金融行业的数据治理过程中,有哪些具体的实践?为了帮助大家解决这些困扰,本文将对金融数据治理的实
栈栈 2023-01-03 17:18:59 -
网易数帆数据治理演进
导读:本文将分享网易数帆数据治理的发展过程,以及对现代数据治理的概念和理念的理解,提出现代数据治理应该与数据开发和消费很好地衔接,具备开发治理一体化、形成治理的闭环、仓内仓外统一治理和建立数据资产门户等核心特点。文章将从以下四个方面展开:网易数帆大数据简介统建中台:先设计后开发见招拆招:运动式治理治
栈栈 2022-12-21 18:11:16 -
内存泄漏-原因、避免以及定位
你好,我是雨乐!作为C/C++开发人员,内存泄漏是容易遇到的问题之一,这是由C/C++语言的特性引起的。C/C++语言与其他语言不同,需要开发者去申请和释放内存,即需要开发者去管理内存,如果内存使用不当,就容易造成段错误(segmentfault)或者内存泄漏(memoryleak)。今天,借助此
栈栈 2022-11-01 16:55:33 -
数据安全治理已迫在眉睫!
来源:谈数据,作者:石秀峰全文共4797个字,建议阅读10分钟你是否遭遇过如下场景:不知何时,你的手机暴响,一个暧昧或口气浑浊的女音如同刚刚和你劈过腿的问你:大哥,你近股票赚吗?我拉你进一个免费的股票交流群吧!你果断挂掉电话,将其拉入黑名单,并将手机调成震动模式。不久,它又开始肆意地震荡:先生,我
栈栈 2022-11-01 16:52:54 -
数据治理带给我了什么收获? by 傅一平
在未从事企业数据治理之前,自己虽然已经进入了公司管理序列,但骨子里仍然是个技术人员,我对于继续从事报表,取数,bi,数据仓库,数据挖掘等工作颇为自信。偶然的机会开始做企业数据治理,才发现打开了另一片天地,虽然只做了短短一年时间,但数据治理过程中带给我的别样的收获,却是以前的10年都难以获得的,今天就
栈栈 2022-10-31 16:52:20 -
为什么很多公司都被 “伪数字化” 拖垮了?
作者|Mr.K整理|Emma来源|技术领导力(ID:jishulingdaoli)K哥的朋友F总,有一家年销售额过5个亿的快消品公司,旗下员工近200多人,SKU也有大几百。这么一大摊子事情,F总的管理边界已达极限,加上F总意识到数字化转型已经是时代趋势,就动起了企业数字化转型的念头。让IT部门负责
栈栈 2022-08-16 10:49:20 -
数据治理:数据质量的度量维度!
关于数据质量的度量维度,业内还没有一个统一的标准,以下分享几个常见的数据质量度量维度。1、记录数完整记录数:正在评估数据集的记录数值。检查记录数量是否与预期数量相负。如果不符,调查却是记录的根本原因并再次剖析数据集。2、完整性&填充率完整性或填
栈栈 2022-08-08 15:44:04 -
数据治理到底在做什么,从0搭建企业级数据治理体系
数据治理是企业数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路,大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。如何构建企业数据治理体系?企业数据治理过程需要注意哪些问题?总体而言,不能一口一个胖子,路要一步一步地走。下面我将结合企业级数据治理
栈栈 2022-07-12 16:21:53 -
数据治理≠数据管理≠数据资产管理,落地时才发现全理解错了……
数据治理、数据管理、数据资产管理,有什么不同?这是一个我被问的多的问题。如果要用一张图来描述它们三者之间的关系,你跟赞成以下两幅图的哪个?如上图1所示,数据治理包含数据管理,数据治理提出了数据管理的目标、架构和蓝图,数据管理是数据治理的技术实现,而数据资产管理是面向数据应用和数据价值的数据管理,属
栈栈 2022-07-11 16:57:28 -
非结构化数据怎么治理?
近遇到几个项目,都跟非结构化数据脱不开关系。老彭刚毕业的时候,做的是数据库的活儿,那都是结构化数据。后来有了hadoop技术,可以用来处理物联网、互联网的半结构化数据。真正做非结构化的场景还是比较少的,大多是在项目中选取一两个点给意思意思一下。但是
栈栈 2022-07-04 16:16:04 -
数据仓库与数据治理思维导图.xmind(全)
(本文转自BAT大数据架构)一数仓star二数仓建设2.1架构选型2.2开发大体流程2.3开发详细流程及规范2.3.1清洗规范2.3.2数据同步规范2.3.3数仓分层规范2.3.4词根规范2.3.5模型评审规范2.3.6开发规范三数据治理3.1数据质量管理3.2数据成本治理3.3数据安全3.4元数据
栈栈 2022-06-30 16:59:38 -
数据治理路上的“四个魔鬼”
正文开始公司的2021年工作会议刚刚开完,老板对于数字化转型充满期待,而大鱼则感受到了很大的压力,作为数据团队的负责人,其实自己也不知道能不能完成这些任务,有时真想做个纯粹的技术人员,可以简单一点。在数据治理前进的路上,始终守着四个小鬼,只要不赶走它们,就很难到达那个彼岸。1、业务:数字化颠覆业务流
栈栈 2022-06-27 17:51:00 -
美团:踩雷好几年,才总结出的数据治理避坑攻略
目录一、序言二、背景介绍三、治理体系化思考3.1什么是数据治理体系化?3.2数据治理体系化如何解决目前治理存在的问题?3.3业务数据管治体系框架如何建设?3.4体系框架如何落地实施?四、治理体系化实践4.1标准化4.2数字化4.3系统化五、业务数据治理实施流程六、总结与展望一、序言美团住宿数据治理团
栈栈 2022-06-22 17:28:21 -
数据湖 VS 数据仓库之争?万字详解数据仓库数据湖及湖仓一体
随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台,各大云厂商也在纷纷的提出自己的数据湖解决方案,一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的
栈栈 2022-06-21 17:00:07 -
数据治理组织:建起来不易,转起来太难?
公司在2022年工作会议上提出了“5141”数智驱动的商业智能总体框架(如下图所示),要求围绕顶层设计、组织保障、流程运营、IT支撑、数据安全治理、数据消费六个方面构建企业级数据治理体系,确保数据从产生、处理到消费的端到端全流程高质量运转,有效提升客户体验和企业运营效率,持续推动业务创新。自己有幸参
栈栈 2022-06-20 17:52:01