
分享自己的观点...
栈栈

栈栈
2021-04-16 10:12:55
Spark是大数据分析的利器,在工作中用到spark的地方也比较多,这篇总结是希望能将自己使用spark的一些调优经验分享出来。一、常用参数说明--driver-memory4g:driver内存大小,一般没有广播变量(broadcast)时,设置4g足够,如果有广播变量,视情况而定,可设置6G,8...
栈栈
2021-04-09 16:44:40
先决条件确保有一套运行正常的Kubernetes集群,本文默认为使用Elasticsearch7作为后端存储;如果想把ES放到Kubernetes集群里那么还得确保集群配置了正确的存储,譬如默认的StorageClass可用等。...
栈栈
2021-03-05 13:51:53
作者:胡加华&冯明潇部门:数据中台一、前言随着近几年业务快速发展与迭代,大数据的成本也水涨船高,如何优化成本,建设低成本高效率的底层服务成为了有赞数据基础平台2020年的主旋律。本文主要介绍了随着云原生时代的到来,经历7年发展的有...
栈栈
2020-05-13 13:48:57
转载请注明出处。更多文章请访问大数据随笔-hadoop/spark/hive1.概述数据准确性,稳定性,时效性是数据开发中需要重点关注的,一般称之为数据质量。保证数据质量往往会占用数据开发工程师的很多精力,所以一个好的数据监控系统或者一个合理的数据监控方案对于数据质量的保证至关重要。本文将展示一种实...
栈栈
2020-05-13 13:48:39
版权申明:转载请注明出处。文章来源:kylin入门到实战:cube详述-大数据随笔排版乱?请移步原文获得更好的阅读体验1.什么是cube?cube是所有dimession的组合,每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2n个cuboid,如图:对应...
点击加载更多
分享好友
分享这个小栈给你的朋友们,一起进步吧。

Apache Spark技术专区

创建时间:2020-05-08 17:16:40
分享

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。
展开
订阅须知
• 所有用户可根据关注领域订阅专区或所有专区
• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询
• 专区发布评论属默认订阅所评论专区(除付费小栈外)
技术专家
查看更多- 栈栈专家
- 热门小栈
- 新小栈
- 更多
-
悟空聊架构
悟空聊架构,悟空和他的朋友们,专注架构设计
免费 栈主:悟空聊架构 8 -
开源小秀场
“开源小秀场”是IT168旗下ITPUB技术社区面向国内外开源技术提供的展示平台。本栏目将邀请国内外已经成功落地的开源项目和技术专家进行相关的主题分享和讨论,欢迎更多开源爱好者、开源贡献者和开源创作者来我们舞台展示自己。
免费 栈主:安全频道 6 -
Python从入门到入坑
本小栈包含:Python基本教程 ,数据库基本教程,Python全栈,爬虫。以及Python的电子书分享等
免费 栈主:崔浩月1 4 -
分布式思考和实践
关于分布式在数据库领域的应用的一些思考以及一些程序应用的开发
免费 栈主:szstonelee 4