carr_fu
2023-05-19 17:55:02
一、概述Presto（Trino）是一个快速、分布式的SQL查询引擎，可以用于查询各种数据源，包括Hadoop、NoSQL、关系型数据库等。下面是Presto（Trino）SQL语法的概述：它支持标准SQL语法，包括以下SQL命令：SELECT：用于从一个或多个表中检索数据，指定所需的列和过滤条件。...
carr_fu
2023-05-16 17:42:44
一、概述Trino(前身为PrestoSQL)是一款高性能，分布式的SQL查询引擎，可以用于查询各种类型的数据存储，包括Hive、Mysql、Elasticsearch、Kafka、PostgreSQL等。在使用Trino时，可以通过一些参数来控制查询的行为，例如：coordinator节点和wor...
carr_fu
2023-05-15 17:55:54
（一）好好的系统，为什么要分库分表？本文是《分库分表ShardingSphere5.x原理与实战》系列的第二篇文章，距离上一篇文章已经过去好久了，惭愧惭愧～还是不着急实战，咱们先介绍下在分库分表架构实施过程中，会接触到的一些通用概念，了解这些概念能够帮助理解市面上其他的分库分表工具...
carr_fu
2023-05-12 17:36:04
一、背景数仓建设离不开数据模型，数据分析师通过数据模型分析归纳各类数据，模型中离不开各种数据表，表代表不同维度数据，从而表/数据之间有上下游依赖关系，数据的产出是由任务计算得出，分为周期性或实时产出，所以数据之间的依赖等价于计算任务的依赖。数据平台的调度系统作用为...
carr_fu
2023-05-11 17:34:40
一、Hive小文件概述在Hive中，所谓的小文件是指文件大小远小于HDFS块大小的文件，通常小于128MB，甚至更少。这些小文件可能是Hive表的一部分，每个小文件都包含一个或几个表的记录，它们以文本格式存储。Hive通常用于分析大量数据，但它在处理小文件方面表现不佳，Hive中存在大量小文件会引起...
carr_fu
2023-05-10 17:35:48
一、YARNProxy概述Web应用程序代理是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为以独立模式运行。代理的原因是为了减少通过YARN进行基于网络的攻击的可能性。在YARN中，应用主机（AM）有责任提供webUI并将该链接发送到RM。这引发了许多潜在的问题。...
carr_fu
2023-05-06 17:41:00
一、概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供类SQL语句操作。Hive内置了很多函数，可以满足基本的查询需求，同时还支持自定义函数(UDF)来实现更加灵活的操作。官方文档：https://cwiki.apache.org/confluence/...
carr_fu
2023-04-23 17:57:47
全网全大数据面试提升手册！部分：Spark优化1.并行度Hudi对输入进行分区默认并发度为1500，以确保每个Spark分区都在2GB的限制内（在Spark2.4.0版本之后去除了该限制），如果有更大的输入，则相应地进行调整。建议设置shuffle的并发度，配置项为hoodie.[insert...
点击加载更多
分享好友
分享这个小栈给你的朋友们，一起进步吧。
订阅须知
• 所有用户可根据关注领域订阅专区或所有专区
• 付费订阅：虚拟交易，一经交易不退款；若特殊情况，可3日内客服咨询
• 专区发布评论属默认订阅所评论专区（除付费小栈外）
- 热门小栈
- 新小栈
- 更多
