本文分类:news发布日期:2024/9/10 11:40:58
相关文章
Hive 严格模式设置
Hive 在早期使用参数 hive.mapred.mode 来决定是否执行严格模式, 其值为 strict 或者 nostrict. 当其值为 strict 时,执行严格模式,如从分区表查询时,过滤条件必须有分区字段。
在 Hive 3.1.3 中,因为 hive.mapred.mode 比较粗暴…
建站知识
2024/9/9 9:21:48
【大数据】Flink SQL 语法篇(四):Group 聚合
Flink SQL 语法篇(四):Group 聚合 1.基础概念2.窗口聚合和 Group 聚合3.SQL 语义4.Group 聚合支持 Grouping sets、Rollup、Cube 1.基础概念
Group 聚合定义(支持 Batch / Streaming 任务):Flink 也支持 G…
建站知识
2024/9/6 11:18:22
上一篇文章补充:已经存在的小文件合并
对于HDFS上已经存在的大量小文件问题,有多种策略可以进行处理和优化:
1. **合并小文件**: - **使用Spark作业合并**:通过编写Spark程序读取小文件并调用repartition()或coalesce()函数重新分区数据,然后将合并后的…
建站知识
2024/9/6 16:55:05
综合服务 IntServ
目录
综合服务 IntServ
IntServ 定义的两类服务
IntServ 的四个组成部分
流 (flow)
资源预留协议 RSVP
RSVP 协议的工作原理
IntServ 体系结构在路由器中的实现
综合服务 IntServ 体系结构存在的主要问题 综合服务 IntServ
综合服务 IntServ (Integrated Services) 可…
建站知识
2024/9/6 12:17:15
编程笔记 Golang基础 033 反射的类型与种类
编程笔记 Golang基础 033 反射的类型与种类 一、反射的类型和种类二、切片与反射三、集合与反射四、结构体与反射五、指针与反射六、函数与反射小结 反射机制的作用范围涵盖了几乎所有的类型和值的操作层面,它极大地增强了Go语言在运行时对于自身类型系统的探索和操…
建站知识
2024/9/6 18:54:14
Redis主从、哨兵、Redis Cluster集群架构
Redis主从、哨兵、Redis Cluster集群架构
Redis主从架构 Redis主从架构搭建
主从搭建的问题 如果同步数据失败,查看log日志报错无法连接,检查是否端口未开放出现”Error reply to PING from master:...“日志,修改参数protected-mode no
…
建站知识
2024/9/7 0:21:35