本文分类:news发布日期:2024/10/5 15:52:55
打赏

相关文章

Spark和Hadoop的安装

实验内容和要求 1.安装Hadoop和Spark 进入Linux系统,完成Hadoop伪分布式模式的安装。完成Hadoop的安装以后,再安装Spark(Local模式)。 2.HDFS常用操作 使用hadoop用户名登录进入Linux系统,启动…

关于使用后端实现动态表单功能的心得

1、设计方案 1、直接存整体表单结构的json串 优点:相对Mysql细化结构存储,不用在后端处理大量增、删、改的逻辑。如果对结构体做逻辑删除,利于回滚。 缺点:控制粒度不够,不利于需要关联复杂查询的情况,事务…

MINIO安装的方法(WindowsLiunx)

2 minio安装教程 注:官方中文文档:MinIO对象存储 Windows — MinIO中文文档 | MinIO Windows中文文档 Liunx 安装方:MinIO对象存储 Linux — MinIO中文文档 | MinIO Linux中文文档 2.1 下载地址 https://dl.min.io/server/minio/…

SPARK:性能调优之RSS

参考文章: 京东Spark自研Remote Shuffle Service在大促中的应用实践SPARK RSS 杂谈RSS设计文档 一、原生的 shuffle 过程 1、在mapper将shuffle数据写到本地磁盘,每个mapper会按照下游reducer的个数生成block 2、reducer在fetch环节拉取对应的block …

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部