第二章 HDFS 为什么需要分布式存储 数据量太大，单机存储能力有上限，需要靠数量来解决问题 数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到11>2的效果 分布式的基础架构分析 大数据体系中&…

OceanBase 是一款分布式数据库，具备出色的性能和高扩展性，可以为企业用户构建稳定可靠、灵活扩展性能的数据库服务。本文以开发者们普遍熟悉的Windows 或 Mac 环境为例，介绍如何快速上手并体验OceanBase。 一、环境准备 1. 硬件准备 OceanB…

sudo apt install linux-crashdump sudo apt install crash sudo apt install kdump-tools 1. 两个工具的关系 linux-crashdump kdump-tools 在 Ubuntu 上安装 kdump 功能，这两个包都是相关的，但有不同的作用. linux-crashdump 是一个元包（…

19年创业做过一年的量化交易但没有成功，作为交易系统的开发人员积累了一些经验，最近想重新研究交易系统，一边整理一边写出来一些思考供大家参考，也希望跟做量化的朋友有更多的交流和合作。 接下来说说数据采集流程，后…

2相关技术 2.1 MYSQL数据库 MySQL是一个真正的多用户、多线程SQL数据库服务器。 是基于SQL的客户/服务器模式的关系数据库管理系统，它的有点有有功能强大、使用简单、管理方便、安全可靠性高、运行速度快、多线程、跨平台性、完全网络化、稳定性等，非常…

最近发现Nature、CVPR、NeurIPS等顶会顶刊上，涌现了不少预训练医学图像的文章，不仅效果拔群，思路也很有启发性。 像是Nature上的REFERS，便颠覆了传统方法，使标注数据量直降90％！此外还有CVPR24上…

一、项目概述 目的 本项目旨在运用MapReduce技术对气象数据进行清洗，以提高数据质量，使其更适用于后续的气象分析和研究工作。气象数据来源广泛且格式复杂，通过清洗可以去除错误、缺失和冗余的数据，提取有价值的信息，为气象领域的决策提供可靠依据。数据来源 数据来源于气…

向量(Vector)和矩阵(Matrix)：用于表示数据集（Dataset）和特征（Feature）。矩阵运算：加法、乘法和逆矩阵(Inverse Matrix)等，用于计算模型参数。特征值(Eigenvalues)和特征向量(Eigenvectors)&…