大数据学习

1 openGauss数据库安装 1.1 实验介绍 1.1.1 关于本实验 本实验主要描述openGauss数据库在虚拟机VirtualBox+CentOS上的安装配置。 1.1.2 实验目的 掌握虚拟机VirtualBox的安装配置方法； 掌握openGauss数据库安装部署方法。 1.2 虚拟机VirtualBox下载及安装 步骤 1 进入官方网站下载页面。 网址 注意是6.1.14版本 点击 “window主机“ 下载windows版本的VirtualBox。 步骤 2 下载完成后，双击执行文件进行安装。 下载后，文件名为：Virtua

1 数据库通过镜像文件安装安装 1.1 实验介绍 1.1.1 关于本实验 本实验主要描述openGauss数据库通过镜像来安装部署。 1.1.2 实验目的 掌握虚拟机VirtualBox的使用方法； 掌握openGauss数据库镜像安装部署方法。 1.2 虚拟机VirtualBox下载及安装 步骤 1 进入官方网站下载页面。 网址 图1-1 官网下载地址 点击” window主机” 下载windows版本的VirtualBox。 步骤 2 下载完成后，双击执行文件进行安装。 下载后，文件名为：VirtualBox-6.1.14-140239

1 openGauss数据库安装 1.1 实验介绍 关于本实验 本实验主要描述openGauss数据库在虚拟机VirtualBox+openEuler上的安装配置。 实验目的 掌握虚拟机VirtualBox的安装配置方法； 掌握openGauss数据库安装部署方法。 1.2 虚拟机VirtualBox下载及安装 步骤 1 进入官方网站下载页面。 网址 点击” window主机” 下载windows版本的VirtualBox。 步骤 2 下载完成后，双击执行文件进行安装。 下载后，文件名为：VirtualBox-6.1.14

1 openGauss数据库通过镜像文件安装 1.1 实验介绍 1.1.1 关于本实验 本实验主要描述openGauss数据库通过镜像来安装部署。 1.1.2 实验目的 掌握虚拟机VirtualBox的使用方法； 掌握openGauss数据库镜像安装部署方法。 1.2 虚拟机VirtualBox下载及安装 步骤 1进入官方网站下载页面。 网址 图1-1 官网下载地址 点击” window主机” 下载windows版本的VirtualBox。 步骤 2 下载完成后，双击执行文件进行安装。 下载后，文件名为：Vir

1 openGauss数据库安装 1.1 实验介绍 1.1.1 关于本实验 本实验主要描述openGauss数据库在openEuler弹性云服务器上的安装部署。 1.1.2 实验目的 了解openGauss数据库部署方式； 掌握openGauss数据库安装部署方法。 1.2 购买弹性云服务器ECS（openEuler ARM 操作系统） 1.2.1 登录华为云 步骤 1进入华为云官网。 华为云官网，进入华为云官网，点击登录。 步骤 2 输入账号名和密码，点击登录。 如果还没有注册，点击免费注册，按步骤进行注册后

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，Apache Flin 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存中速度和任何规模执行计算。 下载和安装 手动下载 下载地址：Apache Flink 点击这里从百度云盘下载（提取码：tpag） 手动下载移动到/opt/software 目录下准备安装 flink-*-bin-scala*.tgz表示是编译之后的安装包，可以直接用来部署。 这里以 `fli

Flume 概述 1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。 Flume 基于流式架构，灵活简单。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 2 Flume 基础架构 Flume 组成架构如图所示 下面我们来详细介绍一下 Flume 架构中的组件： 2.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成， Source、 Channel、

安装并配置 HBase 本教程运行环境是在 Ubuntu-64 位系统下，HBase 版本为 hbase-1.1.2，这是目前已经发行的已经编译好的稳定的版本，带有 src 的文件是未编译的版本，这里我们只要下载 bin 版本 hbase-1.1.2-bin.tar.gz 就好了。hbase-1.1.2-bin.tar.gz.mds 是用来校验文件 hbase-1.1.2-bin.tar.gz 是否完整，一般不需要校验。 如果读者是使用虚拟机方式安装 Ubuntu 系统的用户，请用虚拟机中的 Ubuntu 自带 firefox 浏览器访问本指南，再点击下面的地址，才能把 HBase 文

Hadoop 安装教程 单机/伪分布式配置Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04) 本教程采用Hadoop 2.7.1作为示例 等版本点击这里从百度云盘下载（提取码：a52w） 创建用户 增加一个名为 nbu 的用户用于大数据实验，输入如下命令创建新用户 : sudo useradd -m nbu -s /bin/bash#这条命令创建了可以登陆的 nbu 用户，并使用 /bin/bash 作为 shell。 sudo passwd nbu# 为nbu用户创建密码 可为 nbu 用户增加管理员权限，方便部署，避免一些

Hive 是一个在 Hadoop 中用来处理结构化数据的数据仓库基础工具。 Hive 是一个在 Hadoop 中用来处理结构化数据的数据仓库基础工具。它架构在 Hadoop 之上，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。hive 数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供 SQL 查询功能，能将 SQL 语句转变成 MapReduce 任务来执行。 术语 “大数据” 是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传统的数据管理系统难以加工大型数据。因此，Apache 软件基金会推出