大数据学习

Shell命令 利用 Shell 命令 HBase 中创建表 HBase 中用 create 命令创建表，具体如下： $ create 'student','Sname','Ssex','Sage','Sdept','course' 命令执行截图如下： 此时，即创建了一个“student”表，属性有：Sname,Ssex,Sage,Sdept,course。因为 HBase 的表中会有一个系统默认的属性作为行键，无需自行创建，默认为 put 命令操作中表名后第一个数据。创建完"student"表后，可通过 describe 命令查看“student

安装hive，并配置mysql作为元数据库 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 一、安装hive 安装hive前需要安装Hadoop，方法可参考Hadoop安装教程 1. 下载并解压hive源程序 本实验以Ubuntu18作为示例，演示hive-1.2.1的安装过程 hive

入门指南 InfluxDB安装完成之后，我们开始来做一些有意思的事。在这一章里面我们将会用到influx这个命令行工具，这个工具包含在InfluxDB的安装包里，是一个操作数据库的轻量级工具。它直接通过InfluxDB的HTTP接口(如果没有修改，默认是8086)来和InfluxDB通信。 说明：也可以直接发送裸的HTTP请求来操作数据库，例如curl 创建数据库 如果你已经在本地安装运行了InfluxDB，你就可以直接使用influx命令行，执行influx连接到本地的InfluxDB实例上。输出就像下面这样： $ influx -precision

Apache Kafka 概述 在大数据中，使用了大量的数据。 关于数据，我们有两个主要挑战。第一个挑战是如何收集大量的数据，第二个挑战是分析收集的数据。 为了克服这些挑战，您必须需要一个消息系统。 Kafka 专为分布式高吞吐量系统而设计。 Kafka 往往工作得很好，作为一个更传统的消息代理的替代品。 与其他消息传递系统相比，Kafka 具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。 什么是消息系统？ 消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。 分布式消息传递基于可靠消息队

MongoDB概念解析 不管我们学习什么数据库都应该学习其中的基础概念，在mongodb中基本的概念是文档、集合、数据库，下面我们挨个介绍。 下表将帮助您更容易理解Mongo中的一些概念： SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段/域 index index 索引 table joins

CQL 代表 Cypher 查询语言。 像 Oracle 数据库具有查询语言 SQL，Neo4j 具有 CQL 作为查询语言。 Neo4j CQL - 它是 Neo4j 图形数据库的查询语言。 它是一种声明性模式匹配语言 它遵循 SQL 语法。 它的语法是非常简单且人性化、可读的格式。 如 Oracle SQL - Neo4j CQL 以命令来执行数据库操作。 Neo4j CQL 支持多个子句像在哪里，顺序等，以非常简单的方式编写非常复杂的查询。 NNeo4j CQL 支持一些功能，如字符串，A

通过 Spark Shell 进行交互分析 Spark shell 提供了简单的方式来学习 API，也提供了交互的方式来分析数据。Spark Shell 支持 Scala 和 Python，本教程选择使用 Scala 来进行介绍。 执行如下命令启动 Spark Shell： nbu@/usr/local/spark$./bin/spark-shell 启动成功后如图所示，会有 “scala >” 的命令提示符。 退出spark如下： scala> :quit 基础操作 Spark 的主要抽象是分布式的元素集合（distribut

Yarn基本配置 修改mapred-site.xml 由于在配置文件目录cd /usr/local/hadoop/etc/hadoop/下没有，需要将mapred-site.xml.template复制为mapred-site.xml nbu@ecs:~$ cd /usr/local/hadoop/etc/hadoop/nbu@ecs:/usr/local/hadoop/etc/hadoop$ cp mapred-site.xml.template mapred-site.xmlnbu@ecs:/usr/local/hadoop/etc/hadoop$ vim mapred-s

Linux 安装 zookeeper 下载地址为: https://zookeeper.apache.org/releases.html。 选择一稳定版本，本教程使用的 release 版本为 3.7.1，下载并安装。点击看到如下界面： 选择下载地址，也可以点击此处下载Zookeeper3.7.1 注意 请将下载后的文件 重名名为：apache-zookeeper-3.7.1-bin.tar.gz 将apache-zookeeper-3.7.1-bin.tar.gz放在/opt/software/ 路径下 Zookeeper 下载安装

1 数据库开发实验 1.1 创建和管理用户、表空间和数据库 1.1.1 创建和管理用户 1.1.1.1 创建用户 通过CREATE USER创建的用户，默认具有LOGIN权限； 通过CREATE USER创建用户的同时系统会在执行该命令的数据库中，为该用户创建一个同名的SCHEMA；其他数据库中，则不自动创建同名的SCHEMA；用户可使用CREATE SCHEMA命令，分别在其他数据库中，为该用户创建同名SCHEMA。 系统管理员在普通用户同名schema下创建的对象，所有者为schema的同名用户（非系统管理员）。 创建用户jim，登录密码为Big