大数据学习

本章节将示范三台 zookeeper 服务端集群搭建步骤。 所需准备工作，创建三台虚拟机环境并安装好 java 开发工具包 JDK，可以使用 VM 或者 vagrant+virtualbox 搭建 centos/ubuntu 环境，本案例基于宿主机 windows10 系统同时使用 vagrant+virtualbox 搭建的 centos7 环境，如果直接使用云服务器或者物理机同理。 步骤一 准备三台 zookeeper 环境和并按照上一教程下载 zookeeper 压缩包，三台集群 centos 环境如下： 机器一：192.168.3.33 机器二：1

1 用户权限控制 1.1 实验介绍 1.1.1 关于本实验 本实验主要描述用户的创建管理、角色的创建管理、Schema的创建管理、用户权限设置、用户安全策略设置。 1.1.2 实验目的 掌握用户、角色、Schema的创建及管理； 掌握用户权限的授予各回收； 掌握用户安全策略如何设置。 1.2 用户 通过CREATE USER创建的用户，默认具有LOGIN权限； 通过CREATE USER创建用户的同时系统会在执行该命令的数据库中，为该用户创建一个同名的SCHEMA；其他数据库中，则不自动创建同名的SCHEMA；用户可使用CREATE

Flume案例-实时监控单个追加文件 1）案例需求： 实时监控 Hive 日志，并上传到 HDFS 中 2）需求分析： 3）实现步骤： 1.Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包 将 commons-configuration-1.6.jar hadoop-auth-2.7.2.jar hadoop-common-2.7.2.jar hadoop-hdfs-2.7.2.jar commons-io-2.4.jar htrace-core-3.1.0-incubating.jar 拷贝到/u

实例简述 本节将在命令行HBase环境下创建employee表，其包含两个列族：personal_data和professional_data，其中personal_data包含name，age两个限定符记录员工个人信息，professional_data包含position限定符记录员工职位。 实验环境 本实验在ecs服务器上进行，采用HBase伪分布式模式，已开启Hadoop和HBase，开启流程见 （01-HBase安装）,通过命令 hbase shell 进入hbase命令行模式(由于在01-HBase安装中配置了环境变量，所以该命令可以在任意文件夹下使用)

HDFS文件读写(JAVA API Maven) 读HDFS文件 1. 启动hdfs并向hdsf中存入文件text.txt text.txt的内容为"hello nbu", 并将text.txt保存至HDFS中 nbu@ecs:~$ echo "hello nbu" > ~/text.txtnbu@ecs:~$ /usr/local/hadoop/bin/hdfs dfs -put ~/text.txt /user/nbu/text.txt 2. 在~目录下建立hdfs工程文件 nbu@ecs:~$ mkdir -p bigdata/hd

Hive 是一种数据库技术，可以定义数据库和表来分析结构化数据。主题结构化数据分析是以表方式存储数据，并通过查询来分析。本章介绍如何创建 Hive 数据库。配置单元包含一个名为 default 默认的数据库。 CREATE DATABASE 语句 创建数据库是用来创建数据库在 Hive 中语句。在 Hive 数据库是一个命名空间或表的集合。此语法声明如下： CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name> 在这里，IF NOT EXISTS 是一个可选子句，通知用户已经存在相同名称的数据库。可以

查询数据 使用HTTP接口查询数据 HTTP接口是InfluxDB查询数据的主要方式。通过发送一个GET请求到/query路径，并设置URL的db参数为目标数据库，设置URL参数q为查询语句。下面的例子是查询在写数据里写入的数据点。 curl -G 'http://localhost:8086/query?pretty=true' --data-urlencode "db=mydb" --data-urlencode "q=SELECT \"value\" FROM \"cpu_load_short\" WHERE \"region\"='us-west'" Influx

单节点多代理配置 在进入多个代理集群设置之前，首先启动 ZooKeeper 服务器。 创建多个Kafka Brokers 在配置/ server.properties 中已有一个 Kafka 代理实例。 现在我们需要多个代理实例，因此将现有的 server.properties 文件复制到两个新的配置文件中，并将其重命名为 server-one.properties 和 server-two.properties。 然后编辑这两个新文件并分配以下更改 config/server-one.properties # The id of the broker. This

启动 MongoDB 服务 在前面的教程中，我们已经讨论了如何启动 MongoDB 服务，你只需要在 MongoDB 安装目录的 bin 目录下执行 mongodb 即可。 执行启动操作后，mongodb 在输出一些必要信息后不会输出任何信息，之后就等待连接的建立，当连接被建立后，就会开始打印日志信息。 你可以使用 MongoDB shell 来连接 MongoDB 服务器。你也可以使用 PHP 来连接 MongoDB。本教程我们会使用 MongoDB shell 来连接 Mongodb 服务，之后的章节我们将会介绍如何通过 php 来连接 MongoDB 服务。 标准 URI

MATCH 命令 从数据库获取有关节点和属性的数据 从数据库获取有关节点，关系和属性的数据 MATCH 命令语法： MATCH ( <node-name>:<label-name>) 语法说明 语法元素描述<node-name>这是我们要创建一个节点名称。<label-name>这是一个节点的标签名称 注意事项 - Neo4j 数据库服务器使用此 将此节点详细信息存储在 Database.As 中作为 Neo4j DBA 或 Developer，我们不能使用它来访问节点详细信息。 Neo4j 数据库服务