大数据学习

一、建立WordCount工程 # 创建工程文件夹~/bigdata/flink/wordcountnbu@ecs:~$ mkdir -p bigdata/flink/wordcountnbu@ecs:~$ cd bigdata/flink/wordcount# 创建项目package org.nbubigdata.flinknbu@ecs:~/bigdata/flink/wordcount$ mkdir -p src/org/nbubigdata/flink# 创建输出文件夹classes 用于保存编译后的class文件及jar包nbu@ecs:~/bigdata/flink/w

Flume案例-监控端口数据官方案例 1）案例需求： 使用 Flume 监听一个端口， 收集该端口数据，并打印到控制台。 2）需求分析： 3）实现步骤： 1.安装 netcat 工具 centos安装方法 nbu@ecs:~$ sudo yum install -y nc ubuntu安装方法 nbu@ecs:~$ sudo apt-get -y install netcat-traditional 2.判断 44444 端口是否被占用 nbu@ecs:~$ sudo netstat -tunlp

Java API 编程实例 本实例使用 Eclipse 编写 java 程序，来对 HBase 数据库进行增删改查等操作，Eclipse 可以在 Ubuntu 软件中心搜索下载并安装。 第一步：启动 hadoop，启动 hbase $ cd /usr/local/hadoop$ ./sbin/start-dfs.sh$ cd /usr/local/hbase$ ./bin/start-hbase.sh 第二步，新建 Java Project——>新建 Class 第三步：在工程中导入外部 jar 包： 这里只需要导入 hbase 安装目录中的 li

Hadoop 分布式文件系统（Hadoop Distributed File System,HDFS）是 Hadoop 核心组件之一，如果已经安装了 Hadoop，其中就已经包含了 HDFS 组件，不需要另外安装。 接下来介绍 Linux 操作系统中关于 HDFS 文件操作的常用 Shell 命令，利用 Web 界面查看和管理 Hadoop 文件系统，以及利用 Hadoop 提供的 Java API 进行基本的文件操作。 在学习 HDFS 编程实践前，我们需要启动 Hadoop。执行如下命令 nbu@ecs:~$ cd /usr/local/hadoop./sbin/sta

Hive 所有数据类型分为四种类型，给出如下： 列类型 文字 Null 值 复杂类型 列类型 列类型被用作 Hive 的列数据类型。它们如下： 整型 整型数据可以指定使用整型数据类型，INT。当数据范围超过 INT 的范围，需要使用 BIGINT，如果数据范围比 INT 小，使用 SMALLINT。 TINYINT 比 SMALLINT 小。 下表描述了各种 INT 数据类型： 类型后缀示例TINYINTY10YSMALLINTS10SINT-10BIGINTL10L 字符串类型 字符串类型的数据类型可以使用单引号 ('') 或双引号 (“

写入数据 有很多可以向InfluxDB写数据的方式，包括命令行、客户端还有一些像Graphite有一样数据格式的插件。这篇文章将会展示怎样创建数据库，并使用內建的HTTP接口写入数据。 使用HTTP接口创建数据库 使用POST方式发送到URL的/query路径，参数q为CREATE DATABASE <new_database_name>，下面的例子发送一个请求到本地运行的InfluxDB创建数据库mydb: curl -i -XPOST http://localhost:8086/query --data-urlencode "q=CREATE DAT

组件和说明 Broker（代理） Kafka 集群通常由多个代理组成以保持负载平衡。 Kafka 代理是无状态的，所以他们使用 ZooKeeper 来维护它们的集群状态。 一个 Kafka 代理实例可以每秒处理数十万次读取和写入，每个 Broker 可以处理 TB 的消息，而没有性能影响。 Kafka 经纪人领导选举可以由 ZooKeeper 完成。 ZooKeeper ZooKeeper 用于管理和协调 Kafka 代理。 ZooKeeper 服务主要用于通知生产者和消费者 Kafka 系统中存在任何新代理或 Kafka 系统中代理失败。 根据 Zookeeper 接收到关

Windows 平台安装 MongoDB MongoDB 下载 MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包，你可以从MongoDB官网下载安装，MongoDB 预编译二进制包下载地址：https://www.mongodb.com/download-center/community 注意：在 MongoDB 2.2 版本后已经不再支持 Windows XP 系统。最新版本也已经没有了 32 位系统的安装文件。 MongoDB for Windows 64-bit 适合 64 位的 Windows Server 2008 R2, W

CREATE命令 命令创建没有属性的节点使用属性创建节点在没有属性的节点之间创建关系使用属性创建节点之间的关系为节点或关系创建单个或多个标签我们将在本章中讨论如何创建一个没有属性的节点。 Neo4j 使用 CQL“CREATE” 命令 创建没有属性的节点 使用属性创建节点 在没有属性的节点之间创建关系 使用属性创建节点之间的关系 为节点或关系创建单个或多个标签 我们将在本章中讨论如何创建一个没有属性的节点。 对于其他情况，请参考后面的章节。 Neo4j CQL“CREATE” 命令用于创建没有属性的节点。 它只是创建一个没有任何数据的节点。 CREATE

Spark SQL 和 DataFrames Spark SQL 是 Spark 内嵌的模块，用于结构化数据。在 Spark 程序中可以使用 SQL 查询语句或 DataFrame API。DataFrames 和 SQL 提供了通用的方式来连接多种数据源，支持 Hive、Avro、Parquet、ORC、JSON、和 JDBC，并且可以在多种数据源之间执行 join 操作。 使用 SQLContext 可以从现有的 RDD 或数据源创建 DataFrames。作为示例，我们通过 Spark 提供的 JSON 格式的数据源文件 ./examples/src/main/resource