大数据学习

客户端与服务端之间的连接是基于 TCP 长连接，client 端连接 server 端默认的 2181 端口，也就是 session 会话。 从第一次连接建立开始，客户端开始会话的生命周期，客户端向服务端的 ping 包请求，每个会话都可以设置一个超时时间。 Session 的创建 sessionID: 会话 ID，用来唯一标识一个会话，每次客户端创建会话的时候，zookeeper 都会为其分配一个全局唯一的 sessionID。zookeeper 创建 sessionID 类 SessionTrackerImpl 中的源码。 Timeout：会话超时时间。客户端在

1 日志管理 1.1 实验介绍 1.1.1 关于本实验 在实际的数据库管理工作中，小数据量的日志可以按照实验手册，使用cat查看。但需要注意的是，生产环境的日志量可能比较多，日志文件容量经常在GB级别左右，为了提升读取日志的有效性，一般建议使用more、tail、grep等命令查看日志，所以学会这些命令的基本使用方法也是必须的。另外，在生产环境节点较多（成千上万个生产节点）、日志类型较复杂的情况下，人工已无法满足实际生产需求，针对这种情况，一般使用脚本自动化分析或使用第三方软件对日志进行实时监控、分析、告警。 本实验主要描述openGauss数据库中日志管理的内容，并

Flume 进阶 Flume 事务 Flume Agent 内部原理 重要组件： 1）ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是Replicating（复制）和 Multiplexing（多路复用）。 ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexing 会根据相应的原则，将不同的 Event 发往不同的 Channel。 2）SinkProcessor Sink

schema查询语法 InfluxQL是一种类似SQL的查询语言，用于与InfluxDB中的数据进行交互。下面我们要介绍一些有用的查询schema的语法： SHOW DATABASES SHOW RETENTION POLICIES SHOW SERIES SHOW MEASUREMENTS SHOW TAG KEYS SHOW TAG VALUES SHOW FIELD KEYS 在开始之前，默认已经登入了CLI： $ influx -precision rfc3339 Connected to http://localhost:8086 version 1.3.xI

MongoDB $type 操作符 在本章节中，我们将继续讨论 MongoDB 中条件操作符 $type。 $type 操作符是基于 BSON 类型来检索集合中匹配的数据类型，并返回结果。 MongoDB 中可以使用的类型如下表所示： 类型数字备注Double1 String2 Object3 Array4 Binary data5 Undefined6已废弃。Object id7 Boolean8 Date9 Null10 Regular Expression11 JavaScr

Neo4j关系基础 Neo4j 图数据库遵循属性图模型来存储和管理其数据。 根据属性图模型，关系应该是定向的。 否则，Neo4j 将抛出一个错误消息。 基于方向性，Neo4j 关系被分为两种主要类型。 单向关系 双向关系 在以下场景中，我们可以使用 Neo4j CQL CREATE 命令来创建两个节点之间的关系。 这些情况适用于 Uni 和双向关系。 在两个现有节点之间创建无属性的关系 在两个现有节点之间创建有属性的关系 在两个新节点之间创建无属性的关系 在两个新节点之间创建有属性的关系 在具有 WHERE 子句的两个退出节点之间创建 / 不使用属性的关系

数据模型 在 zookeeper 中，可以说 zookeeper 中的所有存储的数据是由 znode 组成的，节点也称为 znode，并以 key/value 形式存储数据。 整体结构类似于 linux 文件系统的模式以树形结构存储。其中根路径以 / 开头。 进入 zookeeper 安装的 bin 目录，通过 sh zkCli.sh 打开命令行终端，执行 "ls /" 命令显示： [zk: localhost:2181(CONNECTED) 0] ls /[nbu, zookeeper][zk: localhost:2181(CONNECTED) 1] ls /zook

1 数据库备份恢复 1.1 实验介绍 1.1.1 关于本实验 本实验主要描述openGauss数据库支持的两种备份恢复类型、多种备份恢复方案，并能够在备份和恢复过程中提供数据的可靠性保障机制。 1.1.2 实验目的 掌握openGauss数据库中逻辑备份与恢复方法； 掌握openGauss数据库物理备份与恢复的方法； 能够在备份和恢复过程中提供数据的可靠性保障机制。 1.2 实验前提 在对数据库进行备份前，对数据库进行如下操作： 步骤 1 切换到omm用户，以操作系统用户omm登录数据库主节点。 su – omm 步骤

Flume案例-复制和多路复用 1）案例需求： 使用 Flume-1 监控文件变动， Flume-1 将变动内容传递给 Flume-2， Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。 2）需求分析： 3）实现步骤： 1.准备工作 在/usr/local/flume/job 目录下创建 group1 文件夹: nbu@ecs:/usr/local/flume/job$ mkdir group1nbu@ecs:/usr/lo