大数据学习

kafka-python 文档：KafkaConsumer - kafka-python 2.0.2-dev documentation 基本概念 Topic：一组消息数据的标记符； Producer：生产者，用于生产数据，可将生产后的消息送入指定的 Topic； Consumer：消费者，获取数据，可消费指定的 Topic； Group：消费者组，同一个 group 可以有多个消费者，一条消息在一个 group 中，只会被一个消费者获取； Partition：分区，为了保证 kafka 的吞吐量，一个 Topic 可以设置多个分区。同一分区只能被一个消费者订阅。

MongoDB 索引 索引通常能够极大的提高查询的效率，如果没有索引，MongoDB 在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录。 这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。 索引是特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行排序的一种结构 createIndex() 方法 MongoDB 使用 createIndex() 方法来创建索引。 注意在 3.0.0 版本前创建索引方法为 db.collection.ensur

Neo4j CQL 创建节点标签 Label 是 Neo4j 数据库中的节点或关系的名称或标识符。 我们可以将此标签名称称为关系为 “关系类型”。 我们可以使用 CQL CREATE 命令为节点或关系创建单个标签，并为节点创建多个标签。 这意味着 Neo4j 仅支持两个节点之间的单个关系类型。 我们可以在 UI 模式和网格模式下在 CQL 数据浏览器中观察此节点或关系的标签名称。 并且我们引用它执行 CQL 命令。 到目前为止，我们只创建了一个节点或关系的标签，但我们没有讨论它的语法。 使用 Neo4j CQL CREATE 命令 为节点创建单个标签 为节点创建多

四字命令安装 zookeeper 支持某些特定的四字命令与其交互，用户获取 zookeeper 服务的当前状态及相关信息，用户在客户端可以通过 telenet 或者 nc（netcat） 向 zookeeper 提交相应的命令。 安装 nc 命令： $ yum install nc # centos或$ sudo apt install netcat # ubuntu 若无法，找到conf文件夹下的zoo.cfg，在文件最后添加4lw.commands.whitelist=*，保存退出，所有命令都可以使用了。 四字命令格

Linux常用命令 cd命令：切换目录 （1）切换到目录 /usr/local cd /usr/local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录 （4）查看目录/usr下所有的文件 cd /usr ls -al mkdir命令：新建新目录 （5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在 cd /tmp mkdir a ls -al （6）创建目录a1/a2/a3/a4 mkdir -p a1/a2/a3/a4 rmdir命令：删除空

Flume案例-负载均衡和故障转移 1）案例需求： 使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。 2）需求分析： 3）实现步骤： 1.准备工作 在/opt/module/flume/job 目录下创建 group2 文件夹 nbu@ecs:~$ cd /usr/local/flume/jobnbu@ecs:/usr/local/flume/job$ mkdir group2 2.创建 flu

函数 InfluxDB的函数可以分成Aggregate，select和predict类型。 Aggregations COUNT() 返回非空字段值得数目 语法 SELECT COUNT( [ * | <field_key> | /<regular_expression>/ ] ) [INTO_clause] FROM_clause [WHERE_clause] [GROUP_BY_clause] [ORDER_BY_clause] [LIMIT_clause] [OFFSET_clause] [SLIMIT_clause

MongoDB 聚合 MongoDB 中聚合 (aggregate) 主要用于处理数据(诸如统计平均值，求和等)，并返回计算后的数据结果。 有点类似 SQL 语句中的 count(*)。 aggregate() 方法 MongoDB 中聚合的方法使用 aggregate()。 语法 aggregate() 方法的基本语法格式如下所示： >db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION) 实例 集合中的数据如下： { _id: ObjectId(7df78ad8902c)

DELETE语法 Neo4j 使用 CQL DELETE 子句 删除节点。 删除节点及相关节点和关系。 我们将在本章中讨论如何删除一个节点。 我们将在下一章讨论如何删除节点和相关的节点和关系。 删除节点 - 通过使用此命令，我们可以从数据库永久删除节点及其关联的属性。 DELETE 节点子句语法 DELETE <node-name-list> S.No.语法元素描述1.DELETE它是一个 Neo4j CQL 关键字。2.<node-name-list>它是一个要从数据库中删除的节点名称列表。 注意 - 我们应该使用逗号

zookeeper 的 ACL（Access Control List，访问控制表）权限在生产环境是特别重要的，所以本章节特别介绍一下。 ACL 权限可以针对节点设置相关读写等权限，保障数据安全性。 permissions 可以指定不同的权限范围及角色。 ACL 命令行 getAcl 命令：获取某个节点的 acl 权限信息。 setAcl 命令：设置某个节点的 acl 权限信息。 addauth 命令：输入认证授权信息，注册时输入明文密码，加密形式保存。 ACL 构成 zookeeper 的 acl 通过 [scheme:id:permissions] 来