大数据学习

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，Apache Flin 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存中速度和任何规模执行计算。 下载和安装 手动下载 下载地址：Apache Flink 点击这里从百度云盘下载（提取码：tpag） 手动下载移动到/opt/software 目录下准备安装 flink-*-bin-scala*.tgz表示是编译之后的安装包，可以直接用来部署。 这里以 `fli

一、建立WordCount工程 # 创建工程文件夹~/bigdata/flink/wordcountnbu@ecs:~$ mkdir -p bigdata/flink/wordcountnbu@ecs:~$ cd bigdata/flink/wordcount# 创建项目package org.nbubigdata.flinknbu@ecs:~/bigdata/flink/wordcount$ mkdir -p src/org/nbubigdata/flink# 创建输出文件夹classes 用于保存编译后的class文件及jar包nbu@ecs:~/bigdata/flink/w

一、建立WordCount工程 # 创建工程文件夹~/bigdata/flink/wordcountnbu@ecs:~$ mkdir -p bigdata/flink/wordcountnbu@ecs:~$ cd bigdata/flink/wordcount# 创建项目package org.nbubigdata.flinknbu@ecs:~/bigdata/flink/wordcount$ mkdir -p src/org/nbubigdata/flink# 创建输出文件夹classes 用于保存编译后的class文件及jar包nbu@ecs:~/bigdata/flink/w

使用 DataSet API 处理有界数据流 Written by 黄俊仁，2024/04/13 这个程序是一个基于 Apache Flink DataSet API 的简单示例，展示了如何进行单词计数。它首先从一组静态字符串创建一个数据集，然后使用自定义的 flatMap 函数将文本分割成单词，并为每个单词生成一个包含单词及其出现次数（初始化为1）的元组。通过分组和求和操作，程序计算出每个单词在整个数据集中的总出现次数。 package org.nbubigdata.flink;import org.apache.flink.api.common.functions

使用DataStream API处理无界数据流 Written by 黄俊仁，2024/04/13 首先需要自定义一个无界数据源。在Flink中可以通过继承SourceFunction接口，对run()方法和cancel()方法进行重写来实现自定义数据源。 package org.nbubigdata.flink;import org.apache.flink.streaming.api.functions.source.SourceFunction;import java.util.ArrayList;import java.util.List;import jav

使用 ProcessFunction 实现计数器 Written by 黄俊仁，2024/04/13 这个程序利用 Apache Flink 的流处理能力，通过自定义数据源 NBUSource 生成一个不断变化的字符串流，并使用 ProcessFunction 对每个接收到的字符串进行计数。它在处理每个元素时递增计数器，并将当前的计数值输出到控制台。 package org.nbubigdata.flink;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.fli

使用 RichFunction 实现累计字符串长度 Written by 黄俊仁，2024/04/13 如下代码示例是一个使用 Apache Flink 编写的流处理应用，其主要功能是从自定义数据源 NBUSource 中实时接收字符串流，并通过使用RichFunction来实现累加器的功能，计算自程序启动以来接收到的所有字符串的总长度。 package org.nbubigdata.flink;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.st

使用SQL处理无界数据流 Written by 黄俊仁，2024/04/13 下面的程序演示了在 Apache Flink 中结合使用流处理环境和表及 SQL API 来处理实时数据流。程序首先通过自定义的 NBUSource 生成一个包含字符串的数据流，然后将这个数据流转换为表，并执行一个 SQL 查询以选取包含字母 't' 的所有字符串。最后，查询结果被转换回 DataStream<Row> 并输出。 package org.nbubigdata.flink;import org.apache.flink.streaming.api.datastrea

使用Table API处理无界数据流 Written by 黄俊仁，2024/04/13 如下示例代码从自定义数据源 NBUSource 接收实时字符串流，并将这个流转换成表（Table）。它使用 Table API 执行一个查询，筛选出包含字母 't' 的所有字符串。最后，筛选后的结果被转换回 DataStream<Row> 。 package org.nbubigdata.flink;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.s