博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Flink项目搭建
阅读量:3766 次
发布时间:2019-05-22

本文共 1947 字,大约阅读时间需要 6 分钟。

一、什么是Flink

在这里插入图片描述Flink是原生的流处理系统,提供high level的API。Flink也提供 API来像Spark一样进行批处理,但两者处理的基础是完全不同的。Flink把批处理当作流处理中的一种特殊情况。在Flink中,所有 的数据都看作流,是一种很好的抽象,因为这更接近于现实世界。
二、Flink安装

$git clone https://github.com/apache/flink.git$cd flink$mvn clean package -DskipTestscd build-target

用http://127.0.0.1:8081进行访问界面。

三、创建工程

$ curl https://flink.apache.org/q/quickstart.sh | bash或者参考入门代码:https://github.com/wuchong/my-flink-project

四、或者另一种方式

Maven 依赖
如果您正在 Maven 项目中开发程序,则必须使用此依赖项添加 flink-clients 模块:

org.apache.flink
flink-clients{
{ site.scala_version_suffix }}
1.6.0

本地环境

LocalEnvironment 是本地执行 Flink 程序的句柄。可使用他,独立或嵌入其他程序在本地 JVM 中运行Flink程序。
通过 ExecutionEnvironment.createLocalEnvironment() 方法实例化本地环境。 默认情况下,启动的本地线程数与计算机的CPU个数相同。 您也可以指定所需的并发度。 可以使用enableLogging()/disableLogging() 将本地环境日志打印到控制台。
在大多数情况下,调用 ExecutionEnvironment.getExecutionEnvironment() 是更好的方式。 当程序在本地启动时(在命令行界面之外),该方法返回一个 LocalEnvironment ,当使用 命令行 调用程序时,它返回一个预先配置的集群执行环境。

public static void main(String[] args) throws Exception {    ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment();    DataSet
data = env.readTextFile("file:///path/to/file"); data.filter(new FilterFunction
() { public boolean filter(String value) { return value.startsWith("http://"); } }) .writeAsText("file:///path/to/result"); JobExecutionResult res = env.execute();}

执行完成后返回的 Job ExecutionResult 对象包含程序运行时(Runtime)和累加的结果。

LocalEnvironment 还可以将自定义配置传递给 Flink

Configuration conf = new Configuration();conf.setFloat(ConfigConstants.TASK_MANAGER_MEMORY_FRACTION_KEY, 0.5f);final ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment(conf);

请注意: 本地执行环境不启动任何 Web 前端来监视执行情况。

关于解决构建maven项目中报错:Failed to execute goal org.apache.maven.plugins:maven-archetype-plugin:3.0.1…:的方法
1.首先进入仓库下面repository\org\apache\maven\plugins这个目录
2.删除目录下的maven-archetype-plugin文件夹
3.重新加载

转载地址:http://boipn.baihongyu.com/

你可能感兴趣的文章
$listeners与.native的使用
查看>>
熟悉Linux 下静态库.a 与.so 库文件的生成与使用——实例
查看>>
算法训练 1的个数(输入正整数n,判断从1到n之中,数字1一共要出现几次。例如1123这个数,则出现了两次1。例如15,那么从1到15之中,一共出现了8个1。)
查看>>
算法训练 素因子去重(给定一个正整数n,求一个正整数p,满足p仅包含n的所有素因子,且每个素因子的次数不大于1)
查看>>
算法训练 二进制数数( 给定L,R。统计[L,R]区间内的所有数在二进制下包含的“1”的个数之和。   如5的二进制为101,包含2个“1”。)
查看>>
第十届MathorCup高校数学建模D题解题思路
查看>>
2020年高教社杯全国大学生数学建模竞赛赛题 C题分析与思路!(持续更新)
查看>>
2020年高教社杯全国大学生数学建模竞赛赛题 B题分析与思路!(持续更新)
查看>>
蓝桥杯真题 18省4-测试次数 x星球的居民脾气不太好,但好在他们生气的时候唯一的异常举动是:摔手机。 各大厂商也就纷纷推出各种耐摔型手机。x星球的质监局规定了手机必须经过耐摔测试,并且评定出一个耐
查看>>
蓝桥杯真题 19省3-数列求值 给定数列 1, 1, 1, 3, 5, 9, 17, …,从第 4 项开始,每项都是前 3 项的和。求第 20190324 项的最后 4 位数字。
查看>>
大小写字母转换函数tolower();的用法
查看>>
蓝桥杯 15校4-7对数字 今有7对数字:两个1,两个2,两个3,...两个7,把它们排成一行。 要求,两个1间有1个其它数字,两个2间有2个其它数字,以此类推,两个7之间有7个其它数字。如下就是
查看>>
蓝桥杯真题 17省10-k倍区间 给定一个长度为N的数列,A1, A2, ... AN,如果其中一段连续的子序列Ai, Ai+1, ... Aj(i <= j)之和是K的倍数,我们就称这个区间[i
查看>>
TCP协议的流量控制
查看>>
TCP连接的三次握手过程,为什么不是两次或四次?
查看>>
小白都能看懂的DNS解析过程
查看>>
HTTP和HTTPS的区别?描述HTTPS的工作过程
查看>>
简述一下HTTP的状态码
查看>>
20210227vulhub靶场之环境配置---无法获得靶机IP的疑难解决方式(可以解决VBox和VMware不兼容问题)
查看>>
20210226web渗透学习之SSRF总结
查看>>