sparkstreaming和flink区别

sparkstreaming和flink的区别

注册数据 source 编写运行逻辑 注册数据 sink 调用 env.execute相比于 Spark Streaming 少了设置批处理时间，还有一个显著的区别是 flink 的所有算子都是 lazy 形式 的，调用 env.execute 会构建 jobgraph，client 端负责 Jobgraph生成并提交它到集群运行；而 Spark Streaming的操作算子分 action 和 transform ，其中仅有 transform 是 lazy 形式 ，而且 DGA 生成、stage 划分、任务调度是在 driver 端进行的，在 client模式下 driver 运行于客户端处。