Flink开发利器StreamX

源代码 · 2024-9-12 12:12:32

Hadoop体系固然在如今应用非常广泛，但架构繁琐、运维复杂度过高、版本升级困难，且由于部门缘故因由，数据中台需求排期较长，我们急需探索敏捷性开发的数据平台模式。在如今云原生架构的遍及和湖仓一体化的大配景下，我们已经确定了将Doris作为离线数据堆栈，将TiDB(如今>已经应用于生产)作为及时数据平台，同时由于Doris具有 on MySQL 的odbc本领，所以又可以>对外部数据库资源举行整合，同一对外输出报表

遇到的题目
在数据引擎上，我们确定利用Spark和Flink

利用Spark on K8s client 客户端模式做离线数据处置处罚
利用Flink on K8s Native-Application/Session 模式做及时任务流管理

在这里，实际上有一些题目我们不停没有彻底办理。用过Native-Application模式的朋侪都知道，每提交一个任务，都必要打包新的镜像，提交到私有堆栈，然后再调用Flink Run 指令沟通K8s,去拉取镜像运行Pod。任务提交之后，还必要去K8s查察log, 但是:

任务运行监控怎么处置处罚？
利用Cluster模式还是Nodeport袒露端口访问Web UI？
提交任务可否简化打包镜像的流程?
怎样镌汰开发压力？
......

办理题目的过程

以上的这些着实都是必要办理的题目，如果单纯的利用下令行去提交每个任务，是不实际的，任务量大了，会变得不可维护。怎样办理这些题目变成一个不得不面对的题目。
简化镜像构建

起首，针对Flink原生镜像必要二次build的题目：我们利用了MINIO作为外部存储，并利用s3-fuse通过DaemonSet的方式直接挂载在了每个宿主节点上，我们所必要提交的jar包都可以放到上面同一管理，如许的话，纵然扩缩容Flink节点，也能实现s3挂载自动伸缩。

Flink从1.13版本开始，就支持Pod Template，我们可以在Pod Template中利用数据卷挂载的方式再将宿主机目次挂载到每个pod中。从而无需镜像打包而直接在K8s上运行Flink步调。如上图，我们将s3先通过s3-fuse Pod挂载在Node1、Node2的/mnt/data-s3fs目次下，然后再将/mnt/data-s3fs挂载到Pod A中。
但是，由于对象存储随机写入或追加文件必要重写整个对象，导致这种方式仅得当于频仍读。而这刚好满足我们如今的场景。
引入低代码平台StreamX

之前我们写Flink Sql 根本上都是利用Java包装Sql，打jar包，提交到s3平台上，通过下令行方式提交代码，但这种方式始终不友爱，流程繁琐，开发和运维资本太大。我们盼望可以大概进一步简化流程，将Flink TableEnvironment 抽象出来，有平台负责初始化、打包运行Flink任务，实现Flink应用步调的构建、测试和摆设自动化。
这是个开源兴起的期间，我们自然而然的将眼光投向开源领域中，在一众开源项目中,经过对比各个项目综合评估发现Zeppelin和StreamX这两个项目对Flink的支持较为完善，都宣称支持Flink on K8s，终极进入到我们的目的选择范围中，以下是两者在K8s相干支持的简朴比力（如今如果有更新，贫苦品评指正）。

调研过程中,我们与两者的主开发职员都举行了多次沟通。经过我们反复研究之后，还是决定将StreamX作为我们如今的Flink开发工具来利用。
经过开发同砚长时间开发测试，StreamX如今已经具备:

完善的Sql校验功能
实现了自动build/push镜像
利用自界说类加载器,通过Child-first 加载方式办理了YARN和K8s两种运行模式、支持了自由切换Flink多版本
与Flink-Kubernetes举行深度整合，提交任务后返回WebUI，通过remote rest api + remote K8s ，追踪任务实行状态
同时支持了Flink1.12、1.13、1.14等版本

以上根本办理了我们如今开发和运维中存在的大部门题目。
在如今最新发布的1.2.0版本中，StreamX较为完善的支持了K8s-Native-Application和K8s-session-Application模式。
K8s Native Application 模式
在StreamX中，我们只必要设置相应的参数，并在Maven pom中填写相应的依赖，大概上传依赖jar包，点击Apply，相应的依赖就会天生。这就意味着我们也可以将全部利用的Udf打成jar包 and 各种 connector.jar，直接在sql中利用。如下图:

Sql校验本领和 Zeppelin根本同等:

我们也可以指定资源，指定Flink Run中的动态参数Dynamic Option，以致参数可以整合pod template

步调生存后，点击运行时，也可以指定savepoint。任务提交乐成后，StreamX会根据FlinkPod网络Exposed Type(loadBalancer/Nodeport/ClusterIp),返回相应的WebURL，从而自然的实现WebUI跳转,但是如今由于线上私有K8s集群出于安全性思量,尚未买通Pod与客户端节点网络（如今也没有这个规划），所以我们只利用Nodeport。如果后续任务数过多，有利用ClusterIP的需求的话，我们可能会将StreamX 摆设在K8s，大概同ingress做进一步整合。

留意：K8s master 如果利用vip做平衡署理的环境下，Flink 1.13版本会返回vip的ip地点，1.14版本已经修复。
下面是K8s Application模式下详细提互换程

K8s Native Session 模式
StreamX还较好的支持了K8s Native-Sesson模式，这为我们后续做离线FlinkSql开发或部门资源隔离做了较好的技能支持。
Native-session模式必要事先利用Flink下令创建一个运行在K8s中的Flink集群,如下:
./kubernetes-session.sh \-Dkubernetes.cluster-id=flink-on-k8s-flinkSql-test \-Dkubernetes.context=XXX \-Dkubernetes.namespace=XXXX \-Dkubernetes.service-account=XXXX \-Dkubernetes.container.image=XXXX \-Dkubernetes.container.image.pull-policy=Always \-Dkubernetes.taskmanager.node-selector=XXXX \-Dkubernetes.rest-service.exposed.type=Nodeport如上图，利用该ClusterId作为StreamX的任务参数Kubernetes ClusterId。生存提交任务后，任务会很快处于Running状态

我们顺着application info的WebUI点击跳转

可以看到，着实StreamX是将jar包通过Rest Api上传到Flink集群上，并调理实行任务的。
Custom Code模式
另我们惊喜的是，StreamX 还支持代码编写DataStream/FlinkSql任务。对于特殊需求，我们可以自己写Java/Scala实现。可以根据StreamX保举的脚手架方式编写任务，也可以编写一个尺度平凡的Flink任务，通过这种方式我们可以将代码管理交由Git实现，平台可以用来自动化编译打包与摆设。当然，如果能用Sql实现的功能，我们会只管制止自界说DataStream，镌汰不必要的运维贫苦。
意见和规划
改进意见
当然StreamX还有许多必要改进的地方，就如今测试来看：

资源管理还有待增强

多文件体系jar包等资源管理功能尚未添加，任务版本功能有待增强。

前端buttern 功能还不敷丰富

比如任务添加后续可以增长复制等功能按钮。

任务提交日志也必要可视化展示

任务提交伴随着加载class文件，打jar包，build镜像，提交镜像，提交任务等过程，每一个环节堕落，都会导致任务的失败，但是失败日志通常不明白，大概由于某种缘故因由导致非常未正常抛出，没有转换任务状态，用户会无从动手改进。
众所周知，一个新事物的出现一开始总会不是那么完善。只管有些许题目和必要改进的point，但是瑕不掩瑜，我们仍然选择StreamX作为我们的Flink DevOps，我们也将会和主开发职员一道共同完善StreamX，也欢迎更多的人来利用，为StreamX带来更多进步。
未来规划

我们会继续跟进doris，并将业务数据 + 日志数据同一入doris，通过Flink实现湖仓一体；
我们也会徐徐将探索StreamX同dolphinscheduler 2.x举行整合，完善dolphinscheduler离线任务，徐徐用Flink 替换掉Spark，实现真正的流批一体；
基于我们自身在s3上的探索积聚，fat-jar包 build 完成之后不再构建镜像，直接利用Pod Tempelet挂载pvc到Flink pod中的目次，进一步优化代码提互换程；
将StreamX连续应用到我们生产中，并汇同社区开发职员，共同积极，增强StreamX在Flink流上的开发摆设本领与运行监控本领，积极把StreamX打造成一个功能完善的流数据 DevOps。

附:
Streamx 官网: http://streamxhub.com
Streamx Github: https://github.com/streamxhub/streamx
AWS s3挂载到K8s: https://zhuanlan.zhihu.com/p/372250644
Doris Github: https://github.com/apache/incubator-doris

Flink开发利器StreamX

所属分类: 问答交流

新帖推荐: 30日

推荐作品