如何将实时计算Flink与自身环境打通

共计 2182 个字符，预计需要花费 6 分钟才能阅读完成。

这期内容当中丸趣 TV 小编将会给大家带来有关如何将实时计算 Flink 与自身环境打通，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

如何使用实时计算 Flink 搞定数据处理难题？下面将介绍如何实时计算 Flink 与自身环境打通。

一、运行作业的 Jar 如何存储在 OSS 上

在 VVP 平台有两种方法可以上传作业的 jar。

方法一，借助 VVP 提供的资源上传功能，可以直接使用这个功能对 Jar 进行上传目前该功能支持 200 兆以内的 Jar 包上传。使用时，直接在创建作业的时候选择上传的 jar 包就可以了，演示如下：

● 进入到 VVP 平台，点击左侧资源上传功能，然后在打开页面点击右上角的上传资源，选择要上传的 Jar 包，完成上传；

● 上传成功后，点击左侧创建作业，完善作业名等信息。在 Jar URI 栏，下拉选择刚刚上传的 Jar 包，点击确定完成创建作业，然后启动即可使用。

方法二，直接在 OSS 的控制台上面，将要使用的 Jar 上传上去，然后使用 OSS 是提供的 Jar 链接来行使用。使用的时候也比较简单，直接使用 OSS 提供的 Jar 链接，演示如下：

● 打开 OSS 控制台，选择在创建 VVP 时候使用的 Bucket，再选择目录，点击上传文件，上传时可以将它的权限设置为公共读，点击上传文件即完成；
● 使用时，OSS 控制台上点击已上传包右侧的“详情”，获取该 Jar 包的 URL 链接。

● 创建作业时，将 jar 包的 URL 的链接填入 Jar URI。

需要注意，OSS 详情页面提供的链接是公网访问的，开通的 VVP 并不能直接访问公网，所以在创建作业使用 HTTPS 的时候，需要使用 VPC 访问的 endpoint，这样才能正常的启动作业。

如果想用公网获取一个 HTTPS 的链接，怎么操作呢？可以首先对 VVP 进行公网打通，简单来说步骤如下：

● 首先，创建一个 NAT 网关。创建时选择“组合购买 ERP”，然后选择区域并补充名称等信息，然后绑定弹性公网 IP，完成创建；
● 其次，创建 SNAT 条目。创建好 NAT 之后，点击“创建 SNAT 条目”，在弹窗选择交换机并补充名称信息，完成创建。

完成上述两个步骤，该 VVP 实例就已经打通公网，在创建 Deployment 时就可以直接使用 https 公网可访问的 jar 包了。

二、在 VVP 平台上 Flink 如何与典型数据源进行交互

介绍如何通过 SQL 以及 connectors 与外部的一些数据存储系统进行交互，以 SLS，Kafka 作为数据源读写数据为例。

（实操演示）点击 SQL 编辑器，创建一个 Datagen Table，它是用于数据的随机生成的，然后点击运行。然后再点击生成一个 SLS Table，补充所需参数信息，然后点击创建完成。

创建完成后，写入 SQL 语句，比如 insert into sls select id, name from datagen，然后另存后点击运行，创建 Deployment 并启动。

当作业成功运行后，在 SLS 上查询数据。说明 datagen 已经生成数据并成功写入 SLS。

类似的，我们可以按照上面的步骤从 SLS 读数据然后写入 Kafka：

● 在 vvp 的 sql 编辑器页面创建一个 Kafka table
● 用 SQL 语法从 SLS 读取数据写入 Kafka 中并启动
● 作业运行成功后，即开始从 SLS 读数据写入 Kafka 中

三、如何将 VVP 平台上 Flink 的指标打入外部 Metrics 系统

接下介绍如果想把运行作业的指标放入到一些系统当中去，并进行指标观测。VVP 提供了两种方法：

方法一，VVP 默认的将 Flink 作业指标打入到 arms，不需要额外的处理，直接运行作业之后，就能通过指标按钮看到。

方法二，如果自己有指标系统，想把 Flink 的作业指标打入到自己的系统里，主要有两点：首先保证 VVP 上作业与自己指标系统网络的连通性；其次在 Flink conf 中配置好相应的 metrics reporter。在创建作业过程中，进行 metric 配置。

例：使用 premetheus 的 pushGateway 方式，所以 reporter class 就选择 org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter。按上图所示配置 pushGateway 的 port 和 host，Metric reporter 就配置完成了。作业启动成功后在配置好的 grafana 大盘上查看指标。

四、如何将 Flink 作业日志打入到外部系统

如果在作业运行中，突然运行失败，我们想要查看运行失败作业的日志，就需要把 Flink 作业的日志保存下来。在 VVP 平台为这个目的提供了两种方案，将 Logs 写入 OSS 中或 SLS 中，简单来说，在创建作业的时候，在 Log 配置项里面配置一些 Log 参数。

方法一，将日志写入 OSS 中。在创建作业的时候，在高级配置中的 Log 配置里，选择使用用户自定义，然后将（帮助文档）里面的配置放在自定义的配置中去，再将一些参数换成 OSS 的必要参数就可以了。

需要查看日志时，可以通过帮助文档的指导，找到日志存放的文件，然后点击下载查看。

方法二，将日志写入 SLS 中。与方法一类似，只是 LOG 配置项稍有差异；下载和查看方法与方法一一致。

上述就是丸趣 TV 小编为大家分享的如何将实时计算 Flink 与自身环境打通了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注丸趣 TV 行业资讯频道。