分享好友 最新动态首页 最新动态分类 切换频道
Dinky 0.7.3 版本的安装与简单使用
2024-12-26 22:52

Dinky 是一个开源的流式计算平台,基于 Apache Flink 构建,致力于提供流处理作业的开发、调试、发布、运维一站式服务。它支持 SQL 语法,方便数据开发人员快速上手。

在本文中,我们将详细介绍 Dinky 0.7.3 版本的安装步骤和简单使用。


1. 安装前准备

在安装 Dinky 之前,需确保以下环境已经配置好

1. JDK 1.8 及以上版本
2. Apache Flink(建议使用 1.13.x 以上版本
3. MySQL 数据库
4. Maven 3.6.0+(用于构建

确保环境变量配置正确

 

2. 下载 Dinky 0.7.3

前往 [Dinky 官方 GitHub 仓库](https://github.com/DataLinkDC/dinky) 下载 0.7.3 版本的安装包。

 

3. 解压安装包

 

4. 配置 MySQL 数据库

Dinky 需要 MySQL 作为元数据存储。请在 MySQL 中创建一个数据库

 

登录创建好的dinky用户,执行初始化sql文件

 

修改 `conf/application.yml` 文件中的数据库连接配置

 

4. 加载依赖

加载Flink依赖

 

加载Hadoop依赖

Dinky 当前版本的 yarn 的 perjob 与 application 执行模式依赖 flink-shade-hadoop ,需要额外添加 flink-shade-hadoop-uber-3 包。将flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar上传到/opt/module/dinky/plugins目录下。

5.上传jar包

使用 Application 模式时,需要将flink和dinky相关的包上传到HDFS。

 

6. 启动 Dinky

执行以下命令启动 Dinky

 

启动成功后,访问 [http://bigdata01:8888] 即可进入 Dinky 管理界面。


1. 登录 Dinky 控制台

默认登录用户名和密码

- 用户名:admin
- 密码:admin

2. 配置 Flink 集群

进入 Flink 管理 ➞ 集群配置 页面,点击 新增集群,配置如下

- 集群名称:flink-1.13
- 集群地址:http://bigdata01:8081
- Flink 版本:1.13

3. 创建 SQL 作业

作业开发 ➞ 新增作业 中,创建一个简单的 SQL 作业,如下
 

 

4. 提交作业

点击 保存 并 提交 作业,Dinky 将自动将 SQL 转换为 Flink 作业并在集群上运行。


1. 启动失败,提示端口占用

   检查 `8888` 端口是否被占用,可以修改 `application.yml` 中的 `server.port` 来更换端口。

2. 无法连接 Flink 集群

   确保 Flink 集群的 JobManager 正常运行并且地址配置正确。


最新文章
龙头人脸识别上市公司有哪些?(2024/12/13)
人脸识别上市公司龙头有哪些?据南方财富网概念查询工具数据显示,人脸识别上市公司龙头有:大华股份:人脸识别龙头。从大华股份近三年净利润复合增长来看,近三年净利润复合增长为47.62%,最高为2023年的73.62亿元。公司通过多年的潜心研
闪回收APP小程序开发
什么叫闪回收系统软件?闪回收app开发简易来描述就是采用网上微信/APP提交订单与线下体验结合的管理机制,运用定位服务配对离客户z近一些收货员上门收购。用户使用闪回收的微信公众平台,提交订单预定回收员上门服务的时间也,可以在网上里
盘点一款“阳光出行抢单神器软件下载”详细开挂玩法
阳光出行抢单神器软件下载是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加我微下载使用。抢单可以一键让你轻松成为“必赢”。其操作方式十分简单,打开这个应用便可以自定义抢单系统规律,只需要输入自己
贴心清理手机版功能
贴心清理app是一款十分好用的清理软件,软件内有多种优化工具,能够帮助用户清理卸载的各种残留文件,还有整理空间,让用户的手机内存变得富余起来,有需要的话就快来下载试试吧!软件包含的功能超多,随时轻松的清理手机中的垃圾,各种隐
外卖小程序公众号对接平台(如何成功搭建校园外卖平台)
我们很少主动去了解外卖小程序公众号对接平台的内容,需要引起重视以及注意,在大家实践之前,我们先理清楚本文提到的相关内容。外卖小程序公众号对接平台——餐饮行业的数字化助推器近年来,随着消费者对外卖服务需求的增加,外卖平台已成
长春如何利用百度资源平台挖掘核心关键词
今天让小编至可拥有给大家介绍关于长春如何利用百度资源平台挖掘核心关键词相关内容,希望对大家有所帮助。如果我们想做好事,我们必须首先使用正确的工具。对于SEO,我们仍然尝试它。在SEO的工作中,我们经常使用站长工具,百度搜索资源平
顶点财经服务费能退吗?虚假宣传欺诈消费者荐高位股!误导性宣传欺骗股友交费!服
  顶点财经服务费能退吗?虚假宣传欺诈消费者荐高位股!误导性宣传欺骗股友交费!服  杭州顶点财经荐股实力怎么样?被杭州顶点财经业务员忽悠购买五花牛系列、牛散训练营等投顾服务亏损怎么办?是被骗了吗?交了会员费能退吗?朝阳告诉
江特电机电机技术助力机器人智能化,个性化动漫头像制作也不再难!
AI动漫头像生成神器!个性头像一键生成,亲测好用!点击这里,免费生成https://ai.sohu.com/pc/generate?trans=030001_jdaitxdt 1、我们在电脑或手机浏览器中打开简单AI(https://ai.sohu.com/pc/generate/textToImg?trans=030001_jdaitxdt
用AI一键生成超逼真美女写真,体验梦幻AI艺术之旅!
DreamArt AIDreamArt AI 是一款致力于生成超高画质人物艺术作品的工具,拥有多种风格供选择。从经典油画到现代插画,用户可以根据自己的喜好设置各种参数。其生成的图片清晰度高、色彩丰富,适合各类社交平台使用。不过,DreamArt AI 的操
魔兽世界帧数怎么调出来:魔兽世界帧数调整攻略:提升游戏流畅度的详细指南
  在《魔兽世界》中,流畅的游戏体验离不开适当的帧率。高帧数不仅能提升画面的顺滑度,还能够增强玩家对战斗时机与环境反应的把握。低帧率则可能导致延迟和卡顿,从而影响整体游戏表现。因此,掌握如何调整框架非常关键。  缩减粒子效
相关文章
推荐文章
发表评论
0评