分享好友 最新动态首页 最新动态分类 切换频道
kafka 可视化工具_关于StreamSets ETL工具的简单部署和使用
2024-12-26 22:10

概述

官网:https://streamsets.com/

Streamsets是一款大数据实时采集和ETL工具,可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面,实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有
- 可视化界面操作,不写代码完成数据的采集和流转
- 内置监控,可是实时查看数据流传输的基本信息和数据的质量
- 强大的整合力,对现有常用组件全力支持,包括50种数据源、44种数据操作、46种目的地。

对于Streamsets来说,最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。

常见的Origins有Kafka、HTTP、UDP、JDBC、HDFS等;Processors可以实现对每个字段的过滤、更改、编码、聚合等操作;Destinations跟Origins差不多,可以写入Kafka、Flume、JDBC、HDFS、Redis等。

部署:

部署要求:

centos7+

JDK1.8+

首先到StreamSets官网提供的下载址:https://archives.streamsets.com/index.html

官方提供核心包下载,完整包下载及docker安装 等多种下载方式.完整包大小约4G+,包含所支持的所有组件.多数用不到,所以不推荐下载完整包.一般下载核心包 Core SDC Tarball 即可.

准备工作:

首先先创建一部分备用文件夹 ,用来测试.生产服务器根据需求指定文件路径.

将tar包上传至服务器,(将tar包放入opt或其他文件夹),

解压tar包 :# tar xvzf streamsets-datacollector-core-***.tgz

进入bin文件夹 :# cd streamsets-datacollector-***/bin/

执行命令:# https://blog.csdn.net/weixin_39751327/article/details/streamsets dc

有可能会报错 :

Java 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTS

Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/6dmjXd

如果在运行的时候遇到上面的报错,修改操作系统的 open files 限制数量即可。

命令 #vi /etc/security/limits.conf

在 # End of file结束语上方 添加两行内容

* soft nofile 102400

* hard nofile 102400

保存退出.然后重启机器reboot.

运行 'ulimit -n' 既可以看到 open files 设置值已生效。

部署完成!

操作:

进入StreamSets主页,默认帐号密码 admin

首先查看是否存在JDBC组件,mysql日志记录组件,进入包管理器

进入项目目录下,

进入 streamsets-libs 文件夹 # cd streamsets-libs

然后删除刚刚安装失败的组件包# rm -rf streamsets-datacollector-********

然后重新安装即可

安装完成后重启即可,再次进入包管理器即可看到组件已安装.即可进行pipelines管道流配置,

在右侧选择你要使用的组件,单击,即可出现在左侧画布上,

然后对接收组件进行配置.

点击'眼睛'预览配置即可进行逐步测试,此功能类似Debug,将会逐个节点进行测试,更容易调试,进入后即可看到数据源读取的数据内容并操作.

最新文章
笔记本电脑重装系统教程:一步步轻松搞定
本文将详细介绍如何为笔记本电脑重装系统,包括准备工作、选择操作系统、系统安装步骤以及安装后的优化和注意事项。通过本教程,您将能够轻松完成系统重装,提高电脑性能并解决可能遇到的问题。一、准备工作1. 备份重要数据:在重装系统之
【U98QQ输入法下载】欧新U98QQ输入法8.7.7免费下载
QQ输入法是一款高效、智能的手机输入软件。能够支持多种输入:拼音、英文、五笔、笔画、手写、语音、数字、符号,配合整句输入、智能纠错、云候选等扩展功能,更加便捷的满足了不同用户的需求。QQ输入法通过多项技术,为用户带来更快、更稳
网站快排名优化方法软件,提升搜索引擎排名的秘密武器,网站快速排名优化技巧
网站快排名优化方法软件是提升搜索引擎排名的秘密武器,通过优化网站内容和结构,提高网站在搜索引擎中的排名。该软件提供了一系列快速排名优化技巧,包括关键词研究、内容优化、链接建设等,帮助网站快速提升排名。使用这些技巧,可以吸引
【V1(移动4G)WiFi万能钥匙下载】vivo V1 移动4GWiFi万能钥匙5.1.01免费下载
下载WiFi万能钥匙,认准官方正版!免费安全WiFi热点,无忧一键连接。日常任务随时做,轻松赚现金外快~【积分赚钱】完成简单日常任务,轻轻松松赚现金【安全免费】随时随地免费连接,畅享安全免费WiFi,节省流量快人一步!【权威认证】通过
热门关注:贵阳在哪里看白癜风“top3!”伍德灯下淡白色荧光边界不清是什么
热门关注:贵阳在哪里看白癜风“top3!”伍德灯下淡白色荧光边界不清是什么。2024年白癜风医院排行榜:1、贵州皮肤病医院2、贵阳白癜风专科医院3、贵州白斑定点医院4、贵州医科大学附属医院(皮肤科)5、贵阳白癜风防治中心6、贵阳那家医院
【A620WiFi万能钥匙下载】联想A620WiFi万能钥匙5.1.02免费下载
下载WiFi万能钥匙,认准官方正版!免费安全WiFi热点,无忧一键连接。日常任务随时做,轻松赚现金外快~【积分赚钱】完成简单日常任务,轻轻松松赚现金【安全免费】随时随地免费连接,畅享安全免费WiFi,节省流量快人一步!【权威认证】通过
陈佳柔-那就好好告个别吧(抖音童声版)的QQ空间背景音乐外链:
https://www.ihaoge.net/server/1/182514757.mp3歌曲陈佳柔-那就好好告个别吧(抖音童声版)的MP3下载地址来源于网络分享,复制链接或者右键链接另存为即可下载MP3音乐,同时网站提供陈佳柔-那就好好告个别吧(抖音童声版)的QQ空间背景音乐歌
莆田搜狗SEO步骤,优化搜索排名,助力企业腾飞
随着互联网的不断发展,搜索引擎(SEO)已成为企业提升品牌知名度和吸引潜在客户的重要手段。在众多搜索引擎中,搜狗作为国内领先的搜索引擎,拥有庞大的用户群体。本文将结合地区实际情况,探讨如何运用搜狗SEO策略,优化搜索排名,助力企
淘宝直通车排名规则有哪些?排名模式介绍
本文主题淘宝直通车排名规则有哪些,淘宝直通车,淘宝问答。如今在淘宝平台上经营的各种规模的店铺中,很多人都用过淘宝直通车,但由于每个店主掌握的技巧不同,淘宝直通车的操作效果也很不一样,那么淘宝直通车排名的具体规则是什么?那么,
蜘蛛池免费百度推广,App运营的新策略,蜘蛛池免费百度推广app运营
蜘蛛池免费百度推广是一种新型的App运营策略,通过利用蜘蛛池技术,将App信息快速、广泛地传播到百度搜索引擎中,提高App的曝光率和下载量。这种策略不仅免费,而且效果显著,能够帮助App运营者快速提升用户量和品牌知名度。蜘蛛池技术还可
相关文章
推荐文章
发表评论
0评