【DataX】datax | datax-web | win搭建datax-web环境 | linux环境

【DataX】datax | datax-web | win搭建datax-web环境 | linux环境

一、环境准备

        1、jdk8

        2、maven

        3、mysql7

        4、python3

        5、window10

        6、idea

        7、2345解压(win支持tar.gz解压)

        8、git

二、linux操作步骤

1、准备作业目录

1)命令

mkdir -p /opt/datax
mkdir -p /opt/datax/jsonpath

2)查看python版本

python --version

说明1: python2.X,datax包可以直接用

说明2: python3.X,datax包的datax.py需要更换

说明3: 更换链接

https://github.***/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3

说明4: datax-web项目里面也有

 

~~

2、下载datax

1)下载

http://datax-opensource.oss-***-hangzhou.aliyuncs.***/datax.tar.gz

2)解压

tar zxvf datax.tar.gz

 

~~

3、datax-web项目部署

1)拉去源码

git clone 

说明1: datax-web自己存了一份

2)进入目录并编译打包

cd /opt/gitee/hg-datax-web


mvn clean install

3)进入并解压

cd build/
tar zxvf datax-web-2.1.2.tar.gz 

4)进入并解压模块

cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages
tar zxvf datax-admin_2.1.2_1.tar.gz 
tar zxvf datax-executor_2.1.2_1.tar.gz

5)启动datax-admin

cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-admin/bin
./datax-admin.sh start

6)启动datax-executor

cd /opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-executor/bin
./datax-executor.sh start

7)查看启动端口

***stat -anp  | grep 9527
***stat -anp  | grep 40002

说明1: datax-admin默认端口9527,这个端口修改起来比较难受,就没改了

说明2: datax-executor修改了端口,改为了40002

8)修改datax-executor参考

 9)日志文件datax-admin

/opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-admin/bin/console.out

10)日志文件datax-executor

/opt/gitee/hg-datax-web/build/datax-web-2.1.2/packages/datax-executor/bin/console.out

说明1: 启动失败了,可以看日志;admin失败可能是数据库连接或者端口占用

说明2: executor失败,可能是admin的端口不对,导致连接失败

说明3: admin正常,但是ip:端口访问404,需要加index.html,也就是: http://ip:port/index.html

11)效果图

 

~~

三、windows操作步骤

1、datax操作步骤

1)下载datax

http://datax-opensource.oss-***-hangzhou.aliyuncs.***/datax.tar.gz

2)其他版本:github

https://github.***/alibaba/DataX

3)解压

4)下载python3的datax.py

https://github.***/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3

5)替换掉datax\bin\*.py

6)删除以下目录下的多余文件

datax\bin\
datax\plugin\reader\
datax\plugin\writer

~~

2、datax-web操作步骤

1)克隆源码

https://github.***/WeiYe-Jing/datax-web.git

2)创建数据库datax_web

3)导入SQL

datax-web\bin\db\datax_web.sql

4)修改datax-admin配置

a> application.yml,修改端口即可

 b> bootstrap.properties,数据库配置

c> 运行DataXAdminApplication即可

运行报错:

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

说明: 忽略即可

5)修改datax-executor

 6)启动DataXExecutorApplication

~~

3、使用

1)访问web

http://127.0.0.1:8001/index.html#/login?redirect=%2Fdashboard

2)默认账号

admin
123456

3)了解页面

~~

 4、docker部署(待验证)

1)拉取镜像

docker pull linshellfeng/datax_web:3.0.1

说明: 3.0.1已经包含了datax,直接配置数据库使用即可

2)创建宿主机目录

mkdir -p /data/datax/datax-admin/conf

3)创建并配置yml(数据库连接)

vi /data/datax/datax-admin/conf/bootstrap.properties

4)docker启动

docker run -d --name datax_web -p 9527:9527 -v /data/datax/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties linshellfeng/datax_web:3.0.1

~~

转载请说明出处内容投诉
CSS教程_站长资源网 » 【DataX】datax | datax-web | win搭建datax-web环境 | linux环境

发表评论

欢迎 访客 发表评论

一个令你着迷的主题!

查看演示 官网购买