MySQL中Datax如何实现离线数据抽取

共计 2488 个字符，预计需要花费 7 分钟才能阅读完成。

这篇文章将为大家详细讲解有关 MySQL 中 Datax 如何实现离线数据抽取，丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Datax 下载地址：https://github.com/alibaba/DataX

Datax MySQL 读：
https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md

Datax MySQL 写：
https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md

1. 下载安装 Datax 软件 (必须安装 jdk 1.8 版本以上)

[root@localhost ~]# tar xvf jdk-8u65-linux-x64.tar.gz

[root@localhost ~]# mv jdk1.8.0_151  /usr/local/jdk1.8.0_151

[root@localhost ~]# vim /etc/profile

export PATH=$PATH:/usr/local/jdk1.8.0_151/bin

[root@localhost ~]# vim /etc/ld.so.conf.d/mysql-x86_64.conf

/usr/local/jdk1.8.0_151/lib

[root@localhost ~]# tar xvf datax.tar.gz

[root@localhost ~]# cd datax/job/

2. 编辑配置文件

[root@localhost job]# vim job.json

{

    job : {

        setting : {

            speed : {

                channel : 5

            }

        },

        content : [

            {

                reader : {

                    name : mysqlreader ,

                    parameter : {

                        username : taf ,

                        password : taf2015 ,

                        column : [*],

                        connection : [

                           {

                              table : [t2],

                              jdbcUrl : [jdbc:mysql://172.16.8.160:3306/test?useUnicode=true characterEncoding=utf8]

                           }

                        ]

                    }

                },

                writer : {

                    name : mysqlwriter ,

                    parameter : {

                        writeMode : update ,

                        username : wangying ,

                        password : wangying ,

                        column : [*],

                        connection : [

                            {

                                jdbcUrl : jdbc:mysql://172.16.8.93:3306/db_stktag ,

                                table : [t2]

                            }

                        ]

                      }

                    }

                }

        ]

    }

}

[root@localhost job]# 

3.mysql 两边表结果必须一至，使用 python2 抽取数据

[root@localhost job]# python2 /root/datax/bin/datax.py job.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !

Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.

2019-01-29 11:18:50.569 [main] INFO  VMInfo – VMInfo# operatingSystem class = sun.management.OperatingSystemImpl

2019-01-29 11:18:50.615 [main] INFO  Engine – the machine info  =  

osInfo:Oracle Corporation 1.8 25.151-b12

jvmInfo:Linux amd64 3.10.0-123.el7.x86_64

cpu num:8

totalPhysicalMemory:-0.00G

freePhysicalMemory:-0.00G

maxFileDescriptorCount:-1

currentOpenFileDescriptorCount:-1

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

任务启动时刻                     : 2019-01-29 11:18:50

任务结束时刻                     : 2019-01-29 11:19:04

任务总计耗时                     :                 13s

任务平均流量                     :                1B/s

记录写入速度                     :              0rec/s

读出记录总数                     :                   7

读写失败总数                     :                   0

[root@localhost job]#

关于“MySQL 中 Datax 如何实现离线数据抽取”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。