TDH大数据平台实验_05_Sqoop基本用法.pdf

平台认证数据工程师培训 课堂实验 一、基本信息 文档编号 文档版本 1.0 实验名称 Sqoop 基本用法 所属课程 第5 讲 分布式ETL 工具Sqoop 认证等级 数据工程师 （初级） 授课形式 上机实验 实验批次 第5 次 / 共11 次 二、实验目的  掌握Sqoop 数据导入的基本过程。  理解Sqoop 工作原理。 三、实验准备  为了简化实验，采用Incepor Metastore 自带的MySQL （即TxSQL），作为Sqoop 数据源。  安装TDH Client，使用TDH Client 集成的Sqoop。  实验目录规划（zhangsan 代表学员姓名） （1）本地目录：mnt/disk1/zhangsan ； （2 ）HDFS 采集目录：/tmp/zhangsan/sqoop_data/ ； （3 ）MySQL 数据库名：db_zhangsan 。 四、实验内容 1、创建MySQL用户  任务：创建MySQL 用户，将全部权限赋给集群的三台服务器，并确保赋权生效。  步骤 Linux ： /* 登录MySQL ，-u 为用户名，-p 为密码，-P 为端口号，-h 为集群第一台服务器IP ， root 密码存储在服务器的/etc/txsql1/conf/db.properties 文件中 */ 1. mysql -uroot –p120621016 –P3316 –h 172.16.140.85 SQL： // 创建用户 1. create user 'sqoopuser'@'172.16.140.85' identified by '111111'; 1 平台认证数据工程师培训 2. create user 'sqoopuser'@'172.16.140.86' identified by '111111'; 3. create user 'sqoopuser'@'172.16.140.87' identified by '111111'; // 将全部权限赋给集群的三台服务器 4. grant all privileges on *.* to sqoopuser@'172.16.140.85'; 5. grant all privileges on *.* to sqoopuser@'172.16.140.86'; 6. grant all privileges on *.* to sqoopuser@' 172.16.140.87'; // 使赋权生效 7. flush privileges; 2、准备实验数据  任务：向MySQL 中插入实验数据。  步骤 SQL： // 创建并切换数据库 1. create database db_zhangsan; 2. use db_zhangsan; 3. show tables; // 创建表，并插入实验数据 4. create table test(name varchar(11),age int ,sex varchar(11)); 5. insert into test value('zs',11,'girl'); 6. insert into test value('zs',11,'girl'); 7. insert into test value('zs',11,'girl'); 8. insert into test value('zs',11,'girl'); 9. insert into test value('zs',11,'girl'); 10. i