开源大数据组件部署文档.docx

开源大数据组件部署文档 服务器配置 建议配置： CPU 4核+ 内存 16G+ 硬盘100G+ 环境准备 操作系统：CentOS 7 JDK1.8 部署组件清单 组件名称 组件主要功能说明 依赖环境 版本 python python环境 2.7 dataX(+dataX-web) dataX:数据同步 dataX-web:提供可视化web界面配置dataX任务 python2.7 mysql dolphinscheduler 调度系统 dataX等组件-根据需求选择 jdk1.8+ hadoop+hive 分布式存储+批数据处理 clickhouse OLAP引擎，MPP数据库 docker 容器 dataease 可视化平台 docker flink 实时/批数据处理 1.13 python2.7部署 上传安装包至服务器 (也可至 /ftp/python下载python2新版本) 解压安装包 xz -d Python-2.7.17.tar.xz tar -xvf Python-2.7.17.tar 安装python2.7 cd Python-2.7.17 ./configure --prefix=/usr/local makemake install 查看python版本 python2.7 -V DataX部署 环境准备 CentOS 7 python 2.7 上传dataX安装包至服务器(建议用此安装包，该安装包包含clickhouse writer) 解压安装包 tar -zxvf datax.tar.gz dataX自检 cd datax python ./bin/datax.py ./job/job.json dataX环境变量配置 编辑/etc/profile，添加DATAX_HOME配置 vi /etc/profile /etc/profile重新生效 source /etc/profile dataX-web部署(可选) 环境准备 dataX CentOS7 python2.7 mysql 上传dataX-web安装包至服务器 解压datax-web安装包 tar -zxvf datax-web-2.1.2.tar.gz 安装datax-web cd datax-web-2.1.2 ./bin/install.sh 默认都选择Y进行安装，数据库部分需要配置mysql，见标红部分 验证mysql库初始化成功 修改datax-executor.sh中datax.py的路径为datax实际安装路径 vi ./modules/datax-executor/bin/datax-executor.sh 启动datax-web ./bin/start-all.sh 访问datax-web 浏览器访问 http://ip:9527/index.html 登陆用户名admin 密码123456 服务启停 停止服务：datax-web安装目录/bin/stop-all.sh 启动服务：datax-web安装目录/bin/start-all.sh DolphinScheduler?部署 注：需要和数据同步工具部署在同一台服务器上 环境准备 dataX JDK1.8 可选：Hadoop、Hive、Flink 上传DolphinScheduler安装包至服务器 解压 tar -xvzf apache-dolphinscheduler-*-bin.tar.gz cd apache-dolphinscheduler-*-bin dolphinscheduler环境变量配置 根据已部署的组件修改dolphinscheduler_env.sh中的相应的环境变量 vi ./conf/env/dolphinscheduler_env.sh 启动服务 sh ./bin/dolphinscheduler-daemon.sh start standalone-server 登录dolphinscheduler 浏览器访问地址?http://localhost:12345/dolphinscheduler?即可登录系统UI。 默认的用户名和密码?admin/dolphinscheduler123