博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SQOOP安装部署
阅读量:6605 次
发布时间:2019-06-24

本文共 1106 字,大约阅读时间需要 3 分钟。

1.环境准备

1.1软件版本

sqoop-1.4.5 

2.配置

sqoop的配置比较简单,下面给出需要配置的文件

2.1环境变量

sudo vi /etc/profile
SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5PATH=$SQOOP_HOME/binexport SQOOP_HOME

2.2sqoop-env.sh

#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/home/hadoop/source/hadoop-2.5.1#Set path to where hadoop-*-core.jar is availableexport HADOOP_MAPRED_HOME=/home/hadoop/source/hadoop-2.5.1#set the path to where bin/hbase is available#export HBASE_HOME=#Set the path to where bin/hive is availableexport HIVE_HOME=/home/hadoop/source/hive-0.14.0#Set the path for where zookeper config dir is#export ZOOCFGDIR=

注:目前我是木有配置HBase和Zookeeper的,若有需要的人可以将路径直接指定到HBase和Zookeeper的安装路径下。

2.3异常

Streaming result set com.mysql.jdbc.RowDataDynamic@12e9d40f is still active

执行sqoop脚本时,出现这个异常是因为mysql的驱动的原因,使用最新的mysql驱动包。

解决方案:

wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz

然后解压到sqoop目录的lib目录下,重新执行脚本正常。

至此,sqoop的安装配置以及使用到此完成。

联系方式: 
邮箱:smartloli.org@gmail.com 
Twitter:  
QQ群(Hadoop - 交流社区1):  
温馨提示:请大家加群的时候写上加群理由(姓名+公司/学校),方便管理员审核,谢谢! 

热爱生活,享受编程,与君共勉!

本文转自哥不是小萝莉博客园博客,原文链接:,如需转载请自行联系原作者

你可能感兴趣的文章
【原创】数组完整篇 / 基本操作/ 进阶 / 遍历 / 实例 / 拓展 / 取 / 赋
查看>>
linux 挂载samba盘
查看>>
pitfall fields
查看>>
Hadoop实战读书笔记(3)
查看>>
策略模式
查看>>
2012-2013 微软商业智能大调研分析报告
查看>>
iOS7设计规范分享:UI设计基础
查看>>
徐元杰:“淘”里“淘”外,简单营销
查看>>
国内外SNS比较分析
查看>>
iOS Image Filters
查看>>
Dsoframer实现文档在线浏览功能
查看>>
【图解AI】什么是语义分割、实例分割、全景分割
查看>>
调整PHPStorm中文件修改后标签和文件名的颜色与背景色
查看>>
devise登陆页不使用application模版
查看>>
微信小程序,用户私密信息解密
查看>>
android程序在下载文件时报java.io.EOFException
查看>>
swoole项目思维转换 -- 前篇
查看>>
Spring事务的传播属性和隔离级别
查看>>
SpringBoot之WebSocket和SSE
查看>>
在zsh下使用tmux会自动变更窗口名称的问题
查看>>