snappy压缩算法详解(hive存储格式和压缩格式)

Hadoop3编译安装 基础环境:Centos7.7 编译环境软件安装目录 mkdir-p/export/server Hadoop编译安装 安装编译相关的依赖 1、yuminstallgccgcc-c++-y #下面这个命令不需要执行手动安装cmake 2、yuminstallmakecmake#(这里cmake版本推荐为3.6版本以上,版本低源码无法编译!可手动安装) 3、yuminstall…

Hadoop3编译安装

基本环境:Centos 7.7

编译环境手机软件安装文件目录

mkdir -p /export/server

Hadoop编译安装

  • 安装编译有关的依靠
1、yum install gcc gcc-c   -y
#下边这种指令不用实行 手动安装cmake
2、yum install make cmake  #(这儿cmake版本强烈推荐为3.6版本以上,版本低源代码没法编译!可手动安装)
3、yum install autoconf automake libtool curl -y
4、yum install lzo-devel zlib-devel openssl openssl-devel ncurses-devel -y
5、yum install snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst -y
  • 手动安装cmake
#yum卸载已安装cmake 版本低
yum erase cmake

#缓解压力
tar zxvf cmake-3.13.5.tar.gz

#编译安装
cd /export/server/cmake-3.13.5

./configure

make && make install

#认证
[root@node4 ~]# cmake -version      
cmake version 3.13.5

#要是没有恰当表明版本 请断掉SSH联接 重新写过登陆
  • 手动安装snappy
#卸载掉已经安装的
cd /usr/local/lib
rm -rf libsnappy*
#提交缓解压力
tar zxvf snappy-1.1.3.tar.gz 

#编译安装
cd /export/server/snappy-1.1.3
./configure
make && make install

#认证是不是安装
[root@node4 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy
-rw-r--r-- 1 root root 511K Nov  4 17:13 libsnappy.a
-rwxr-xr-x 1 root root  955 Nov  4 17:13 libsnappy.la
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x 1 root root 253K Nov  4 17:13 libsnappy.so.1.3.0
  • 安装配备JDK 1.8
#缓解压力安装包
tar zxvf jdk-8u65-linux-x64.tar.gz

#配备环境自变量
vim /etc/profile

export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

#认证是不是安装取得成功
java -version

java version \"1.8.0_65\"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
You have new mail in /var/spool/mail/root
  • 安装配备maven
#缓解压力安装包
tar zxvf apache-maven-3.5.4-bin.tar.gz

#配备环境自变量
vim /etc/profile

export MAVEN_HOME=/export/server/apache-maven-3.5.4
export MAVEN_OPTS=\"-Xms4096m -Xmx4096m\"
export PATH=:$MAVEN_HOME/bin:$PATH

source /etc/profile

#认证是不是安装取得成功
[root@node4 ~]# mvn -v
Apache Maven 3.5.4

#加上maven 阿里云仓库详细地址 加速中国编译速率
vim /export/server/apache-maven-3.5.4/conf/settings.xml

<mirrors>
     <mirror>
           <id>alimaven</id>
           <name>aliyun maven</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>
</mirrors>
  • 安装ProtocolBuffer 2.5.0
#缓解压力
tar zxvf protobuf-2.5.0.tar.gz

#编译安装
cd /export/server/protobuf-2.5.0
./configure
make && make install

#认证是不是安装取得成功
[root@node4 protobuf-2.5.0]# protoc --version
libprotoc 2.5.0
  • 编译hadoop
#提交缓解压力源代码包
tar zxvf hadoop-3.1.4-src.tar.gz

#编译
cd /export/server/hadoop-3.1.4-src

mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib

#主要参数表明:

Pdist,native :把再次编译形成的hadoop动态库;
DskipTests :绕过检测
Dtar :最终把文档以tar打包
Dbundle.snappy :加上snappy缩小适用【默认设置官网下载的是不兼容的】
Dsnappy.lib=/usr/local/lib :指snappy在编译设备上安装后的库途径
  • 编译以后的安装包途径
/export/server/hadoop-3.1.4-src/hadoop-dist/target

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2022年5月13日 下午4:29
下一篇 2022年5月13日 下午4:30

相关推荐

  • 生活笔记本电脑怎么选购(高品质生活选这三款笔记本)

    [PConline导购]都市生活是忙碌的,好不容易到了春节终于可以给自己放个长假,身心休整后继续出发。在大城市打拼的各位小伙伴,一台精致轻薄的笔记本,则可以让我们事半功倍的处理各种工作,每天拥有好心情,提高我们的生活品质。如今随着技术和工艺的进步,也出现了一些精致如艺术品的轻薄本,不仅是职场利器,更适合追求小而美的女性用户哦。 谈到笔记本,大家千万不要只想到硬件性能——而这仅仅是一台好产品的基础。…

    2022年9月27日
    540
  • 借贷宝赚钱新模式介绍,利用借贷宝日挣千元的操作方法

    作为众多的P2P平台之一,借贷宝最近半个月在金融街乃至互联网行业引起了惊风骇浪。借贷宝的旗号是服务于熟人之间借贷的互联网金融平台,也有人说“借贷宝熟人营销模式类似传销?”。这个话题留给专家去讨论吧,在一众网民与众专家的激烈交锋中,网络赚钱高手却借由事件营销操作借贷宝。借贷宝在8月12号融资20亿,这20当然主要是用作现金储备来应付P2P平台的高流动性,除此之外,一部分钱已经进了网赚高手的腰包。在这…

    2022年8月22日
    1390
  • 决策树代码实现(决策树算法测试代码)

    本教程介绍了用于分类的决策树,即分类树,包括分类树的结构,分类树如何进行预测,使用scikit-learn构造分类树,以及超参数的调整。 本教程详细介绍了决策树的工作原理 由于各种原因,决策树一种流行的监督学习方法。决策树的优点包括,它既可以用于回归,也可用于分类,易于解释并且不需要特征缩放。它也有一些缺点,比如容易过拟合。本教程介绍了用于分类的决策树,也被称为分类树。 除此之外,本教程还将涵盖:…

    2022年5月9日
    1060
  • 暖被机哪个牌子好(善思暖被机测评)

    一到冬春交替,还没熬完寒冬的湿冷,阴雨天气就来了,又得遭受好几个月“回南天、潮湿天气”侵袭。 连日里见不到阳光,衣物晾晒就成了一个大难题! 晾了半个月的衣服,还是湿哒哒的、还能拧出水来。内衣、内裤、袜子这些小件,总是水滴滴的。被子、床单永远都是潮乎乎的,还有一股子难闻的霉味。 更可怕的是,脸上身上总感觉痒痒的想去抓,有些部位甚至还长了疹子,那是因为潮湿的衣物、被褥让你感染上螨虫啊! 开空调、除湿机…

    2022年9月21日
    590
  • 海信电视root权限怎么开启,海信电视应用权限修改方法

    如果你经常安装软件,使用及设置软件时会发现时间会有一些实用功能需要用到ROOT权限,如:开机启动设备、卸载预装软件、垃圾清理、远程控制等,但又苦于无法找到简单名明了方法步骤来参考,毕竟电视也是家里属于大家电电器,希望下面我刚写的步骤教程能给你这方面的操作提供一些参考! 前提条件: 你家无线路由器有吗? 电脑连接到这个路由器了吗? 你家电视连接到这个路由器了吗? 电脑(可以是一体机、笔记本、上网本、…

    2022年6月25日
    1890
  • 体育营销方案怎么做,有哪些成功案例

    随着90、00后成为了社会主要消费大军,各大品牌都开始了品牌年轻化。根据报告显示,赛事赞助已经上升为仅次于“综艺冠名与植入”的第二位内容营销方式,占据了提升百度指数效果的13%。体育营销成为拉近品牌与年轻一族之间距离不错的切入点,便于培育潜在消费群体。 在欧美国家体育产业之所以发达,并不仅仅是由体育从业者自身的专业能力所决定的。其背后,反映的是整个社会的发展水平,人们的生活方式与文化价值取向。 例…

    2022年5月19日
    590
  • 千元性价比手机排行榜(性价比高的千元机推荐)

    马上就要过年了,相信也有部分读者在考虑要不要送一部手机给爸妈。而长辈对手机的要求没有那么高,可以通话看视频就够了,也没有游戏的使用需求。那么,本文就以千元价位段作为选机范围,给大家推荐三款口碑与性价比俱佳的手机,或许有你想送的机型。 1、红米10X 标签:销量高,拍照更突出 如果提到“性价比,送长辈,销量要高”这三个关键词,在千元价位段内,我最先想到的还是红米手机。红米是最早打造千元机的手机品牌,…

    2022年5月12日
    740
  • 好用的文件管理软件(电视端最好的文件管理器)

    近日,有用户问到:除了ES文件浏览器,哪个文件管理软件比较好用?今天,小编就为大家推荐一下,国内比较好用的、主流的精品电视端文件管理软件。 第一款:小白文件管理器 小白文件管理器最大的特点是界面简洁,操作简单,无论你是小白还是大虾都能使用电视遥控器快速进行文件管理操作。在功能上,它支持文件智能分类、支持跨终端远程数据传输,用户可使用内置的远程管理功能,轻松将电脑或手机中的安装包、图片、音乐和视频等…

    2022年4月29日
    1750
  • 苹果耳机线控失灵怎么修复,iOS10耳机线控失灵解决办法

    北京时间9月24日凌晨消息,苹果公司今日正式推送iOS10.0.2系统更新。作为一次小幅更新,iOS10.0.2大小只有50.1M,主要修复了EarPods耳机线控偶尔失灵的问题。 此前有部分iPhone7用户发现,当耳机接入iPhone7几分钟之后,苹果全新的Lightning接口EarPods耳机的音量键会定期失效,无法用线控调节音量,访问Siri或接电话。 另外,iOS10.0.2还修复了导…

    2022年7月5日
    3210
  • a站与b站有什么渊源,a站和b站的差距介绍

    A站作为国内第一家弹幕视频网站拥有着众多死忠粉,但是其知名度还是不如后成立的B站。 但是在收购风波以后,A站的知名度一跃而起,而从今年十月的新番情况来看,A站和B站的差距还是挺大的。 B站十月主打的王牌新番有《刀剑神域三》、《魔法禁书目录三》、《关于我转生成为史莱姆这档事》、《青春猪头少年不会梦到兔女郎学姐》、等等,这些番随便一部的播放量都已经破了千万。 比如刀剑,更新了三话就有1270w+的播放…

    2022年6月3日
    1180

发表回复

登录后才能评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信