文档结构  
翻译进度:已翻译     翻译赏金:0 元 (?)    ¥ 我要打赏

其实Hadoop已经很快了,但是用内存计算会更快。为了缩短你获取数据的时间,你需要给你的HDFS提速(对Hive,Hbase什么的都有帮助)。当然你可以升级你的硬件比如用超级快的EMC Isilon或者HPE,Dell,IBM的高端服务器。但是最简单的方式,并且近乎免费的是使用你的内存,如果你有足够的内存的情况下,Apache的开元项目Ignite是个非常好的选择。我也看了像Apche Geode,Redis,SnappyData和一些一起他的内存加速产品,未来也会写相关的文章。

为了使用项目网站上第一个设施,我已经安装了Hortonworks HDP 2.4 的沙盒环境。同时确保你选择的是Hadoop内存加速器,请用下面的方法:

第 1 段(可获 1.56 积分)
wget https://dist.apache.org/repos/dist/release/ignite/1.7.0/apache-ignite-hadoop-1.7.0-bin.zip

unzip apache-ignite-hadoop-1.7.0-bin.zip 

创建配置文件 /etc/default/hadoop ,同时声明Java, Ignite 和 Hadoop 环境变量和相关的配置参数。

[root@sandbox apache-ignite-hadoop-1.7.0-bin]# 
cat /etc/default/hadoop

export JAVA_HOME=/usr/lib/jvm/java-1.7.0

export IGNITE_HOME=/opt/demo/ignite/apache-ignite-hadoop-1.7.0-bin

export HDP=/usr/hdp/current

export HADOOP_HOME=$HDP/hadoop-client/

export HADOOP_COMMON_HOME=$HDP/hadoop-client/

export HADOOP_HDFS_HOME=$HDP/hadoop-hdfs-client/

export HADOOP_MAPRED_HOME=$HDP/hadoop-mapreduce-client/

运行如下命令,启动加速器:

cd  /opt/demo/ignite/apache-ignite-hadoop-1.7.0-bin

bin/ignite.sh

为了使用以上的基础设施,你也需要从Ambari配置YARN,HDFS的相关配置,这里就不在陈述了,配置完了别忘了在Ambari下重启相关节点。然后你就会发现你的请求已经变快了。

第 2 段(可获 0.85 积分)

文章评论