1.1 配置
编辑$HADOOP_HOME/etc/hadoop/hdsf-site.xml文件,增加如下配置:
<property>
<name>dfs.access.time.precision</name>
<value>3600000</value>
<description>The access time for HDFS file is precise upto thisvalue.
The default value is 1 hour. Setting a value of 0 disables
access times for HDFS.
</description>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>1024</value>
</property>
<property>
<name>dfs.nfs3.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
ü 上述的属性名称dfs.access.time.precision已经被dfs.namenode.accesstime.precision替换,建议使用这个名称;
ü 上述的属性名称dfs.datanode.max.xcievers已经被dfs.datanode.max.transfer.threads替换,建议使用这个名称;
编辑log4j.property文件,增加如下配置:
log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG
log4j.logger.org.apache.hadoop.oncrpc=DEBUG
1.2 启动
然后可以启动portmap了,注意这里需要root权限才能启动:
sudo ./bin/hdfs portmap -start
若提示端口已经被占用,则说明系统已经启动了,需要先停止:
service portmap stop
然后再启动。
再启动nfs,一定要先启动portmap才能启动nfs:
./bin/hdfs nfs3 start
可以通过以下两个命令来观察是否启动OK:
rpcinfo -p 192.168.111.130 #后面的ip地址是namenode的启动服务器地址
showmount -e 192.168.111.130
在/mnt目录下建立挂载目录hdfs
mkdir –p /mnt/hdfs
挂载到目标目录,注意这里使用的是mount.nfs,若没有则需要手工先安装,以下命令是在ubuntu12.04server版本是进行的:
sudo mount.nfs -o nolock 192.168.111.130://mnt/hdfs
若上述命令提示mount.nfs不存在,则需要提前先安装好:
sudo apt-get install nfs-common
或者
sudo mount -o nolock 10.3.3.141:/ /mnt/hdfs #这是在suse机器上的命令
或者
sudo mount -t nfs -o vers=3,proto=tcp,nolock10.3.3.141:/ /mnt/hdfs #这是在suse机器上的命令
1.3 测试
实测如下:
一台namenode(10.3.3.141),两台datanode(10.3.3.142,10.3.3.143):
1、往hdfs上复制文件:
[aihadoop@suse-141 ~] $ time cp jdk.tar.gz/mnt/hdfs/
real0m6.733s
user0m0.000s
sys0m0.264s
[aihadoop@suse-141 ~] $ ll jdk.tar.gz
-rw-r--r-- 1 aihadoop aihadoop 156209379 2013-12-2015:57 jdk.tar.gz
[aihadoop@suse-141 soft_bak] $ llspark-0.8.1-incubating-bin-hadoop2.tgz
-rw------- 1 aihadoop aihadoop 225613885 2013-12-2314:49 spark-0.8.1-incubating-bin-hadoop2.tgz
[aihadoop@suse-141 soft_bak] $ time cp spark-0.8.1-incubating-bin-hadoop2.tgz/mnt/hdfs/
real0m7.671s
user0m0.000s
sys0m0.376s
从上面的测试来看,在目前这个环境中:上传速度约为:26m/s
2、从hdfs上复制文件到本地目录:
[aihadoop@suse-141 workdir] $ time cp/mnt/hdfs/test_put_250_06_20130604148159 .
real0m3.243s
user 0m0.000s
sys0m0.508s
[aihadoop@suse-141 soft_bak] $ lltest_put_250_06_20130604148159
-rw-r--r-- 1 aihadoop aihadoop 102324750 2014-01-0317:25 test_put_250_06_20130604148159
[aihadoop@suse-141 workdir] $ time cp/mnt/hdfs/jdk.tar.gz .
real0m4.750s
user0m0.004s
sys0m0.420s
[aihadoop@suse-141 workdir] $ ll jdk.tar.gz
-rw-r--r-- 1 aihadoop aihadoop 156209379 2014-01-0317:44 jdk.tar.gz
[aihadoop@suse-141 soft_bak] $ time cp/mnt/hdfs/input/100_01_20130726021112 .
cp: writing `./100_01_20130726021112': No spaceleft on device #这里空间不够,写部分成功了。
real3m35.862s
user0m0.164s
sys0m17.613s
[aihadoop@suse-141 soft_bak] $ ll 100_01_20130726021112
-rw-r--r-- 1 aihadoop aihadoop 40210227202014-01-03 17:31 100_01_20130726021112
从上面的测试来看,在目前这个环境中:下载速度约为:32m/s,当下载的文件在hdfs的缓存中时,下载速度非常快。
从客户端进行文件上传和下载的速度取决于HDFS部署的硬件环境和datanode的个数。
分享到:
相关推荐
nfsv4.1协议的具体内容,与nfsv4.0进行对比。没有描述nfsv4.0协议的内容,除了与nfsv4.1相关的
NFSv3翻译文档,本人参考1813进行NFSv3基础进行翻译,内容主要包括NFSv3 概况,rpc相关信息,NFSv3与v2不同的地方,NFSv3的程序处理过程,NLM网络锁管理和MNT协议
UNFS3,一个用户空间NFSv3服务器(C)2003-2009,帕斯卡·施密特(Pascal Schmidt) UNFS3是NFSv3服务器规范的用户空间实现。 UNFS3支持所有NFSv3过程,但READDIRPLUS过程除外。 它尝试在用户空间限制的范围内向NFS...
官方离线安装包,亲测可用
Golang网络文件服务器NFSv3协议在纯Golang中的实现。当前状态:最少测试挂载,只读和读写支持用法目前最有趣的演示在example/osview 。启动服务器, go run ./example/osview . 。的本地文件夹.将是坐骑中的初始视图...
NFSv3 access to data in HDFS Support for running Hadoop on Microsoft Windows Binary Compatibility for MapReduce applications built on hadoop-1.x Substantial amount of integration testing with rest of ...
协议详细描述了NFS协议最新的版本NFSv4.1,也详细介绍了pNFS协议。
UNFS3 的开发已移至 GitHub:https://github.com/unfs3/unfs3 UNFS3 是 NFSv3 服务器规范的用户空间实现。 它提供了一个统一的 mountd 和 nfsd 程序,目前可以在 Linux、NetBSD 和 Solaris 下运行。
NFSv4-delegation-Noveck-color.pdf
activemq5.8版本搭建master/slave架构所需要的nfsv4的指导文档
离线安装包,亲测可用
该项目提供了一个用户级命令来编辑NFSv4访问控制列表(ACL)。 该命令允许用户从不完全支持NFSv4 ACL的客户端显示和更改NFSv4 ACL。
官方离线安装包,亲测可用
nfs-ganesha NFS-Ganesha是NFSv3,v4,v4.1文件服务器,在大多数UNIX / Linux系统上以用户模式运行。 它还支持9p.2000L协议。 有关更多信息,请参阅 。
EMC VNX系列存储nfsv4配置指南.pdf
NFSV4报文 tcpdump报文 NFS报文_抓包分析_ubuntu12.04
NFSv4.1标准,里面的并行网络文件系统很有用
一个用于为linux os环境实现nfsv4 sytle acl模型(带有强制执行)的项目,其中包括用于samba的vfs模块。
我创建了一个新的 Centos7 NFS 客户端,它利用运行 systemd 的图像来允许我们执行以下操作: 连接到 NFSv3 和 NFSv4.1 共享 使用 autofs 来利用自动挂载程序 客户端需要在映像启动后运行脚本。 Dockerfile 使用挂载...
NFSv3协议文档,在机翻的基础上手动进行了修正,并做了一些排版