dmcp
- 浏览: 22470 次
- 性别:
- 来自: 广州
-
最新评论
文章列表
编译 hadoop 版本的命令如下，可以直接使用 make-distribution.sh 脚本来编译，命令如下：
./make-distribution.sh --name hadoop2.4 --tgz -Pyarn -Phive -Phadoop-2.4 -Dhadoop.version=2.4.0
然后就在当前目前会生成一个 tgz 的文件。
如果是编译 cdh 版本的话，参考命令如下：
./make-distribution.sh --name cdh4 --tgz -Phive -Pyarn-alpha -Dhadoop.version=2.0.0-cdh4.2.0 ...
- 2014-10-11 11:34
- 浏览 270
- 评论(0)
写了一个Python版本的小工具，可以在上班的时候刷一下你关注的股票信息。Python版本用的是3.4.1的，代码如下：
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib.request
#debug=True
debug=False
class Utility:
def ToGB(str):
if(debug): print(str)
return str.decode('gb2312')
class StockInfo:
"""
...
- 2014-09-23 11:22
- 浏览 946
- 评论(0)
在配置hadoop集群时，以下问题一定要注意，否则会出现各种莫名其妙的问题：
同步各个hadoop服务器的系统时间，否则在执行mapreduce任务时，会一直不执行或系统提示其它服务器的系统资源不足等问题。
其它问题待我遇到再补充。
- 2014-09-10 10:47
- 浏览 277
- 评论(0)
刚新装了python-3.4.1，使用secureCRT连接上去，但是我在进入后，输入回格键时，屏幕显示的是^H，这个让人受不了。终于在网上找到了解决办法，只要修改一下secureCRT的配置即可。如下图：
选项---》会话选项---》
把下面两个打个钩就行了。
- 2014-09-04 11:20
- 浏览 361
- 评论(0)
有时候我们的bolt处理统计逻辑时，需要阶段统计一下，再把统计结果emit到后面的汇总统计bolt处理，因此需要在本地作一个定时阶段的统计，时间满后再后端的bolt emit数据。
阶段统计的bolt实现方法如下：
public void execute(Tuple tuple, BasicOutputCollector collector) {
if (TupleHelpers.isTickTuple(tuple)) {
//log.info("tick tuple: " + tuple);
...
- 2014-05-28 10:43
- 浏览 419
- 评论(0)
首先我使用的是java自带的对webservice的支持包来编写的服务端和发布程序，代码如下。
webservice的接口代码：
package com.xxx.test.ws;
import javax.jws.WebMethod;
import javax.jws.WebService;
/**
* Created with IntelliJ IDEA.
* User: Administrator
* Date: 14-3-5
* Time: 下午3:11
*/
@WebService(targetNamespace = "http://xxx.com/wsd ...
- 2014-03-10 16:06
- 浏览 1465
- 评论(0)
本文转载自【http://www.51mvno.com/post/103.html】
在互联网做也不容易，领导人要找到一个气质，符合特定的用户人群，找到机会，就要打。当用户被你忽悠进来，但是体验以后发现不好，还会走掉，这样就逼着你做出最核心的极致体验，逼着你创新，逼着你每天想，给他更多的超出预期，天天挖空心思想创新的事。80后，所谓的互联网一代成为消费的主流，昔日的屌丝变成主流人群，这是巨大的人口红利。
我理解的移动互联网是“屌丝”的时代，目前35%移动互联网用户的收入在两千元以下，属于主流用户人群。那移动互联网的核心是什么?我认为，形成了一种全新的人与人之间的关系人群链，人群关系组织特征体 ...
- 2014-03-10 10:14
- 浏览 342
- 评论(0)
系统信息如下：
[root@localhost ~]# lsb_release -a
LSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch
Distributor ID: RedHatEnterpriseServer
Description: Red Hat Enterprise Linux Server release 6.1 (Santiago)
Release: 6.1
Codenam ...
- 2014-02-28 11:46
- 浏览 1338
- 评论(0)
操作系统信息如下：
LSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch
Distributor ID: RedHatEnterpriseServer
Description: Red Hat Enterprise Linux Server release 6.1 (Santiago)
Release: 6.1Codename: Santiago
首先下载安装程序
wget htt ...
- 2014-02-25 17:53
- 浏览 297
- 评论(0)
Linux下查看网卡的驱动程序的方法如下：
lspci |grep net
得到一串以数字开头的文本
然后使用如下命令：
lspci -vv -s 00:19.0
即可
更可以配合modinfo来查看驱动信息：
modinfo e1000e
- 2014-02-22 14:44
- 浏览 251
- 评论(0)
1.1 配置
编辑$HADOOP_HOME/etc/hadoop/hdsf-site.xml文件，增加如下配置：
<property>
<name>dfs.access.time.precision</name>
<value>3600000</value>
<description>The access time for HDFS file is precise upto thisvalue.
The default value is 1 hour. Setting a value of 0 disables ...
- 2014-01-14 10:27
- 浏览 1236
- 评论(0)
注：以下配置描述的是HDFS的QJM方式的HA配置。
1.1 zookeeper集群配置
这里我使用了三台机器(在笔记本上使用vmware创建了三个虚拟机来实现)部署zookeeper集群，机器IP分别是：
l192.168.111.130(hostname：hd0)
l192.168.111.131(hostname：hd1)
l192.168.111.132(hostname：hd2)
首先建立zookeeper的数据目录，比如：
mkdir -p /opt/hadoop/data/zookeeper
同时建立日志存放目录：
mkdir –p /opt/hadoop/log ...
- 2014-01-14 10:17
- 浏览 414
- 评论(0)
给ant设置代理：
export ANT_OPTS="-Dhttp.proxyHost=10.3.1.6 -Dhttp.proxyPort=8080"
给wget设置代理：
wget -e http-proxy=10.3.1.6:8080 --proxy=on -c http://zlib.net/zlib-1.2.8.tar.gz
- 2013-10-15 15:28
- 浏览 307
- 评论(0)
一、问题症状：
在安装hadoop的时候报类似如下的错误：
# A fatal error has beendetected by the Java Runtime Environment:
#
# SIGFPE (0x8) atpc=0x40008026, pid=31393, tid=2283477936
#
# JRE version:6.0_29-b08
# Java VM: JavaHotSpot(TM) Client VM (20.4-b01 mixed mode li ...
- 2013-10-12 17:37
- 浏览 330
- 评论(0)