cloudeagle
- 浏览: 105242 次
- 性别:
- 来自: 合肥
-
最新评论
文章列表
转自: http://yuntai.1kapp.com/?p=621
Apache对它的项目开放了一个Jira平台，任何人都可以在Apache Jira中查找该平台记录的一些bug获取其他问题，如果要创建或者评论，就需要创建相应的账户。
平时使用apache的项目的时候可能会发现一些存在的bug，这些bug或许在Apache Jira中已经存在，或许在Apache Jira已经解决，也可能在Apache Jira中没有该bug，作为一个开发者，发现问题bug、解决bug是很平常的事，但是有没有想过将发现的bug提交给Apache，或者将解决bug的代码提交给Apache？或许你提 ...
- 2013-02-28 11:16
- 浏览 479
- 评论(0)
http://blog.csdn.net/bxyz1203/article/details/8074248
一、概述
文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.csdn.net/bxyz1203/article/details/8074248。由于作者个人知识面有限，如果描述有错误或者遗留之处敬请谅解，再欢迎指出，我们共同进步。
二、计算流程
MR计算框架发展到1.0.3左右，计算框架没有发展大的变化。在《hadoop The Definitive Guide》中有张经典的图可以说明问题，如图1所示。
图1
图1大致说明了我们计算的任务流程 ...
- 2013-02-28 11:09
- 浏览 491
- 评论(0)
转自:
http://blog.csdn.net/bxyz1203/article/details/8089318
一、概述
hadoop2的设计细想比hadoop1进步了很多，毕竟hadoop1是几年前的东西了。软件设计的理论在这几年中发展很快，出现了很多的软件设计理论 如：领域驱动模型、事件驱动模型、状生命周期管理等，也出现了很多的开源的解决方案，当然开源的方案很多都是起源apache社区。在hadoop2中，采取了maven的工程管理结构，把以前的单一工程换成了多工程结构模式，现在估计有45个（pom.xml文件的个数）project，以后会不会更多或者合并一些，这个就要持续关 ...
- 2013-02-28 11:05
- 浏览 440
- 评论(0)
由于Hadoop版本混乱多变，因此，Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程，并给出了选择Hadoop版本的一些建议。
1. Apache Hadoop
1.1 Apache版本衍化
截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳 ...
- 2013-02-28 11:01
- 浏览 307
- 评论(0)
1. 生成hadoop patch
单文件：
diff -u from-file to-file
多文件：
diff -uNr from-dir to-dir > to-dir.patch
2. 在hadoop根目录下安装patch
patch -p0 < Hadoop-0.20.2-v1382.patch
3.如果需要回滚patch，恢复到以前的版本，可执行
patch -RE -p0 < Hadoop-0.20.2-v1382.patch
4.在hadoop根目录下执行ant开始编译：
ant
如果这一步编译出 ...
- 2013-02-28 11:00
- 浏览 539
- 评论(0)
一、测试条件
集群完全安装配置后，应立即开始基准测试。基准测试时集群里不应该运行其他一切任务。
二、测试目标
1. 硬盘故障：新系统最常见的故障。可以通过运行高强度的IO基准测试程序集中测试。例如TestDFSIO
2. MapReduce的性能
三、测试方法
1、TestDFSIO基准测试HDFS
测试顺序应该是先写测试后读测试
写测试：
使用10个map任务写10个文件，每个500m。
hadoop jar $HADOOP_HOME/hadoop-test-*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000
在运行的最 ...
- 2013-02-26 17:08
- 浏览 375
- 评论(0)
hadoop支持命令行操作HDFS文件系统，并且支持shell-like命令与HDFS文件系统交互，对于其它的文件系统LocalFS、HFTP FS、S3 FS等。对于大多数 程序猿/媛 来说，shell-like命令行操作都是比较熟悉的，其实这也是Hadoop的极大便利之一，至少对于想熟悉乃至尽快熟练操作HDFS的人来说。
由于平时在工作中经常用到Hadoop Shell命令来操作HDFS上的文件，有时候因为Hadoop Shell命令不熟悉，需要重新查找；或者需要某个命令的参数；再或者需要知晓相似命令的差异；于是便有了本文，对于Hadoop Shell命令的总结，方便自己以后得工作，也算是 ...
- 2013-02-10 17:33
- 浏览 425
- 评论(0)
Exception in thread "Thread-18" java.lang.IllegalArgumentException: Does not contain a valid host:port authority:
local at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:206) at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:158) at org.apache.hadoop.net.NetU ...
- 2013-02-04 15:12
- 浏览 362
- 评论(0)
启动服务:
sbin/mr-jobhistory-daemon.sh start historyserver
查询历史页面:
http://202.117.10.25:19888/jobhistory
1. job完成后，历史信息存入hdfs下的mr-history/done/中，
执行命令分析历史信息:
hadoop job -historyall hdfs://202.117.10.26:9000/mr-history/done/2013/01/31/000000/job_1359637210567_0001-1359637233266-liuqiang-word+c ...
- 2013-01-31 21:31
- 浏览 521
- 评论(0)
hadoop生态系统的端口
hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。
1.系统
8080，80 用于tomcat和apache的端口。
22 ssh的端口
2.Web UI
用于访问和监控Hadoop系统运行状态
Daemon
缺省端口
配置参数
HDFS
Namenode
50070
dfs.http.address
Datanodes
50075
- 2013-01-30 23:05
- 浏览 422
- 评论(0)
安装JDK1.7
下载jdk-7-linux-i586.tar，拷贝到Linux系统上。使用tar命令解压到一个目录下。
设置环境变量：
修改/etc/profile文件，在文件中添加以下参数：
unset i
export JAVA_HOME=/usr/local/jdk1.7.0
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export JRE_HOME=$JAVA_HOME/jre
unset pathmunge
...
- 2013-01-30 11:24
- 浏览 325
- 评论(0)
贱，将Namenode和Datanode都做了一次single node demo，datanode上的hdfs的dictionary和namenode上的clusterID不一致，就一直无法启动datanode的hdfs
在网上找到了解决的办法
http://blog.csdn.net/wh62592855/archive/2010/07/21/5752199.aspx
今早一来，突然发现使用-put命令往HDFS里传数据传不上去了，抱一大堆错误，然后我使用bin/hadoop dfsadmin -report查看系统状态
admin@adw1:/hom ...
- 2013-01-29 10:58
- 浏览 204
- 评论(0)
linux软件的安装，更新与卸载
转自：
http://blog.csdn.net/wyzxg/article/details/6268279
Linux常见的安装为tar，zip，gz，rpm，deb，bin等。我们可以简单的分为三类.
第一：打包或压缩文件tar，zip，gz等，一般解压后即可，或者解压后运行sh文件；
第二：对应的有管理工具的deb，rpm等，通常的这类安装文件可以通过第三方的命令行或UI来简单的安装，例如Ubuntu中的apt来安装
deb，Redhat中的yum来安装rpm；
第三：像.bin类，其实就是把sh和zip打包为bin，或把 ...
- 2013-01-29 10:40
- 浏览 280
- 评论(0)
现在流行的Linux远程登录工具是SecureCRT，本人使用的是SecureCRT Version 6.1.2 (build 409)。
1) 工具说明
在SecureCRT这样的ssh登录软件里, 通过在Linux界面里输入rz/sz命令来上传/下载文件. 对于RHEL5, rz/sz默认没有安装所以需要手工安装.
sz: 将选定的文件发送(send)到本地机器;
rz：运行该命令会弹出一个文件选择窗口, 从本地选择文件上传到服务器(receive).
下载安装包lrzsz-0.12.20.tar.gz:
http://www.ohse.de/uwe/software/lrzs ...
- 2013-01-28 21:48
- 浏览 279
- 评论(0)
如下：一种带有staticstatic{//代码内容//........//代码结束}还有就是花括号前面啥也没有的。{//代码内容//........//代码结束}
static{//代码内容//........//代码结束}静态代码域，在类的加载的时候调用一次，整个生命周期只会调用一次。{//代码内容//........//代码结束}普通代码域，在类的每个对象创建的时候调用。代码域中定义的变量都是局部的，只有域中的代码可以调用。
或者也称为“静态代码块”和“非静态代码块”
static{}静态代码块，在类第一次被调用或实例化的时候就会被执行。静态代码块只会执行一次，一般会用来初始化一 ...
- 2013-01-25 15:41
- 浏览 291
- 评论(0)