流云
cloudeagle · 共 308 篇文章
进程,轻量级进程,内核线程,用户线程的区别关系
进程,轻量级进程,内核线程,用户线程的区别关系 在现代操作系统中,进程支持多线程。进程是资源管理的最小单元;而线程是程序执行的最小单元。一个进程的组成实体可以分为两大部分:线程集合资源集。进程中的线程是动态的对象;代表了进程指令的执行。资源,包括地址空间、打开的文件、用户信息等等,由进程内的线程共享。 线程有自己的私有数据:程序计数器,栈空间以及寄存器。 Why Thread?(传统单线程进程的缺点) 1. 现实中有很多需要并发处理的任务,如数据库的服务器端、网络服务器、大容量计算等。 2. 传统的UNIX进程是单线程的,单线程意味着程序必须是顺序执行,不能并发;既在一个时刻只能运行在一个处…
2014-05-22 22:23 · 评论(0)
用户级线程和内核级线程
转自http://col1.blog.163.com/blog/static/1909775192012719114033352/ 1 .内核级线程:切换由内核控制,当线程进行切换的时候,由用户态转化为内核态。切换完毕要从内核态返回用户态;可以很好的利用smp,即利用多核cpu。windows线程就是这样的。 2. 用户级线程内核的切换由用户态程序自己控制内核切换,不需要内核干涉,少了进出内核态的消耗,但不能很好的利用多核Cpu,目前Linux pthread大体是这么做的。 线程的实现可以分为两类:用户级线程(User-Level Thread)和内核线线程(Kernel-Level Th…
2014-05-22 22:01 · 评论(0)
下载维基百科wikipedia!
转自: http://blog.sciencenet.cn/blog-453771-428323.html Wikipedia(http://en.wikipedia.org/wiki/Main_Page)也就是维基百科是当前最有名的百科类网站,分门别类的以词条的方式详细介绍某个概念的历史、定义、发展和背景,大略来讲可以把它理解成为一本大词典。对于科研工作者而言,很多时候突然看到一个新的term,但是不明其意,或者理解它的含义,但不知道它属于哪个研究研究领域,和其他概念间有什么联系,这时wikipedia可以给你最好的介绍,并帮你在较短的时间内搭建起有关某个新领域学科的知识框架。当然有教材时…
2014-05-18 17:16 · 评论(0)
关于linux下mount和df查看挂载的区别
mount -l和df -h到底有何区别呢? [liuqiang2@mu02 ~]$ mount -l /dev/sda3 on / type ext4 (rw) proc on /proc type proc (rw) sysfs on /sys type sysfs (rw) devpts on /dev/pts type devpts (rw,gid=5,mode=620) tmpfs on /dev/shm type tmpfs (rw) /dev/sda1 on /boot type ext4 (rw) none on /proc/sys/fs/binfmt_misc type b…
2014-05-18 15:24 · 评论(0)
体系结构顶级会议
系统结构 ASPLOS ISCA Micro HPCA 系统 ASPLOS SOSP OSDI USENIX ATC EuroSys SoCC Super Computing HPDC SC ISC 分布式系统 PODC Middleware NSDI ICDCS 虚拟机 VEE 编程与管理 PLDI PPoPP LISA Dependability DSN SRDS ISSRE 数据管理 FAST SIGMOD VLDB SoCC 性能评价、应用 SIGMETRICS/ Performance SoCC WWW 功耗管理 Ho…
2014-05-16 22:31 · 评论(0)
How does YARN compare to Mesos?
转自;http://www.quora.com/How-does-YARN-compare-to-Mesos Both systems have the same goal: allowing you to share a large cluster of machines between different frameworks. For those who don't know, NextGen MapReduce is a project to factor the existing MapReduce into a generic layer that handles distrib…
2014-04-22 11:36 · 评论(0)
Hadoop的作业提交过程
1.JobClient调用FileInputFormat.getSplits(),如果数据文件是isSplitable()的话,会将大的文件分解成小的FileSplit,记录文件 在HDFS里的路径及偏移量和Split大小。这些信息会统一打包到jobFile的jar中。 2.JobClient然后使用submitJob(job)方法向master提交作业。submitJob(job)内部是通过submitJobInternal(job)方法完成实质性的作业提交。 submitJobInternal(job)方法首先会向hadoop分布系统文件系统hdfs依次上传三个文件: job.jar, …
2014-04-11 20:01 · 评论(0)
操作系统级别对Hadoop性能优化
转载自 过往记忆(http://www.iteblog.com/) 本文链接地址: 《操作系统级别对Hadoop性能优化》(http://www.iteblog.com/archives/1004) 由于 Hadoop 自身的一些特点,它只适合用于将Linux作为 操作系统 的生产环境。在实际应用场景中,管理员适当对Linux内核参数进行调优,可在一定程度上提高作业的运行效率,比较有用的调整选项如下。 一、增大同时打开的文件描述符和网络连接上限 在Hadoop集群中,由于涉及的作业和任务数目非常多,对于某个节点,由于 操作系统 内核在文件描述符和网络连接数目等方面的限制,大量的文件读写操作和…
2014-04-08 20:04 · 评论(0)
hadoop hbase metric名全解释
load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five 每5分钟的系统平均负载 boottime 系统启动时间,精确到秒 bytes_in 网络接收速度,单位bytes/sec bytes_out 网络发送速度,单位bytes/sec cpu_aidle 启动的空闲CPU百分比 cpu_idle 空闲CPU百分比 cpu_nice 用户进程空间内改变过优先级的进程占用CPU百分比 cpu_num CPU线程总数 cpu_report CPU使用情况汇总报告 cpu_speed CPU速度(MHz) cpu_system 内核空间占用CP…
2014-04-01 16:47 · 评论(0)
精心收集的Hadoop学习资料(持续更新)
转自:http://www.iteblog.com/archives/851 最近发现自己收集到的 Hadoop 学习资料有很多本,想想放在那里也浪费,所以觉得贴出来给大家分享,需要的可以去我CSDN里面下载,保证全部资源免费下载!这里面很多英文的资料。 1、《 Hadoop 技术内幕:深入解析Hadoop Common和HDFS》下载地址:http://download.csdn.net/detail/w397090770/6643259。 2、《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》下载地址:http://download.csdn.net/detail/w…
2014-03-27 10:54 · 评论(0)
Yarn AppMaste调试
一般都是这种形式,YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y " 但是MRMaster不知道加在哪里,查看了封神的博客后,恍然大悟, http://fengshenwu.com/blog/tag/hadoop2yarn/ AM需要在配置文件mapred-site.xml配置: <property> <name>yarn.app.mapreduce.am.command-opts</name> <value>-Xmx10…
2014-03-23 17:00 · 评论(0)
protoc编译
[liuqiang@localhost src]$ pwd /home/liuqiang/workspace/ProtoTest/src [liuqiang@localhost src]$ protoc --java_out=/home/liuqiang/workspace/ProtoTest/src yarn_protos.proto 即生成org目录: [liuqiang@localhost src]$ ll total 32 drwxrwxr-x 3 liuqiang liuqiang 4096 Apr 26 18:50 org -rw-rw-r-- 1 liuqiang liuqia…
2014-03-22 10:17 · 评论(0)
Yarn编译问题记录
安装Maven 不要使用最新的Maven 3.1.1。Hadoop 2.2.0的源码与Maven3.x存在兼容性问题,所以会出现 java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter 之类的错误。 安装 Maven 3.0.5 $ wget http://mirror.esocc.com/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz $ sudo tar zxf apache-maven-3.0.5-bin.ta…
2014-03-21 21:36 · 评论(0)
crontab命令
crontab -e * 22 * * * ifdown eth1 //22点关闭网卡 [root@mu02 ~]# crontab -l * 22 * * * ifdown eth1 重启crond服务: service crond restart 查看cron日志:cat /var/log/cron
2014-03-18 21:27 · 评论(0)
Yarn2.2.0公平调度器分配流程
这里要把握好两条主线: 1. ApplicationMasterService 通过重载ApplicationMasterProtocol的AllocateResponse allocate(AllocateRequest request)方法实现了AppMaster的远程资源请求,同时 也是兼具心跳作用。 AllocateResponse allocate(AllocateRequest request){ ... // Send new requests to appAttempt. Allocation allocation = this.rScheduler.allocate(app…
2014-03-18 17:41 · 评论(0)