ITeye博客

流云

cloudeagle · 共 308 篇文章

进程,轻量级进程,内核线程,用户线程的区别关系

进程,轻量级进程,内核线程,用户线程的区别关系 在现代操作系统中,进程支持多线程。进程是资源管理的最小单元;而线程是程序执行的最小单元。一个进程的组成实体可以分为两大部分:线程集合资源集。进程中的线程是动态的对象;代表了进程指令的执行。资源,包括地址空间、打开的文件、用户信息等等,由进程内的线程共享。 线程有自己的私有数据:程序计数器,栈空间以及寄存器。 Why Thread?(传统单线程进程的缺点) 1. 现实中有很多需要并发处理的任务,如数据库的服务器端、网络服务器、大容量计算等。 2. 传统的UNIX进程是单线程的,单线程意味着程序必须是顺序执行,不能并发;既在一个时刻只能运行在一个处…

2014-05-22 22:23 · 评论(0)

用户级线程和内核级线程

转自http://col1.blog.163.com/blog/static/1909775192012719114033352/ 1 .内核级线程:切换由内核控制,当线程进行切换的时候,由用户态转化为内核态。切换完毕要从内核态返回用户态;可以很好的利用smp,即利用多核cpu。windows线程就是这样的。 2. 用户级线程内核的切换由用户态程序自己控制内核切换,不需要内核干涉,少了进出内核态的消耗,但不能很好的利用多核Cpu,目前Linux pthread大体是这么做的。 线程的实现可以分为两类:用户级线程(User-Level Thread)和内核线线程(Kernel-Level Th…

2014-05-22 22:01 · 评论(0)

下载维基百科wikipedia!

转自: http://blog.sciencenet.cn/blog-453771-428323.html Wikipedia(http://en.wikipedia.org/wiki/Main_Page)也就是维基百科是当前最有名的百科类网站,分门别类的以词条的方式详细介绍某个概念的历史、定义、发展和背景,大略来讲可以把它理解成为一本大词典。对于科研工作者而言,很多时候突然看到一个新的term,但是不明其意,或者理解它的含义,但不知道它属于哪个研究研究领域,和其他概念间有什么联系,这时wikipedia可以给你最好的介绍,并帮你在较短的时间内搭建起有关某个新领域学科的知识框架。当然有教材时…

2014-05-18 17:16 · 评论(0)

关于linux下mount和df查看挂载的区别

mount -l和df -h到底有何区别呢? [liuqiang2@mu02 ~]$ mount -l /dev/sda3 on / type ext4 (rw) proc on /proc type proc (rw) sysfs on /sys type sysfs (rw) devpts on /dev/pts type devpts (rw,gid=5,mode=620) tmpfs on /dev/shm type tmpfs (rw) /dev/sda1 on /boot type ext4 (rw) none on /proc/sys/fs/binfmt_misc type b…

2014-05-18 15:24 · 评论(0)

体系结构顶级会议

系统结构  ASPLOS  ISCA  Micro  HPCA 系统  ASPLOS  SOSP  OSDI  USENIX ATC  EuroSys  SoCC Super Computing HPDC SC ISC 分布式系统 PODC Middleware NSDI ICDCS 虚拟机 VEE 编程与管理 PLDI PPoPP LISA Dependability DSN SRDS ISSRE 数据管理 FAST  SIGMOD  VLDB  SoCC 性能评价、应用  SIGMETRICS/ Performance  SoCC  WWW 功耗管理 Ho…

2014-05-16 22:31 · 评论(0)

How does YARN compare to Mesos?

转自;http://www.quora.com/How-does-YARN-compare-to-Mesos Both systems have the same goal: allowing you to share a large cluster of machines between different frameworks. For those who don't know, NextGen MapReduce is a project to factor the existing MapReduce into a generic layer that handles distrib…

2014-04-22 11:36 · 评论(0)

Hadoop的作业提交过程

1.JobClient调用FileInputFormat.getSplits(),如果数据文件是isSplitable()的话,会将大的文件分解成小的FileSplit,记录文件 在HDFS里的路径及偏移量和Split大小。这些信息会统一打包到jobFile的jar中。 2.JobClient然后使用submitJob(job)方法向master提交作业。submitJob(job)内部是通过submitJobInternal(job)方法完成实质性的作业提交。 submitJobInternal(job)方法首先会向hadoop分布系统文件系统hdfs依次上传三个文件: job.jar, …

2014-04-11 20:01 · 评论(0)

操作系统级别对Hadoop性能优化

转载自 过往记忆(http://www.iteblog.com/) 本文链接地址: 《操作系统级别对Hadoop性能优化》(http://www.iteblog.com/archives/1004) 由于 Hadoop 自身的一些特点,它只适合用于将Linux作为 操作系统 的生产环境。在实际应用场景中,管理员适当对Linux内核参数进行调优,可在一定程度上提高作业的运行效率,比较有用的调整选项如下。 一、增大同时打开的文件描述符和网络连接上限 在Hadoop集群中,由于涉及的作业和任务数目非常多,对于某个节点,由于 操作系统 内核在文件描述符和网络连接数目等方面的限制,大量的文件读写操作和…

2014-04-08 20:04 · 评论(0)

hadoop hbase metric名全解释

load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five 每5分钟的系统平均负载 boottime 系统启动时间,精确到秒 bytes_in 网络接收速度,单位bytes/sec bytes_out 网络发送速度,单位bytes/sec cpu_aidle 启动的空闲CPU百分比 cpu_idle 空闲CPU百分比 cpu_nice 用户进程空间内改变过优先级的进程占用CPU百分比 cpu_num CPU线程总数 cpu_report CPU使用情况汇总报告 cpu_speed CPU速度(MHz) cpu_system 内核空间占用CP…

2014-04-01 16:47 · 评论(0)

精心收集的Hadoop学习资料(持续更新)

转自:http://www.iteblog.com/archives/851 最近发现自己收集到的 Hadoop 学习资料有很多本,想想放在那里也浪费,所以觉得贴出来给大家分享,需要的可以去我CSDN里面下载,保证全部资源免费下载!这里面很多英文的资料。 1、《 Hadoop 技术内幕:深入解析Hadoop Common和HDFS》下载地址:http://download.csdn.net/detail/w397090770/6643259。 2、《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》下载地址:http://download.csdn.net/detail/w…

2014-03-27 10:54 · 评论(0)

Yarn AppMaste调试

一般都是这种形式,YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y " 但是MRMaster不知道加在哪里,查看了封神的博客后,恍然大悟, http://fengshenwu.com/blog/tag/hadoop2yarn/ AM需要在配置文件mapred-site.xml配置: <property> <name>yarn.app.mapreduce.am.command-opts</name> <value>-Xmx10…

2014-03-23 17:00 · 评论(0)

protoc编译

[liuqiang@localhost src]$ pwd /home/liuqiang/workspace/ProtoTest/src [liuqiang@localhost src]$ protoc --java_out=/home/liuqiang/workspace/ProtoTest/src yarn_protos.proto 即生成org目录: [liuqiang@localhost src]$ ll total 32 drwxrwxr-x 3 liuqiang liuqiang 4096 Apr 26 18:50 org -rw-rw-r-- 1 liuqiang liuqia…

2014-03-22 10:17 · 评论(0)

Yarn编译问题记录

安装Maven 不要使用最新的Maven 3.1.1。Hadoop 2.2.0的源码与Maven3.x存在兼容性问题,所以会出现 java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter 之类的错误。 安装 Maven 3.0.5 $ wget http://mirror.esocc.com/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz $ sudo tar zxf apache-maven-3.0.5-bin.ta…

2014-03-21 21:36 · 评论(0)

crontab命令

crontab -e * 22 * * * ifdown eth1 //22点关闭网卡 [root@mu02 ~]# crontab -l * 22 * * * ifdown eth1 重启crond服务: service crond restart 查看cron日志:cat /var/log/cron

2014-03-18 21:27 · 评论(0)

Yarn2.2.0公平调度器分配流程

这里要把握好两条主线: 1. ApplicationMasterService 通过重载ApplicationMasterProtocol的AllocateResponse allocate(AllocateRequest request)方法实现了AppMaster的远程资源请求,同时 也是兼具心跳作用。 AllocateResponse allocate(AllocateRequest request){ ... // Send new requests to appAttempt. Allocation allocation = this.rScheduler.allocate(app…

2014-03-18 17:41 · 评论(0)