xiaoyun


  • 首页

  • 归档

  • 分类

  • 标签

  • 关于

RaidNode源码阅读---编码过程之上篇Raid文件选取(LocalRaidNode)

发表于 2016-01-08   |   分类于 Java , Hadoop-0.20 , RaidNode , 源码阅读 , RaidNode源码阅读   |  
Hadoop版本:hadoop-20-master TriggerMonitor负责检测policy文件,并相应的执行相应文件的Raid操作. 主要成员:12private Map<String, PolicyState> policyStateMap = new HashMap& ...
阅读全文 »

RaidNode源码阅读---RaidNode启动过程分析

发表于 2016-01-08   |   分类于 Java , Hadoop-0.20 , RaidNode , 源码阅读 , RaidNode源码阅读   |  
Hadoop版本:hadoop-20-master start-raidnode.sh通过bin目录下的start-raidnode.sh启动,加载conf目录下的hadoop-env.sh,然后导出RaidNode相关选项(若有):1234if [ -f "${HADOOP_CON ...
阅读全文 »

RaidNode源码阅读---辅助类之ParallelStreamReader

发表于 2016-01-08   |   分类于 Java , Hadoop-0.20 , RaidNode , 源码阅读 , RaidNode源码阅读   |  
Hadoop版本:hadoop-20-master ParallelStreamReader一个Stripe对应一个ParallelStreamReader,管理n个输入流的字节缓冲. 编码过程对应的n为stripeLength,将这n个输入流编码成parityLength个输出流.修复损 ...
阅读全文 »

Hadoop FileSystem实现---LocalFileSystem

发表于 2016-01-08   |   分类于 Java , Hadoop-1.2.1 , HDFS , 源码阅读   |  
Hadoop版本:Hadoop-1.2.1 LocalFileSystem作为ChecksumFileSystem的本地实现,底层的文件系统为RawLocalFileSystem。是Hadoop中默认的文件系统(fs.default.name)。ChecksumFileSystem另见Chec ...
阅读全文 »

RaidNode源码阅读---RaidNode编码过程下篇编码操作(LocalRaidNode)

发表于 2016-01-08   |   分类于 Java , Hadoop-0.20 , RaidNode , 源码阅读 , RaidNode源码阅读   |  
Hadoop版本:hadoop-20-master LocalRaidNode编码操作通过raidFiles完成,函数原型如下:123456@Overridevoid raidFiles(PolicyInfo info, List<FileStatus> paths) throws ...
阅读全文 »
1…6789
xiaoyun

xiaoyun

学习笔记,网上资源摘要等

44 日志
40 分类
21 标签
github
© 2016 xiaoyun
由 Hexo 强力驱动
主题 - NexT.Mist