hdfs写入日志源码_hdfs datanode日志

如何高效的阅读hadoop源代码

多打 断点调试 ，断点追踪源码是很好的阅读源码的方式，可以先通过 debug 了解下调用逻辑，都和哪些类有关联，有大致了解后再通过 debug 了解整体代码的功能实现，各个类都起到了什么作用，有没有涉及到设计模式等。

制定阅读计划：设定每天或每周的阅读目标，这样可以帮助你保持阅读的习惯。创造良好的阅读环境：找一个安静、舒适的地方阅读，避免分心。同时，保持良好的光线和舒适的温度也有助于提高阅读效率。

选择合适的阅读材料：确保所选内容与自己的兴趣和需求相符，这样能提高阅读的兴趣和效率。预览：在开始阅读之前，先快速浏览整个文章或书籍，了解大致内容和结构，有助于更好地理解和记忆。

阅读源代码的说明文档和API文档。如果源代码有用法示例或向导，先阅读这个。了解整个项目的模块结构，可以按模块进行阅读。随时使用查找功能（或超链接）阅读关联类或关联方法。

那如果不想把代码 clone 到本地，怎么在 GitHub 上高效阅读源码呢？我最开始用的是一个插件，叫 Octotree 。有了这个插件之后，在页面的最左侧会多一个目录树。

Hadoop读写文件时内部工作机制是怎样的

1、组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。

2、HDFS使用分布式存储技术，将文件切分成多个块，并且存储在不同的服务器节点上，各个服务器通过网络进行通信，实现文件的存储和读取；另外，HDFS具有重复备份机制，对文件进行多次备份以提高文件的可靠性。

3、分为2个步骤，map和reduce，map专门负责对每个数据独立地同时地打标签，框架会对相同标签的数据分成一组，reduce对分好的那些组数据做累计计算。

4、Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。

5、HDFS的元数据的介绍（三个部分）：HDSF元数据的存储位置：手动退出或者进入安全模式 集群启动后：将每个文件的数据进行分块存储，每一个数据块又保存有多个副本，这些数据块副本分布在不同的机器节点上。

ranger源代码解读插件原理(HDFS)

1、首先是hdfs的hdfs-site.xml中配置了以下配置：加载过程：首先，在ranger-hdfs-plugin-shim这个包下有RangerHdfsAuthorizer这个类。

2、cellranger count 流程 ：其功能为将 cellranger mkfastq 产生的或其他来源的 FASTQ 文件进行比对、过滤、barcode 计数以及 UMI 计数，并可以生成 feature-barcode 定量矩阵，随后确定细胞群并进行基因表达分析。

3、Ranger由三个模块组成：Ranger用来获取用户和组的模块叫做User group sync，可以配置获取Unix，LDAP或者AD的用户和组。进入Ranger Plugin配置页面，打开需要使用Ranger进行安全控制的组件。例如hdfs，yarn，hive。