1. 一句话就是分而治之。
2. 通过FileSplit将用户传入的文件(可以是一个文本文件,多个文本文件,数据库的查询结果等)分割成小块,便于程序处理;
如何分割文件,hadoop提供了以下的RecordReader,用户还可以自己定义,如何分割文件,
FixedLengthRecordReader.java
KeyValueLineRecordReader.java
LineRecordReader.java
RecordReader.java
SequenceFileAsTextRecordReader.java
SequenceFileRecordReader.java
那么hadoop是如何分割多行是一个Record的文件的呢?自己写FileSplit。
Hadoop切分纯文本时对某一行跨两个分片这种情况的处理
这篇文中提到的
skipFirstLine
不对,首先对Hadoop来说如果使用LineRecordReader的话,不会出现一行在两个不同分片上的问题,
然后skipFirstLine变量不是来标记是不是一行在两个分片上,而是因为LineRecordReader在除过第一次读之后,每次都是多读了一行。
3. 分完片之后,就是交给Map取执行,然后交给Reduce取总结,这期间有Job管理系统管理Map Job和Reduce
Job,有HDFS提供文件访问。
refs: