HDFS:InputFormat、OutputFormat与SerDe
Hadoop

HDFS:InputFormat、OutputFormat与SerDe

856 0

Hive中,默认使用的是TextInputFormat,一行表示一条记录。在每条记录一行中,默认使用^A分割各个字段。在有些时候,我们往往面对多行,结构化的文档,并需要将其导入Hive处理,此时,就需要自定义InputFormat、OutputFormat,以及SerDe了。首先来理清这三者之间的关...

阅读全文
HBase

hadoop中HBase子项目入门讲解

1371 0

HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用 了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time...

阅读全文