一杯甜酒

一、Hadoop运行模式 Local (Standalone) Mode 本地模式 适用于开发人员测试Debug 使用本地文件系统 Pseudo-Distributed Mode 伪分布式模式 适用于开发人员测试Debug 使用HDFS文件系统 Fully-Distributed Mode 完全分布式模式 适用于生产环境服务器集群 使用HDFS文件系统 二、环境准备 （环境及软件工具版本

1、Hadoop介绍 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了一个系统底层细节透明的分布式架构，通过Hadoop，可以将大量的廉价机器的计算资源组织起来，解决单机不能解决的海量数据的处理问题。Hadoop主要有以下几个优点： 高可靠性：提供按位处理的存储和计算能力值得用户信赖。 高扩展性：可以轻松地从小量集群扩展到数以千计的节点中

一、大数据的基本概念 1.1、什么是大数据 　　大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如： 　　 　　文件占用的存储空间代表的就是该文件的大小，在计算机当中，文件的大小可以采用以下单位来表示，各个单位之间的转换关系如下： 　　 　　平时我们在我们自己的电脑上面常见的就