HDFS的文件读取原理，主要包括以下几个步骤1首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例2DistributedFileSystem通过RPC远程过程调用获得文件的第一批block的locations，同一block按照重复。
mapreduce程序是用java写的，写好传到linux系统里，使用hadoop相关命令运行就行了命令apache官网上面有的。
1Hadoop最底层是一个HDFSHadoop Distributed File System，分布式文件系统，存储在HDFS中的文件先被分成块，然后再将这些块复制到多个主机中DataNode，数据节点 2Hadoop的核心是MapReduce映射和化简编程模型引擎，Map意为将单个。
基于Hadoop平台的云存储应用实践 0327html 云计算Cloud Computing是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。
Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFSHadoop Distributed File System分布式存储系统和Mapreduce分布式计算框架分布式存储系统HDFS中工作主要是一个主节点namenodemasterhadoop1x只要一个。
Spark Streaming 是Apache Spark 中最有趣的组件之一你用Spark Streaming可以创建数据管道来用批量加载数据一样的API处理流式数据此外，Spark Steaming的“microbatching”方式提供相当好的弹性来应对一些原因造成的任务失败。
