实战hadoop2配套未美化版4 hdfs.pdf

⚫分布式 引例 ⚫ HDFS简介 ⚫ HDFS接口 ⚫ 实战HDFS S ⚫ 实战WebHDFS ⚫实战HDFS JAVA API ⚫ 实战HDFS大项目 分布式 引例 • 问题描述 • 常规解决方案 • 分布式解决方案 概述 接下来的十页，将讲解 问题：给出三类问题，遇这类问题，您如何解决？ 问题常规解决方案：最直接思维！ 问题分布式解决方案：这几乎是Hadoop的解决方案 引例目的很简单引出Hadoop架构 问题 场景 假设配置完全相同的机器M01~M0X，并且每台机器都是1个双核CPU，5G硬盘。现有两个大小都是3G 的文件file01和file02 问题① 将file01和file02存入两台不同机器，但要求对外显示它们存于同一硬盘空间 第一类问题： 问题② 不考虑①，现有一新文件file03 ，大小为6G，要求存入机器后对外显示依旧为一个完整文件 问题③ 第二类问题：计算 在问题①下，统计file01和file02这两个文件里，每个单词出现的次数 问题④ 第三类问题：可靠性 假设用于解决上述问题的机器奔溃了，您如何保证数据不丢失 常规解决方案 问题①思路：取M01，M02，直接将file01存M01，file02存M02 file01 file02 问题解决了？ 第 一 M01 M02 类 问 问题① 题 问题②思路：file03拆成file03-a,file03-b 思 若能将 M01与M02 分布式 将file03-a存M01，file03-b存M02 考 构建成统一空间？ 解决方案 file03-a file03-b 问题解决了？ M01 M02 问题② 常规解决方案 计算问题③思路：M02存的file02拷贝至M02，M02上执行计算 第 分布式解决方案 二 file01 file02 Map-Shuffle-Reduce 类 问 题 若每台机器都能 M01 M02 ⚫ 先本地计算(Map)