MapReduce分布式计算平台.docVIP

下载本文档

3
0
约1.82万字
约 24页
2019-01-25 发布于河北
举报
版权申诉

MapReduce分布式计算平台.doc

1、本文档共24页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

MapReduce分布式计算平台.doc

MapReduce 分布式计算平台编程示例文档名称 MapReduce 分布式计算平台编程示例项目名称 Hadoop分布式系统研究，改进，应用作者李相娜，王守彦，马如悦，朱冠胤文档提交日期 2008-4-3 版本 Version 1.0 TOC \o "1-3" \h \z \u HYPERLINK \l "_Toc195332875" 1. MapReduce介绍 PAGEREF _Toc195332875 \h 1 HYPERLINK \l "_Toc195332876" 1.1 编程模式 PAGEREF _Toc195332876 \h 1 HYPERLINK \l "_Toc195332877" 2.2 简单例子 PAGEREF _Toc195332877 \h 1 HYPERLINK \l "_Toc195332878" 2 用户自定义接口 PAGEREF _Toc195332878 \h 3 HYPERLINK \l "_Toc195332879" 2.1 map函数 PAGEREF _Toc195332879 \h 3 HYPERLINK \l "_Toc195332880" 2.2 Reduce函数 PAGEREF _Toc195332880 \h 3 HYPERLINK \l "_Toc195332881" 2.3输入和输出格式 PAGEREF _Toc195332881 \h 4 HYPERLINK \l "_Toc195332882" 2.4 partitioner函数 PAGEREF _Toc195332882 \h 4 HYPERLINK \l "_Toc195332883" 2.5 Combiner函数 PAGEREF _Toc195332883 \h 4 HYPERLINK \l "_Toc195332884" 3 Hadoop MapReduce平台使用 PAGEREF _Toc195332884 \h 5 HYPERLINK \l "_Toc195332885" 3.1 streaming介绍 PAGEREF _Toc195332885 \h 5 HYPERLINK \l "_Toc195332886" 3.2 C语言Map-Reduce程序示例 PAGEREF _Toc195332886 \h 6 HYPERLINK \l "_Toc195332887" 3.2.1计算任务 PAGEREF _Toc195332887 \h 6 HYPERLINK \l "_Toc195332888" 3.2.2 Mapper算法设计 PAGEREF _Toc195332888 \h 7 HYPERLINK \l "_Toc195332889" 3.2.3 Reducer算法设计 PAGEREF _Toc195332889 \h 8 HYPERLINK \l "_Toc195332890" 3.2.4 作业提交命令 PAGEREF _Toc195332890 \h 9 HYPERLINK \l "_Toc195332891" 3.3 shell Map-Reduce程序示例 PAGEREF _Toc195332891 \h 9 HYPERLINK \l "_Toc195332892" 3.3.1计算任务 PAGEREF _Toc195332892 \h 9 HYPERLINK \l "_Toc195332893" 3.3.2 map实现 PAGEREF _Toc195332893 \h 10 HYPERLINK \l "_Toc195332894" 3.3.3 reduce实现 PAGEREF _Toc195332894 \h 11 HYPERLINK \l "_Toc195332895" 3.3.4 作业提交命令 PAGEREF _Toc195332895 \h 11 HYPERLINK \l "_Toc195332896" 4技巧 PAGEREF _Toc195332896 \h 12 HYPERLINK \l "_Toc195332897" 4.1 顺序保证 PAGEREF _Toc195332897 \h 12 HYPERLINK \l "_Toc195332898" 4.2 本地执行 PAGEREF _Toc195332898 \h 12 HYPERLINK \l "_Toc195332899" 4.3 状态信息 PAGEREF _Toc195332899 \h 13 HYPERLINK \l "_Toc195332900" 5 实际经验 PAGEREF _Toc195332900