MPI并行编程-C_C++_Fortran语言绑定.pdf

M P I 并行编程 ——C/C ++/Fortran 语言绑定 孔涛 山东大学数学学院 版本：v1.2 2011/3/23 1 K.T. , SDU ：tkong@ Parallel Programming with MPI Binding with C/C++/Fortran Kong Tao School of Maths,Shandong Univ. 2010/10/11 2 K.T. , SDU ：tkong@ 目彔 • 并行简介 • MPI概述 • MPI编程 – MPI 基本概念 – 六个基本函数 – 详解消息通信域 – 衍生数据类型 – 点对点通信 – 群集通信 • 一些练习程序 3 K.T. , SDU 并行简介 • 何谓并行 • 如何创建并行程序 • 并行结构 • 并行编程模型 4 K.T. , SDU 何谓并行 • 多个线程同时迚行工作。 • 就像电路的并联可以起到分流的作用一样。当 你遇到下面的问题时可以考虑使用并行 - 降低解决问题的运行时间 - 增大要解决的问题的尺度 5 K.T. , SDU 如何创建并行程序 • 把要解决的问题分解到一些子任务 – 理想的状态是各个子任务可以互不影响的工作 • 把这些任务映射到不同的进程 • 进程有共享或本地数据 – 共享：被多于一个线程使用 – 本地：对每个进程私有 • 利用一些并行编程环境写源码 6 K.T. , SDU 并行结构 • 分布存储 – 每个处理器使用本地存储 – 不能直接访问其他处理器的内存 • 共享存储 – 处理器可以直接访问属于其他处理器的存储空间 – 不同的处理器可以在同一个内存总线上 • 混合存储 7 K.T. , SDU 并行编程模型 • 分布存储系统 – 处理器之间为了共享数据，必须由程序员显式的安排 如何通信—所谓“消息传递” – 消息传递的库 • MPI （Message Passing Interface） • PVM （Parallel Virtual Machine） • 共享存储系统 – 基于“进程”的编程。不同进程可以指定拥有共同的 存储空间 – 当然也可以显示的指定消息传递。 8 K.T. , SDU MPI • 什么是MPI – Mes