pHP-F支持多范例并行計(jì)算的并行編譯技術(shù)

1、 計(jì) 算 機(jī) 學(xué) 報(bào) 圖 整理 后 的 存 儲(chǔ) 形式 主 程 序 中 數(shù)組 的 存 儲(chǔ) 形 式 上 豢 整理后的形式： 數(shù) 組 組 數(shù) 圖 結(jié)點(diǎn) 上的數(shù)據(jù)存儲(chǔ)和整理過(guò)程 全局與 局部信 息 的交換 調(diào) 用 算模 型 的 外 部過(guò) 程 時(shí) ， 計(jì) 如 ， 外部過(guò) 程之 間存 在顯式 的通 信 ， 常 通 計(jì) 全局 數(shù)組 形狀 ；包括數(shù) 組 各維 的上 下界 、 步長(zhǎng) 、 分 布方 式等 處理 器 信息 算模型程序的編寫者， 自己進(jìn)行數(shù)據(jù)分布的， 是 而當(dāng) 進(jìn)行 調(diào) 用時(shí) ， 局?jǐn)?shù)據(jù) 及數(shù) 據(jù) 的 分布情 況 是 由 全 主程 序分 布 好 了的 因此 必 須 實(shí)現(xiàn) 全 局 信息 和 局部 信息

2、的交 換 ， 使 外部 過(guò) 程 了解 數(shù) 組 的 全 局和 局部分 布情況 ， 才能 正確 實(shí)現(xiàn) 外 部過(guò) 程 的通信 ， 完成 計(jì)算 實(shí)現(xiàn)全局和局部信息的交換 ， 有兩種方式 ； 一 種是 傳遞 參數(shù) 數(shù)組 的分布 狀況 分布數(shù) 組描述 子 （ ， ） ，一 種 是 傳 遞 參數(shù) 數(shù)組的 首址 處 理器 維 數(shù) ：多維 處理 器組 在運(yùn) 行 支持 中也 被 拉 平 成 一 維 ， 個(gè) 處 理 器 被 賦于 一 個(gè) 全 局 唯 一 的 每 編號(hào) ； 處理器形 狀 ： 括處理 器組 備維 大 小 、 長(zhǎng)等 包 步 通過(guò) 實(shí)現(xiàn) 全 局和 局部 的 信 息交換 有 兩 種 是 實(shí)現(xiàn) 編 譯 器 的重

3、 要 數(shù) 據(jù) 結(jié) 構(gòu) ， 實(shí) 際上 對(duì)分 布 數(shù)組 的描 述 是 網(wǎng)絡(luò) 并行 計(jì) 算 必 不可 少 的 環(huán) 節(jié) 在采 用 運(yùn) 行 支 持 策 略 的 編 譯 器 中， 以句 柄 的形 式 存在 并 且構(gòu) 成 了編 譯 和 運(yùn) 行 支 持 的橋梁 ， 姬 常 包括 如下信 息 ： 方式 ， 一種是 句柄 局部調(diào)用支持庫(kù) 的方法， 種是 傳遞 數(shù)組 的方 法 句 柄 局部 調(diào)用支 持庫(kù) 的方 法 這種方式是 句 柄 傳 遞 給 外 部 過(guò) 程 ， 部 外 過(guò) 程 通 過(guò) 句 柄 以及 提 供 的外 部過(guò) 程調(diào) 用支持庫(kù)得到全局信息和局部信息， 實(shí)現(xiàn)對(duì)局部數(shù) 據(jù) 的遍 歷 這種 方式 如 圖 所示

4、一 數(shù)組 基本 信 息 數(shù)組維 數(shù)在運(yùn) 行 支持 中 ， 多維 數(shù)組 被拉平 用 一 句 柄 主 程序 算 模 計(jì) 型 的外 部 過(guò)程 （ ， ， 維 數(shù)組表 示 ； 元素類型 ； 直接作用于所有運(yùn)算操作和空間分配 ； 局部數(shù)組基 址 ： 源 程序僅 涉 及邏輯 全局?jǐn)?shù) 組， 對(duì)數(shù)組元素 的訪 問(wèn)必須通 過(guò)本地 物理地址進(jìn)行 編 譯 運(yùn) 行 支 持 系 統(tǒng) （ ， 等 ） 磐） 底 層通信支持 （ ， ） 圖 調(diào)用 原 理 期 胡長(zhǎng)軍等 ： 支持 多范倒并行計(jì)算 的并行編譯技術(shù) 這種 方式 實(shí)現(xiàn) 的關(guān)鍵 是局 部調(diào)用 支持 庫(kù) 函數(shù)的 確 定 和實(shí) 現(xiàn)問(wèn) 題 應(yīng)提 供 足夠 的函數(shù) 使 得 外

5、部 過(guò) 它 一 ， ） 返 回?cái)?shù) 組 某 （ ， ： 維 在給定 處理器 上 的塊數(shù) 上界 有 了這 些 函 數(shù) ， 部 過(guò) 程 的 編 寫 者 就 可 以在 外 程編寫者 以 句柄為參 數(shù)， 能夠查詢處理器組 的形 式、 組 分 布、 齊 等全 局 信 息 ， 數(shù) 對(duì) 以及 各 結(jié)點(diǎn) 上 的數(shù)據(jù) 元 素個(gè) 數(shù) 、 下 界 、 上 跳步 等 局部 信 息 ， 能 方 并 便 地遍 歷 局部 數(shù)組 ， 實(shí)現(xiàn) 全 局 下標(biāo)和 局 部 下標(biāo) 的轉(zhuǎn) 換 我們 在實(shí)現(xiàn) 對(duì) 外部過(guò) 程時(shí) ， 確定 了如 下 函數(shù) ： 主 程序 給 定 的 全 局 數(shù) 據(jù) 分 布 下 ， 自由 的 編 寫 算模 型的 外部

6、 過(guò)程 了 于 一 些 計(jì) 對(duì) 難 以 處 理 的 非 規(guī) 則 問(wèn) 題 ， 們 可 以 用 寫 成 我 外部 過(guò)程 ， 通過(guò) 調(diào) 用解決這 些 問(wèn)題 直 接 傳遞 數(shù)組 的方法 （）查詢 類 函數(shù) （ ， ） ， 并行程序庫(kù)是并行計(jì)算軟件的寶貴資源， 實(shí)現(xiàn) 對(duì)典 型并 行 算 法 庫(kù) 的調(diào) 用 ， 于 提 高 的 對(duì) 計(jì)算 能力 ， 并行 軟件 的重 用具有 積極 意 義 多可擴(kuò) 許 展并 行算 法庫(kù) （ 等都帶有 自己的通 如 ） 信 函數(shù)庫(kù) 和 格式 ， 因此 ， 調(diào) 用 時(shí)要 為算 法庫(kù) 生成 信 息 是 一 個(gè) 典 型 的 線 性 代 數(shù) 求 解 的 可 擴(kuò) 展并 行 算法 庫(kù) ， 它

7、是 在 的 基 礎(chǔ) 上 發(fā) 展而 來(lái) 得 ， 串行 語(yǔ) 言 調(diào)用 要 求 調(diào)用 者 負(fù)責(zé) 將 數(shù)據(jù) 分 布到 各 結(jié) 點(diǎn) 上 去 ， 了方 便程 序 員 ， 為 這 一 操 作 是 在 全 局 程 序 中 完 成 的 ， 法 是 通 過(guò) 方 函 數(shù)得 到處 理 器 的行 列 信 息 ， 在全 局 （ ） ， ） ， ， （ 用來(lái) 獲得 數(shù)組 的全局對(duì) 齊 、 布 、 板 的信 息 分 模 （ ， ） ）， （ 用來(lái) 獲取全 局 數(shù)組 的大小和形 狀 （）轉(zhuǎn) 換類 函數(shù) （ ， ， ） ， ， ， ） （ 用來(lái)確定 邏輯處理 器與 物理 處理器的相互對(duì)應(yīng) ， ， ） （ ， ， （ ， ， ，

8、） ， 用來(lái) 實(shí)現(xiàn)全 局 下標(biāo) 和局 部 下標(biāo)的轉(zhuǎn) 換 （）局部 數(shù)據(jù) 的遍歷類 函數(shù) （ ： 回本結(jié) 點(diǎn)的處理 器號(hào) ）返 （ ： 回 總 的 處 理 器 ） 返 個(gè) 數(shù) 程 序 中通 過(guò) 判別 不 同 處 理 器 號(hào) 執(zhí)行 不 同 賦 值 語(yǔ) 句 實(shí) 現(xiàn) 數(shù)據(jù) 分 布 要求 程 序 自己計(jì) 算 局部 信 息而 這 這 些 在 編譯 器 中是 自動(dòng) 完 成 的 ， 也 是 這 調(diào) 用 的意義 所 在 和許 多 典型 的并 行 算 法庫(kù) 一 樣 ， 也 帶 有 自 己的通 信 支 持 系統(tǒng) ， 且有 自己的 并 格式 ， 它 們 的調(diào) 用要 求 對(duì) 編 譯 器按 照外 部 過(guò) 程 的 要 求

9、填寫 好 并 ， 將 數(shù) 組首 址 傳 給 外 部 過(guò) 程 的 信 息是 以數(shù)組形 式 描 述 的 ， 內(nèi)容 如表 示 所 表 的 ， ）返 回?cái)?shù)組 每一 （ ， ： 維 在給定 處理器 上 的塊數(shù) ， ） 返 回 數(shù) 組 某 （ ， ： 一 維在 給定 處理器 上 的塊數(shù) 下界 在 語(yǔ) 句 執(zhí) 行前 ， 譯器 要 負(fù)責(zé) 填 寫這些 信 編 息 ， 了 兩 項(xiàng)外 ， 除 ， 其它 各項(xiàng)信息 很容 易得到 ， 兩項(xiàng)的信息和分布形式密切相關(guān) ： 設(shè)實(shí)參為 ， ， ， 處理 器個(gè) 數(shù) 為 則 當(dāng) 為 分 布 時(shí) ， ， ， 行 列 的分 布 單 位 分 別 為 當(dāng) 為 ， ； 布 時(shí) ， 分 行列分

10、 布單 位分 別填 寫為 值 得 指 出的 是 ， 然 的 數(shù)據(jù) 分 布 雖 形式 （ 涵 蓋 了 的 ） ， 計(jì) 算 機(jī) 學(xué) 報(bào) 兩 種形 式 ， 是 由于 但 中有 對(duì) 齊模 板 的 存 在 在 調(diào) 用前 ， 然 需要 判 斷形 參 和 實(shí)參 的分 布形 式 是 否 仍 一 （ ， “ ） “ （ ， 定義 一個(gè)和 ） 同形 的數(shù)組 用來(lái) 動(dòng)態(tài)計(jì)算 和存放各維的大小 （ （ ）（ ， ） ） （ （ ） ） 致 要時(shí)進(jìn) 行參 數(shù) 的重分 布 必 調(diào) 用 型 的 外部 過(guò) 程 時(shí) ， 給 每個(gè) 模 傳 數(shù) 組參數(shù) 的上下界 問(wèn)題 結(jié)點(diǎn) 上 行 的外 部過(guò) 程 的參 數(shù) ， 執(zhí) 是分 布 在每

11、 一 （ ： 指定 它為 傳遞方式 ， ） 將各維 長(zhǎng)度 傳 給 外 部 過(guò) 程 的 整 型 形 參 個(gè) 結(jié)點(diǎn) 上 的全 局?jǐn)?shù) 組 片 段 而局 部 數(shù)組 的上 下界 與全 局?jǐn)?shù) 組 的 界、 理 器個(gè) 數(shù) 、 布方 式 、 用 參數(shù) 處 分 調(diào) 等 相關(guān) 是難 以靜 態(tài)計(jì)算 的 ， 且各 結(jié) 點(diǎn)上的 上下 界 并 也 可 能 不 同在 主程 序 中說(shuō) 明 外 部過(guò) 程 時(shí) ， 可 以采 用僭 取 形數(shù) 組說(shuō) 明方 式 回避 這 一 問(wèn)題 ， 在如 下 倒 程 中 ， 明的形 參 數(shù) 組 說(shuō) 就是 僭 取 形 數(shù) 組 ， 的 它 語(yǔ) 義是 上下 界取過(guò) 程調(diào) 用時(shí) 實(shí)參 的上 下界 （ ， ）

12、 相應(yīng) 的外 部過(guò) 程頭應(yīng) 寫為 ， ） 的值通過(guò) （ 傳遞方 式 由 形參獲得 （ ） 靜態(tài)定義和僭取形實(shí) 參相 對(duì) 應(yīng) 的 數(shù)組 ， ￥ （ ， ） 實(shí)例 與結(jié)論 外部 過(guò) 程 調(diào) 用 的 編 譯 處理 技 術(shù) 已在 我 們 的 編 譯 器 中得 到 成 功 實(shí) 現(xiàn) ， 用 利 實(shí) 現(xiàn) 了對(duì) 和 行 的 ， 執(zhí) 行 的 執(zhí) 、 行算 法 庫(kù) 的調(diào)用 ， 于 并 對(duì) 一 ￥ ， （ “ ” “ ） ） （， （ ， （ 一 （ ） ， ） ） 些通 信 復(fù) 雜 ， 實(shí) 現(xiàn) 不 易取 得 高 性 能 的 問(wèn) 題 ， 采用 外 部過(guò) 程 調(diào)用 的 方法 取 得 了很 好 的效 果 ， 通過(guò) 外部

13、 過(guò)程 調(diào) 用 ， 實(shí)現(xiàn) 了 對(duì) 一些典 型 并 行算 法 庫(kù) 的 也 但 是 ， 行 的外 部過(guò) 程 一 個(gè) 執(zhí) 是 重用 下面 實(shí)例 是一個(gè) 調(diào) 用 實(shí)現(xiàn) 過(guò)程 ， 它不 支持 僭取 形數(shù) 組 的說(shuō) 明形 式 ， 不支 也 持 動(dòng) 態(tài)數(shù) 組 ， 以在 外部 過(guò) 程 中 必須靜 態(tài) 顯式聲 明 所 維 的 上 下界 么這 個(gè) 上 下界 的值 怎樣 取 呢 ？ 各 那 我們采 用如 下做法 進(jìn)行 處理 ： （ ）增 加一 個(gè) 和 僭 取 形 數(shù) 組 同形 的形 參 ， 指 并 矩 陣轉(zhuǎn)置 的 計(jì)算 實(shí)例 ， 例 驗(yàn) 證 了 不同 的 參數(shù) 傳遞 該 方 式 、 存 轉(zhuǎn) 換 方 式 、 下 界

14、處理 等 技 術(shù) ， 外 部 內(nèi) 上 其 過(guò)程 中也使 用 了我 們?cè)O(shè) 計(jì) 的局 部 支持 函 數(shù) 實(shí) 例 運(yùn) 行 正 確 ， 證 了 我 們 編 譯 技 術(shù) 的 正 該 驗(yàn) 確性 定其 傳遞方 式 “ ” 由編 譯 器生 成 ， 態(tài)計(jì)算 出 ， 動(dòng) 每 一 維 的 局 部 大 小 的 代 碼 ， 記 錄 在 該 參 數(shù) 中 并 “ 例 調(diào)用 求矩 陣 的轉(zhuǎn)置 傳遞 方 式 的含 義是 將 數(shù) 組各 維值 賦給 相 應(yīng) ” （）程序 員 定 義 外部 過(guò) 程 時(shí) ， 負(fù)責(zé) 定 義各 維 大 ： （ ） ： ： （ ： ） ： （ ， ： ） 的整型數(shù) 小的形 式參 數(shù) （ 型 數(shù)）并 用 此

15、參 數(shù) 定 義和 主程 序 整 ， 中的僭取形 數(shù) 組形參 相對(duì) 應(yīng) （ ）編譯 器 負(fù)責(zé) 參數(shù) 的傳遞 按照這 一 思想 ， 上面 的過(guò) 程應(yīng) 寫 成如 下形式 ： 這 ￥ （ ， ） ￥ （ ， ） ￥ （ ， × （ × ） ！ ￥ （ （ ） ，） 樣既解決 了參 數(shù) 傳遞 的問(wèn)題 ， 又和 規(guī) 范的基本 思想一致 （ ， ） （ ， ） 調(diào) 用一個(gè) 模式 執(zhí)行 的外部過(guò)程 （： ） ： （ 一 ） （ ： ） ： ， ！ ￥ （ ） ￥ ， 的大 小在運(yùn)行 時(shí) 有實(shí)參 大 小確定 實(shí)參 將 的首 地址 傳給形 參 ， 傳遞 前將 數(shù)組 存儲(chǔ) 方式 期 胡長(zhǎng)軍 等

16、； 支 持多范例并 行計(jì) 算的并 行編譯技術(shù) 轉(zhuǎn) 變 為 形 式 ， （ ， ） （ ：， ） （ ） ： ： 加速 比 ， 個(gè) 處理 器時(shí) 加速 比大 于 且 非常 穩(wěn) 定 ， 而 當(dāng) 處 理 器 個(gè) 數(shù) 為 時(shí) ， 加速 比接 近 可 擴(kuò) 展 性 很 ， 好， 其效 率 達(dá)到 ， 是 非常理 想 的 這 圖 是 兩 類程 序 的加速 比 的對(duì) 比， 該 圖 可 以 從 看 出， 對(duì) 于該 問(wèn) 題 的 加 速 比還 是 可 以接 受 的傳遞方式 為傳 數(shù)組 的形狀 ， 即編 譯器 動(dòng) 態(tài) 確 定 各 維 太 小 ， ： ， ） （ ） （ ）： ： 的， 但采 用調(diào) 用 的方法 ， 增加 了

17、一些 編程 的復(fù) 雜性 ， 但是換 取 的加速 比提 高還 是可 觀 的 對(duì) 于 數(shù)組傳 的句柄 ￥ （ ， ） ： 。 ： ， 越 餾 曩 ：， ： 一 （ × 十 （一 ） （ ） ） 一 ， （ ， ） 一 ） ， ， ， ） （ 問(wèn)題 規(guī) 模 圖 時(shí) 和 一 調(diào) 用 求 解 問(wèn)題 的 加 速 比 對(duì) 照 表 【 口， ） ， 一 實(shí)現(xiàn) 以 為 核 心的 多范例 并行計(jì) 算 ， 僅 可 不 以 彌補(bǔ) 數(shù) 據(jù)并 行本 身 的 一些 缺 點(diǎn) ， 大提 高 并行 計(jì) 大 算 的 應(yīng) 用能力 ， 且對(duì) 于提 高大 型 并 行 系統(tǒng) 的 開(kāi)發(fā) 而 效率 都有 很大 意義 究和應(yīng) 用表 明

18、 ， 研 通過(guò) 編譯 技術(shù) 為程序 員提 供 語(yǔ)言級(jí) 的多 范例 并行 系統(tǒng)開(kāi) 發(fā)手段 是 實(shí) 現(xiàn)多 范例 并 行計(jì) 算 的有效 途 徑 一步 將在 此 基 下 礎(chǔ)上 ， 深入 研 究不 同范 例 的并 行 類庫(kù) 和 并 行構(gòu) 件 的 構(gòu)筑 等 并行 軟 件工 程 問(wèn) 題 ， 在更 高 層 次上 支 持不 同 ， “ ，）， 例 調(diào) 用 ， 求 解 問(wèn)題 用 數(shù) 據(jù) 并行 的方 法 求 解 問(wèn)題 涉及 的 接點(diǎn)之 間的通 信量 較大 ， 許多 的 均 將 其包 含之 中 ， 以驗(yàn)證 編譯 器 的處理 能力 是 由 但 于 問(wèn)題 本身 的特 點(diǎn) ， 依靠 編 譯器 取得高教 率 是 困難 的 ， 是 如果 采 用 但 進(jìn) 行 數(shù) 據(jù)分 布 而通 過(guò) 范例并行計(jì)算模式的集成 參 考 文 獻(xiàn) 十 過(guò) 程 由程 序 員 自己處 理通 信 問(wèn)題 ， 果 效 又如何 呢 ？ 通過(guò) 該 實(shí)例驗(yàn)證 實(shí)現(xiàn)技術(shù) 的