pHP-F支持多范例并行計算的并行編譯技術(shù)

1、 計 算 機(jī) 學(xué) 報 圖 整理 后 的 存 儲 形式 主 程 序 中 數(shù)組 的 存 儲 形 式 上 豢 整理后的形式： 數(shù) 組 組 數(shù) 圖 結(jié)點 上的數(shù)據(jù)存儲和整理過程 全局與 局部信 息 的交換 調(diào) 用 算模 型 的 外 部過 程 時 ， 計 如 ， 外部過 程之 間存 在顯式 的通 信 ， 常 通 計 全局 數(shù)組 形狀 ；包括數(shù) 組 各維 的上 下界 、 步長 、 分 布方 式等 處理 器 信息 算模型程序的編寫者， 自己進(jìn)行數(shù)據(jù)分布的， 是 而當(dāng) 進(jìn)行 調(diào) 用時 ， 局?jǐn)?shù)據(jù) 及數(shù) 據(jù) 的 分布情 況 是 由 全 主程 序分 布 好 了的 因此 必 須 實現(xiàn) 全 局 信息 和 局部 信息

2、的交 換 ， 使 外部 過 程 了解 數(shù) 組 的 全 局和 局部分 布情況 ， 才能 正確 實現(xiàn) 外 部過 程 的通信 ， 完成 計算 實現(xiàn)全局和局部信息的交換 ， 有兩種方式 ； 一 種是 傳遞 參數(shù) 數(shù)組 的分布 狀況 分布數(shù) 組描述 子 （ ， ） ，一 種 是 傳 遞 參數(shù) 數(shù)組的 首址 處 理器 維 數(shù) ：多維 處理 器組 在運 行 支持 中也 被 拉 平 成 一 維 ， 個 處 理 器 被 賦于 一 個 全 局 唯 一 的 每 編號 ； 處理器形 狀 ： 括處理 器組 備維 大 小 、 長等 包 步 通過 實現(xiàn) 全 局和 局部 的 信 息交換 有 兩 種 是 實現(xiàn) 編 譯 器 的重

3、 要 數(shù) 據(jù) 結(jié) 構(gòu) ， 實 際上 對分 布 數(shù)組 的描 述 是 網(wǎng)絡(luò) 并行 計 算 必 不可 少 的 環(huán) 節(jié) 在采 用 運 行 支 持 策 略 的 編 譯 器 中， 以句 柄 的形 式 存在 并 且構(gòu) 成 了編 譯 和 運 行 支 持 的橋梁 ， 姬 常 包括 如下信 息 ： 方式 ， 一種是 句柄 局部調(diào)用支持庫 的方法， 種是 傳遞 數(shù)組 的方 法 句 柄 局部 調(diào)用支 持庫 的方 法 這種方式是 句 柄 傳 遞 給 外 部 過 程 ， 部 外 過 程 通 過 句 柄 以及 提 供 的外 部過 程調(diào) 用支持庫得到全局信息和局部信息， 實現(xiàn)對局部數(shù) 據(jù) 的遍 歷 這種 方式 如 圖 所示

4、一 數(shù)組 基本 信 息 數(shù)組維 數(shù)在運 行 支持 中 ， 多維 數(shù)組 被拉平 用 一 句 柄 主 程序 算 模 計 型 的外 部 過程 （ ， ， 維 數(shù)組表 示 ； 元素類型 ； 直接作用于所有運算操作和空間分配 ； 局部數(shù)組基 址 ： 源 程序僅 涉 及邏輯 全局?jǐn)?shù) 組， 對數(shù)組元素 的訪 問必須通 過本地 物理地址進(jìn)行 編 譯 運 行 支 持 系 統(tǒng) （ ， 等 ） 磐） 底 層通信支持 （ ， ） 圖 調(diào)用 原 理 期 胡長軍等 ： 支持 多范倒并行計算 的并行編譯技術(shù) 這種 方式 實現(xiàn) 的關(guān)鍵 是局 部調(diào)用 支持 庫 函數(shù)的 確 定 和實 現(xiàn)問 題 應(yīng)提 供 足夠 的函數(shù) 使 得 外

5、部 過 它 一 ， ） 返 回數(shù) 組 某 （ ， ： 維 在給定 處理器 上 的塊數(shù) 上界 有 了這 些 函 數(shù) ， 部 過 程 的 編 寫 者 就 可 以在 外 程編寫者 以 句柄為參 數(shù)， 能夠查詢處理器組 的形 式、 組 分 布、 齊 等全 局 信 息 ， 數(shù) 對 以及 各 結(jié)點 上 的數(shù)據(jù) 元 素個 數(shù) 、 下 界 、 上 跳步 等 局部 信 息 ， 能 方 并 便 地遍 歷 局部 數(shù)組 ， 實現(xiàn) 全 局 下標(biāo)和 局 部 下標(biāo) 的轉(zhuǎn) 換 我們 在實現(xiàn) 對 外部過 程時 ， 確定 了如 下 函數(shù) ： 主 程序 給 定 的 全 局 數(shù) 據(jù) 分 布 下 ， 自由 的 編 寫 算模 型的 外部

6、 過程 了 于 一 些 計 對 難 以 處 理 的 非 規(guī) 則 問 題 ， 們 可 以 用 寫 成 我 外部 過程 ， 通過 調(diào) 用解決這 些 問題 直 接 傳遞 數(shù)組 的方法 （）查詢 類 函數(shù) （ ， ） ， 并行程序庫是并行計算軟件的寶貴資源， 實現(xiàn) 對典 型并 行 算 法 庫 的調(diào) 用 ， 于 提 高 的 對 計算 能力 ， 并行 軟件 的重 用具有 積極 意 義 多可擴(kuò) 許 展并 行算 法庫 （ 等都帶有 自己的通 如 ） 信 函數(shù)庫 和 格式 ， 因此 ， 調(diào) 用 時要 為算 法庫 生成 信 息 是 一 個 典 型 的 線 性 代 數(shù) 求 解 的 可 擴(kuò) 展并 行 算法 庫 ， 它

7、是 在 的 基 礎(chǔ) 上 發(fā) 展而 來 得 ， 串行 語 言 調(diào)用 要 求 調(diào)用 者 負(fù)責(zé) 將 數(shù)據(jù) 分 布到 各 結(jié) 點 上 去 ， 了方 便程 序 員 ， 為 這 一 操 作 是 在 全 局 程 序 中 完 成 的 ， 法 是 通 過 方 函 數(shù)得 到處 理 器 的行 列 信 息 ， 在全 局 （ ） ， ） ， ， （ 用來 獲得 數(shù)組 的全局對 齊 、 布 、 板 的信 息 分 模 （ ， ） ）， （ 用來 獲取全 局 數(shù)組 的大小和形 狀 （）轉(zhuǎn) 換類 函數(shù) （ ， ， ） ， ， ， ） （ 用來確定 邏輯處理 器與 物理 處理器的相互對應(yīng) ， ， ） （ ， ， （ ， ， ，

8、） ， 用來 實現(xiàn)全 局 下標(biāo) 和局 部 下標(biāo)的轉(zhuǎn) 換 （）局部 數(shù)據(jù) 的遍歷類 函數(shù) （ ： 回本結(jié) 點的處理 器號 ）返 （ ： 回 總 的 處 理 器 ） 返 個 數(shù) 程 序 中通 過 判別 不 同 處 理 器 號 執(zhí)行 不 同 賦 值 語 句 實 現(xiàn) 數(shù)據(jù) 分 布 要求 程 序 自己計 算 局部 信 息而 這 這 些 在 編譯 器 中是 自動 完 成 的 ， 也 是 這 調(diào) 用 的意義 所 在 和許 多 典型 的并 行 算 法庫 一 樣 ， 也 帶 有 自 己的通 信 支 持 系統(tǒng) ， 且有 自己的 并 格式 ， 它 們 的調(diào) 用要 求 對 編 譯 器按 照外 部 過 程 的 要 求

9、填寫 好 并 ， 將 數(shù) 組首 址 傳 給 外 部 過 程 的 信 息是 以數(shù)組形 式 描 述 的 ， 內(nèi)容 如表 示 所 表 的 ， ）返 回數(shù)組 每一 （ ， ： 維 在給定 處理器 上 的塊數(shù) ， ） 返 回 數(shù) 組 某 （ ， ： 一 維在 給定 處理器 上 的塊數(shù) 下界 在 語 句 執(zhí) 行前 ， 譯器 要 負(fù)責(zé) 填 寫這些 信 編 息 ， 了 兩 項外 ， 除 ， 其它 各項信息 很容 易得到 ， 兩項的信息和分布形式密切相關(guān) ： 設(shè)實參為 ， ， ， 處理 器個 數(shù) 為 則 當(dāng) 為 分 布 時 ， ， ， 行 列 的分 布 單 位 分 別 為 當(dāng) 為 ， ； 布 時 ， 分 行列分

10、 布單 位分 別填 寫為 值 得 指 出的 是 ， 然 的 數(shù)據(jù) 分 布 雖 形式 （ 涵 蓋 了 的 ） ， 計 算 機(jī) 學(xué) 報 兩 種形 式 ， 是 由于 但 中有 對 齊模 板 的 存 在 在 調(diào) 用前 ， 然 需要 判 斷形 參 和 實參 的分 布形 式 是 否 仍 一 （ ， “ ） “ （ ， 定義 一個和 ） 同形 的數(shù)組 用來 動態(tài)計算 和存放各維的大小 （ （ ）（ ， ） ） （ （ ） ） 致 要時進(jìn) 行參 數(shù) 的重分 布 必 調(diào) 用 型 的 外部 過 程 時 ， 給 每個 模 傳 數(shù) 組參數(shù) 的上下界 問題 結(jié)點 上 行 的外 部過 程 的參 數(shù) ， 執(zhí) 是分 布 在每

11、 一 （ ： 指定 它為 傳遞方式 ， ） 將各維 長度 傳 給 外 部 過 程 的 整 型 形 參 個 結(jié)點 上 的全 局?jǐn)?shù) 組 片 段 而局 部 數(shù)組 的上 下界 與全 局?jǐn)?shù) 組 的 界、 理 器個 數(shù) 、 布方 式 、 用 參數(shù) 處 分 調(diào) 等 相關(guān) 是難 以靜 態(tài)計算 的 ， 且各 結(jié) 點上的 上下 界 并 也 可 能 不 同在 主程 序 中說 明 外 部過 程 時 ， 可 以采 用僭 取 形數(shù) 組說 明方 式 回避 這 一 問題 ， 在如 下 倒 程 中 ， 明的形 參 數(shù) 組 說 就是 僭 取 形 數(shù) 組 ， 的 它 語 義是 上下 界取過 程調(diào) 用時 實參 的上 下界 （ ， ）

12、 相應(yīng) 的外 部過 程頭應(yīng) 寫為 ， ） 的值通過 （ 傳遞方 式 由 形參獲得 （ ） 靜態(tài)定義和僭取形實 參相 對 應(yīng) 的 數(shù)組 ， ￥ （ ， ） 實例 與結(jié)論 外部 過 程 調(diào) 用 的 編 譯 處理 技 術(shù) 已在 我 們 的 編 譯 器 中得 到 成 功 實 現(xiàn) ， 用 利 實 現(xiàn) 了對 和 行 的 ， 執(zhí) 行 的 執(zhí) 、 行算 法 庫 的調(diào)用 ， 于 并 對 一 ￥ ， （ “ ” “ ） ） （， （ ， （ 一 （ ） ， ） ） 些通 信 復(fù) 雜 ， 實 現(xiàn) 不 易取 得 高 性 能 的 問 題 ， 采用 外 部過 程 調(diào)用 的 方法 取 得 了很 好 的效 果 ， 通過 外部

13、 過程 調(diào) 用 ， 實現(xiàn) 了 對 一些典 型 并 行算 法 庫 的 也 但 是 ， 行 的外 部過 程 一 個 執(zhí) 是 重用 下面 實例 是一個 調(diào) 用 實現(xiàn) 過程 ， 它不 支持 僭取 形數(shù) 組 的說 明形 式 ， 不支 也 持 動 態(tài)數(shù) 組 ， 以在 外部 過 程 中 必須靜 態(tài) 顯式聲 明 所 維 的 上 下界 么這 個 上 下界 的值 怎樣 取 呢 ？ 各 那 我們采 用如 下做法 進(jìn)行 處理 ： （ ）增 加一 個 和 僭 取 形 數(shù) 組 同形 的形 參 ， 指 并 矩 陣轉(zhuǎn)置 的 計算 實例 ， 例 驗 證 了 不同 的 參數(shù) 傳遞 該 方 式 、 存 轉(zhuǎn) 換 方 式 、 下 界

14、處理 等 技 術(shù) ， 外 部 內(nèi) 上 其 過程 中也使 用 了我 們設(shè) 計 的局 部 支持 函 數(shù) 實 例 運 行 正 確 ， 證 了 我 們 編 譯 技 術(shù) 的 正 該 驗 確性 定其 傳遞方 式 “ ” 由編 譯 器生 成 ， 態(tài)計算 出 ， 動 每 一 維 的 局 部 大 小 的 代 碼 ， 記 錄 在 該 參 數(shù) 中 并 “ 例 調(diào)用 求矩 陣 的轉(zhuǎn)置 傳遞 方 式 的含 義是 將 數(shù) 組各 維值 賦給 相 應(yīng) ” （）程序 員 定 義 外部 過 程 時 ， 負(fù)責(zé) 定 義各 維 大 ： （ ） ： ： （ ： ） ： （ ， ： ） 的整型數(shù) 小的形 式參 數(shù) （ 型 數(shù)）并 用 此

15、參 數(shù) 定 義和 主程 序 整 ， 中的僭取形 數(shù) 組形參 相對 應(yīng) （ ）編譯 器 負(fù)責(zé) 參數(shù) 的傳遞 按照這 一 思想 ， 上面 的過 程應(yīng) 寫 成如 下形式 ： 這 ￥ （ ， ） ￥ （ ， ） ￥ （ ， × （ × ） ！ ￥ （ （ ） ，） 樣既解決 了參 數(shù) 傳遞 的問題 ， 又和 規(guī) 范的基本 思想一致 （ ， ） （ ， ） 調(diào) 用一個 模式 執(zhí)行 的外部過程 （： ） ： （ 一 ） （ ： ） ： ， ！ ￥ （ ） ￥ ， 的大 小在運行 時 有實參 大 小確定 實參 將 的首 地址 傳給形 參 ， 傳遞 前將 數(shù)組 存儲 方式 期 胡長軍 等

16、； 支 持多范例并 行計 算的并 行編譯技術(shù) 轉(zhuǎn) 變 為 形 式 ， （ ， ） （ ：， ） （ ） ： ： 加速 比 ， 個 處理 器時 加速 比大 于 且 非常 穩(wěn) 定 ， 而 當(dāng) 處 理 器 個 數(shù) 為 時 ， 加速 比接 近 可 擴(kuò) 展 性 很 ， 好， 其效 率 達(dá)到 ， 是 非常理 想 的 這 圖 是 兩 類程 序 的加速 比 的對 比， 該 圖 可 以 從 看 出， 對 于該 問 題 的 加 速 比還 是 可 以接 受 的傳遞方式 為傳 數(shù)組 的形狀 ， 即編 譯器 動 態(tài) 確 定 各 維 太 小 ， ： ， ） （ ） （ ）： ： 的， 但采 用調(diào) 用 的方法 ， 增加 了

17、一些 編程 的復(fù) 雜性 ， 但是換 取 的加速 比提 高還 是可 觀 的 對 于 數(shù)組傳 的句柄 ￥ （ ， ） ： 。 ： ， 越 餾 曩 ：， ： 一 （ × 十 （一 ） （ ） ） 一 ， （ ， ） 一 ） ， ， ， ） （ 問題 規(guī) 模 圖 時 和 一 調(diào) 用 求 解 問題 的 加 速 比 對 照 表 【 口， ） ， 一 實現(xiàn) 以 為 核 心的 多范例 并行計 算 ， 僅 可 不 以 彌補(bǔ) 數(shù) 據(jù)并 行本 身 的 一些 缺 點 ， 大提 高 并行 計 大 算 的 應(yīng) 用能力 ， 且對 于提 高大 型 并 行 系統(tǒng) 的 開發(fā) 而 效率 都有 很大 意義 究和應(yīng) 用表 明

18、 ， 研 通過 編譯 技術(shù) 為程序 員提 供 語言級 的多 范例 并行 系統(tǒng)開 發(fā)手段 是 實 現(xiàn)多 范例 并 行計 算 的有效 途 徑 一步 將在 此 基 下 礎(chǔ)上 ， 深入 研 究不 同范 例 的并 行 類庫 和 并 行構(gòu) 件 的 構(gòu)筑 等 并行 軟 件工 程 問 題 ， 在更 高 層 次上 支 持不 同 ， “ ，）， 例 調(diào) 用 ， 求 解 問題 用 數(shù) 據(jù) 并行 的方 法 求 解 問題 涉及 的 接點之 間的通 信量 較大 ， 許多 的 均 將 其包 含之 中 ， 以驗證 編譯 器 的處理 能力 是 由 但 于 問題 本身 的特 點 ， 依靠 編 譯器 取得高教 率 是 困難 的 ， 是 如果 采 用 但 進(jìn) 行 數(shù) 據(jù)分 布 而通 過 范例并行計算模式的集成 參 考 文 獻(xiàn) 十 過 程 由程 序 員 自己處 理通 信 問題 ， 果 效 又如何 呢 ？ 通過 該 實例驗證 實現(xiàn)技術(shù) 的