CUDA實(shí)例-矩陣乘法

1、CUDA例子程序矩陣乘法M矩陣乘法的基本實(shí)現(xiàn)矩陣P = M * N 大小為 WIDTH x WIDTHNPWIDTHWIDTHWIDTHWIDTH串行版本的矩陣乘法MNPWIDTHWIDTHWIDTHWIDTHvoid MatrixMulOnHost(float* M, float* N, float* P, int Width) for (int i = 0; i Width; +i) for (int j = 0; j Width; +j) double sum = 0; for (int k = 0; k Width; +k) double a = Mi * width + k; dou

2、ble b = Nk * width + j; sum += a * b; Pi * Width + j = sum; ikkj一個(gè)線程塊中的每個(gè)線程計(jì)算Pd中的一個(gè)元素每個(gè)線程（帶狀劃分）載入矩陣Md中的一行載入矩陣Nd中的一列為每對(duì)Md和Nd元素執(zhí)行了一次乘法和加法 Grid 1Blockhread(2, 2) WIDTHMdPdNd并行時(shí)的一個(gè)線程N(yùn)dMdPdWIDTHWIDTHWIDTHWIDTH內(nèi)核函數(shù) /每個(gè)線程計(jì)算一個(gè)元素 for (int k = 0; k Width; +k) float Melement = Mdty * Width + k; fl

3、oat Nelement = Ndk * Width + tx; Pvalue += Melement * Nelement; / 將計(jì)算結(jié)果寫(xiě)入設(shè)備存儲(chǔ)器中 Pdty * Width + tx = Pvalue;tytxtytxkk缺點(diǎn)及改進(jìn)方法缺點(diǎn)：上述方法只用到了全局存儲(chǔ)器，延遲較大改進(jìn)： 使用共享存儲(chǔ)器進(jìn)行線程間通信，對(duì)矩陣改用棋盤(pán)劃分實(shí)現(xiàn)（優(yōu)化1） 利用寄存器資源提高訪問(wèn)（優(yōu)化2）7MdNdPdPdsubTILE_WIDTHWIDTHWIDTHTILE_WIDTHTILE_WIDTHbxtx01TILE_WIDTH-12012byty210TILE_WIDTH-1210TILE_WI

4、DTHTILE_WIDTHTILE_WIDTHEWIDTHWIDTH分塊計(jì)算矩陣乘法采用棋盤(pán)劃分：每個(gè)線程塊計(jì)算一個(gè)大小為T(mén)ILE_WIDTH的方形子矩陣Pdsub每個(gè)線程計(jì)算Pdsub子矩陣中的一個(gè)元素假設(shè)Md和Nd的大小都是TILE_WIDTH 的倍數(shù)對(duì)一個(gè)blockuv wuvw（0,0）第一次循環(huán)，從global中取出M的U塊和N的U塊，分別放入shared中的Md1616、Nd1616中，然后block中的每個(gè)thread根據(jù)Md、Nd、tx、ty計(jì)算出一個(gè)Pdsub。同理可求其他塊，并將每個(gè)thread做最后的Pdsub加和，這時(shí)的Pdsub就是每個(gè)thread計(jì)算出來(lái)的最終結(jié)果，也就是（0,0）塊優(yōu)點(diǎn)和缺點(diǎn)優(yōu)點(diǎn)：不存在bank conflict問(wèn)題，在進(jìn)行兩個(gè)子塊乘加的for（）中，每個(gè)half-warp訪問(wèn)的是Md