如何提高程序的性能

如何提高程序的性能第一頁(yè)，共三十一頁(yè)，2022年，8月28日提高性能的方法Fasterhardware-$$$=速度Usetherightlanguage,compileroptimizationsDesignscalableapplicationArchitecturaldesign:cache->RAM->diskChooserightdatastructuresandalgorithmsTunecodeAvoidslowOSAPIsTune,measure,tune,measure,tune,measure…第二頁(yè)，共三十一頁(yè)，2022年，8月28日提高性能的方法Fasterhardware-$$$=速度Usetherightlanguage,compileroptimizationsDesignscalableapplicationArchitecturaldesign:cache->RAM->diskChooserightdatastructuresandalgorithmsTunecodeAvoidslowOSAPIsTune,measure,tune,measure,tune,measure…第三頁(yè)，共三十一頁(yè)，2022年，8月28日Design:ACaseStudyDesignascalableSMTPserverScalableisthekey2-CPU,4-CPU,8-CPUmachinesHandleasmanyrequestaspossible,withrelativelyfastresponsetime.第四頁(yè)，共三十一頁(yè)，2022年，8月28日Design:ACaseStudyAsimpleSMTPserver//ReadSMTPcommands/datafromsocketsIf(ReadFile(…)){//varioushousekeepingremoved…}//ParseSMTPrecipientsandotherheadersIf(!ParseSMTPHeaders(…)){//handleerrors…}//ParsebodiesIf(!ParseSMTPBodies(…)){//handleerrors…}第五頁(yè)，共三十一頁(yè)，2022年，8月28日Design:ACaseStudy(cont.)//LocaldeliveryorroutingIf(LocalDelivery(…)){Deliver(…);}else{Route(…);}//SendSMTPresponsethroughSocketIf(WriteFile(…)){//varioushousekeepingskips…}第六頁(yè)，共三十一頁(yè)，2022年，8月28日TraditionalThreadArchitectureSMTPRequestReceiver(Socket)WorkerThreadWorkerThread(Otherworkers)1threadtoreceiveanddispatchSMTPrequest64workerthreadsdoing:ParseSMTPheadersParseSMTPbodiesLocaldeliveryRoutingAllinthesamethreadsequentially…第七頁(yè)，共三十一頁(yè)，2022年，8月28日TheEvolutionofHardwareRelativePerformance(Latency)020040060080019921994199619982000TimePerformanceCPURAMDisk第八頁(yè)，共三十一頁(yè)，2022年，8月28日BridgetheGap-CachesCPUL1cache8Kinstructioncache,plus8KdatacacheCloselycoupled0.333clock/instruction–practical1CPICPUL2cache512KstaticRAMCoupledwithfullclock-speed,64-bit,cachebusLatency:4-1-1-1–7clocks/instructionI/Ocaches(RAMbasedfilecaches)第九頁(yè)，共三十一頁(yè)，2022年，8月28日ThePriceofFailureLet’slookatthecosts:Assume1secondtozeroaregisterL1cachehit-1second(1x)L2cachehit-4seconds(plus3secondsextrawork-7x)RAMhit-25-150seconds(24x-150x)Diskornethit-3weeks(2,000,000x)第十頁(yè)，共三十一頁(yè)，2022年，8月28日SMTPServerArchitecture1threadtoreceiveanddispatchSMTPrequest1workerthreadperCPUEventLoops(4stages)ParseSMTPheaders/bodiesLocaldeliveryRoutingSocketsendandfileI/OOnequeueforeacheventloopsDrainqueuetoemptybeforecontextswitchSMTPRequestsDispatcherLocalDeliveryRoutingI/OManagerSMTPHeader/BodyParser第十一頁(yè)，共三十一頁(yè)，2022年，8月28日PerformanceImprovement第十二頁(yè)，共三十一頁(yè)，2022年，8月28日PuttingitalltogetherCacheeffectsareasignificantfactorinoverallperformanceandscalabilityBatchingofferssignificantbenefitsSpatialandtemporallocalitymattersCachelines(orpages)containrelateddataBurstorsmoothusagepattern(notrandom)SignificantrepeateduseofthecacheddataThreadsperuserarchitecturesareexpensiveanddon’tscalewell第十三頁(yè)，共三十一頁(yè)，2022年，8月28日Nowlet’slookatmemoryThefootprintofWindowsislarge16MBWin98systemand32MBWindows2000systemscannothostmostapplicationsMSapplicationsneedmorememorythanWindowscanprovideToincreaseperformance,weneedtoreduceourfoodprints第十四頁(yè)，共三十一頁(yè)，2022年，8月28日WhatistheFootprint?ThefootprintistheunconstrainedworkingsetofanapplicationAllimagecodeanddatarecentlyusedbytheapplicationAlldynamicdatarecentlyusedbytheappSystemresourcesusedtosupporttheappTheworkingsetconsistsofresidentpagesthatareusingrealphysicalmemory第十五頁(yè)，共三十一頁(yè)，2022年，8月28日VirtualMemoryUsageVirtualMemoryYouraddressspacestartsoutemptyCodeandStaticdatafromyour.exeispartoftheaddressspaceCodeStaticDataEXEDiskImageCodeandStaticdatafromDLLsthatyourappusesarepartoftheaddressspaceCodeStaticDataDLLsCodeStaticDataCodeStaticDataDynamicDatafromheap&VirtualAllocallocationsarepartoftheaddressspaceDynamicAllocationDynamicDataDynamicDataDynamicDataHeapOSSupportstructureslikepagetablepagesarepartoftheaddressspaceSystemDataSystemDataSystemDataOSSupport第十六頁(yè)，共三十一頁(yè)，2022年，8月28日WorkingSetVirtualMemoryPagingreducestheworkingsetHardDiskThepagesremainingarethecurrentworkingsetPhysicalMemoryWorking

SetApagefaultwillbringinapageaddingtotheworkingsetPageFault第十七頁(yè)，共三十一頁(yè)，2022年，8月28日ApplicationThrashingPageFaultRatevs.Memory08163264128256PageFaults/Sec.MemoryinMegabytesMachineiswaytoosmallforappMachineisalittlesmallbutOKMachinehandlestheappjustfine第十八頁(yè)，共三十一頁(yè)，2022年，8月28日HowtoDetermineWorkingSet?NTTaskManagerProcessesTabshowsperprocessdataMemUsageshowsactiveWorkingSetMemDeltashowsWorkingSetchangesPageFaultsshowstotalnumberoffaultsNTpmonutilityMemUsagecolumnNTpstatutilityWscolumn第十九頁(yè)，共三十一頁(yè)，2022年，8月28日WorkingSetPhysicalMemoryVirtualMemoryHardDiskTheOSmanagestheworkingsetsizeofalltheapplicationsWorkingSetSize1.5Meg0K500K1MegTheOSusetwosettingsinit’spagingalgorithmwsMaxandwsMinwsMinwsMaxwsCur’srelationtothesesettingsalongwithmemorycontraintisusedinpagingwsCurWhenmemoryisampleandapagefaultoccurswsCurisallowedtogrowunconstrainedPageFaultwsCur第二十頁(yè)，共三十一頁(yè)，2022年，8月28日WorkingSet(Cont.)PhysicalMemoryHardDiskWorkingSetSize1.5Meg0K500K1MegwsMinwsMaxWhenmemoryisampleandapagefaultoccurswsCurisallowedtogrowabovewsMaxPageFaultwsCurAtsomepointmemorygetstight...IfmemoryistightandwsCurislargerthanwsMaxtheOStakesanaggressiveposition.PageFaultItcausestheapptopageoutoneofit’spagestofreeuproom.Thenitpagesinthefaultedpage.Theoverallworkingsetsizeremainsthesame.第二十一頁(yè)，共三十一頁(yè)，2022年，8月28日WorkingSetGrowthWhenapagefaultoccurs,thenewpageisaddedtotheprocess’sworkingset.Ifmemoryistight,apageisremovedfromyourworkingset;otherwise,yourworkingsetgrowsInamplememoryconditions,pagefaultscauseWsCurtogrowevenaboveWsMaxIntightmemoryconditions,pagefaultscauseyoutopageagainstyourself第二十二頁(yè)，共三十一頁(yè)，2022年，8月28日WorkingSetTrimIntightmemoryconditionsyourworkingsetwillnotgrowWsMgrthreadstealsmemoryfromworkingsetstomakemoreavailablememoryThemoreyourworkingsetisoverWsMax,themorepagesthatgetstolenSmallmachines(16mbNT,8MbWin95)almostalwaysoperateinthismode!第二十三頁(yè)，共三十一頁(yè)，2022年，8月28日HowtobeaGoodCitizen!–做操作系統(tǒng)的好市民VirtualUnlock()willkickarangeofpagesoutofyourworkingsetSetProcessWorkingSetSize(-1,-1)emptiesentireworkingsetwhenawindowisminimized,thishappenstotheowningprocesslink/WS:AGGRESSIVEmarksaprocessforaggressivetrimmingMarkinghelpsfreememoryquicklyMarkedprocessescanhavetheirworkingsettrimmedtoWsMin(~80k)iftheyareidle.NTmarksExplorer,Spooler,services…第二十四頁(yè)，共三十一頁(yè)，2022年，8月28日DemoWatchIE5.0WorkingSetgofrom23Mbto8Mbbybrowse,minimize,restore,refreshWatchPowerPointgofrom6-7Mbto2-3Mbbyedit,minimize,restore,changeview第二十五頁(yè)，共三十一頁(yè)，2022年，8月28日Spotthedefect#definePAGE_COUNT16#definePAGE_SIZE4096DWORDrgdwArray[PAGE_COUNT][PAGE_SIZE];//codetofillthearrayskips……//accessthearrayfor(inty=0;y<PAGE_SIZE;y++){for(intx=0;x<PAGE_COUNT;x++){DWORDdw=rgdwArray[x][y];}}第二十六頁(yè)，共三十一頁(yè)，2022年，8月28日Spotthedefect#definePAGE_COUNT16#definePAGE_SIZE4096DWORDrgdwArray[PAGE_COUNT][PAGE_SIZE];//codetofillthearrayskips……//accessthearrayfor(inty=0;y<PAGE_SIZE;y++){for(intx=0;x<PAGE_COUNT;x++){DWORDdw=rgdwArray[x][y];}}4KBpages–maycause16*4kpagefaults.25-150secvs.3weeks!(10TickCounts)第二十七頁(yè)，共三十一頁(yè)，2022年，8月28日Abetterversion#definePAGE_COUNT16#definePAGE_SIZE4096DWORDrgdwArray[PAGE_COUNT][PAGE_SIZE];//codetofillthearrayskips……//accessthearrayfor