版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
大數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量
-美國金融業(yè)中的對策處理速度容量限制數(shù)據(jù)質(zhì)量Overview數(shù)據(jù)<=Data=信息(并非數(shù)字集合)數(shù)據(jù)科學(約)=信息科學為何研究大數(shù)據(jù)?因為相關(guān)產(chǎn)品(如硬盤,
memory,CPU等)價格指數(shù)下降因為信息爆炸因為大數(shù)據(jù)導致許多新問題大數(shù)據(jù)研究是多學科的綜合(IT,DM,BI,BA,…)實業(yè)界對大數(shù)據(jù)問題的對策(見下文)1.數(shù)據(jù)庫策略1.1Database(DB)performance1.2DBspace1.1DBperformanceAuditing–2tables:asmallactive&ahugepassivePartitionIndex(good/bad;Cluster;Global/Local)Locktype(whenapplyrowlock)Transaction:1-phaseor2-phaseNormalizationInternaloptimization
(e.g.ExecutionPlan=>hintinOracle)Constraints(e.g.Check)usagetoreplacetriggerTricks(e.g.Datefunction;Searchsmalltablefirst;…)1.2DBspaceSpacearrangementforevendistribution
(e.g.1hugetableusesafewdatafiles)CleaningprocedurewithdefragmentPartitiondesignwithcleaningplan2.Applications(軟件)
(Javaexample)Usingadvancedlanguage(e.g.JavaorC#)2.1Memory(內(nèi)存)2.2Disk/networkspace2.3Performance2.4Maintainability2.1MemoryMinimizebigobjectscreationandcoexistenceGC(GarbageCollection)ornullbigobjectsonceoutofscopeChooseappropriateGCtypegc()TrytosplitonebigobjecttosmallobjectsUsemutableclassforfrequentlychangedbigobjects(e.g.StringBuilder,insteadofString)2.2Disk/networkspaceSmartcleanandarchiveprocesses
e.g.archivezippedoldornotusedfilestolowspeednetworkspaceanddeleteveryoldfilesfromthatspaceSmartloggingsettingse.g.log4jsizerollinge.g.AvoidduplicatedortriviallogginginfoMonitorforspaces2.3PerformanceAvoidredundanttreatment(inbigloops)
MaximizereuseMulti-threadingDBaccessingLogging--avoidslowoptions(e.g.line#)2.4MaintainabilitySOAprinciplesLosecoupling,reusability,granularity,modularity,composability,componentization,interoperability,…JEEpatterns(DAO,DTO,BizDelegation,…)Designpatterns(23)andMVCCreationStructureBehavior(e.g.Visitor)OOPprinciplesAbstraction,encapsulation,polymorphism,…Open/Close3.數(shù)據(jù)質(zhì)量控制3.1Business3.2ProcessA.Failover&DR(DisasterRecovery)B.QA(QualityAssurance)
(see<軟件質(zhì)量管理點滴>
fordetails)C.UAT(UserAcceptanceTest)3.3Technology3.1BusinessReducemanualwork;IncreaseautomationCompleteapprovalsystemformanualwork
E.g.1level=>2levelsor3levelsapprovalExtendviewpointstoconfirmdataqualityReduceredundancysystems(e.g.duetomerge,duetovendors)ScheduleCleansing(seedetails)EnhanceReconciliation(seedetails)BuildTrustlevel(seedetails)Trytocoverallrarecases3.1.ECleansingWhenAtsystemmergeAtmajorchangeHowDevelopdetectionapplicationsDelivermismatchreportstoIT&businessFindsolutionsonbothIT&business3.1.FReconciliationWhere1+subsystemshavedataforsamecontents.1+subsystemshaveindependentdatechangefunctionality.WhatRun&improverecon.app.routinely.Categorizereportsbyurgency.Analyzereports.DebugoradjustbizruleorapplyCleansing.3.1.GTrustlevelWhenAt1+fixeddatainputsInputsareindependentMustdecidefinaldetailsfrominputsHow(basedon)Providerlevel(foradetaileddatagroup)DatahistorySamples:Bloomberg,Reuter,Telekurs,DTCC,…;Moody,S&P,Fitch.3.2.AFailover&DRFailoverDB:2+atdiff.locations;real-timereplicationAppActive-Active:ClusterwithLoadBalancingActive-PassiveAuto(viaSAN)Manual+AutoDRDB:e.g.dailyorhourlyorreal-timereplicationApp:Manualswitch3.3TechnologyDBdesignConstraint‘Check’(forsensitivetablevalues)Normalization(toreduceduplicatio
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 農(nóng)產(chǎn)品冷鏈物流發(fā)展規(guī)劃
- 論文 論工程質(zhì)量失控原因及質(zhì)量控制管理
- 硫磷混酸協(xié)同體系高效處理復雜白鎢礦新技術(shù)
- 記賬實操-再生資源企業(yè)的賬務(wù)處理分錄
- 《我的伯父魯迅先生》人格魅力教案
- 《安全伴我行》安全教育教案
- 專升本(英語)模擬試卷42(共883題)
- 江蘇省蘇州市2024-2025學年高三上學期開學調(diào)研測試語文試題及參考答案
- 滬科粵教版初中九年級下冊學案(含答案) 全冊
- 蘇教版小學六年級數(shù)學上冊單元試題 全冊
- 印章移交單范本
- 四年級上冊英語教案-unit4 Do you have any cousins 牛津上海版
- 2023年中考音樂備考策略
- 燃氣公司安全生產(chǎn)獎懲制度
- 建筑施工承插型插槽式鋼管支架安全技術(shù)規(guī)程-DB33T1117-2015
- 滲透壓(課堂)課件
- 工程材料結(jié)算單(定)
- 2022年北京交通大學輔導員招聘筆試題庫及答案解析
- 大西洋公司收購皇家紙業(yè)部分資產(chǎn)-案例分析
- 污水處理廠及泵站工程創(chuàng)優(yōu)控制要點
- 消化內(nèi)科診療指南和技術(shù)操作規(guī)范
評論
0/150
提交評論