金融大數(shù)據(jù)股票分析項(xiàng)目簡(jiǎn)介

金融大數(shù)據(jù)股票分析平臺(tái)項(xiàng)目簡(jiǎn)介XX科技股份有限公司編制目錄一、 金融大數(shù)據(jù)股票分析平臺(tái)項(xiàng)目背景 3二、 客戶情況及市場(chǎng)情況 31. 客戶情況 32. 市場(chǎng)情況 3三、 技術(shù)選型 3四、 項(xiàng)目團(tuán)隊(duì)構(gòu)成 4五、 團(tuán)隊(duì)成員技能需求 5

金融大數(shù)據(jù)股票分析平臺(tái)項(xiàng)目背景隨著我國(guó)經(jīng)濟(jì)的發(fā)展，經(jīng)濟(jì)體制改革以及金融體制改革的深入，證券投資已經(jīng)成為國(guó)民經(jīng)濟(jì)運(yùn)作的一個(gè)不可缺少的部分，在資本市場(chǎng)中逐漸形成與銀行、保險(xiǎn)三足鼎立之勢(shì)。通過此次數(shù)據(jù)分析，可以發(fā)現(xiàn)在選定的三支股票收盤價(jià)中，最高的是亞馬遜；大約從2015年2月4日起，亞馬遜的股票價(jià)格打破原本的僵局，開始迅速攀升；亞馬遜的股票成交量沒有太大程度的波動(dòng)；唯有的兩次波動(dòng)發(fā)生在兩次交易價(jià)變動(dòng)最大的時(shí)候；股票價(jià)格波動(dòng)對(duì)股票的成交量有著非常巨大的影響，兩者存在明顯的強(qiáng)相關(guān)關(guān)系；利用移動(dòng)平均，將股票收盤價(jià)進(jìn)行移動(dòng)平均后，發(fā)現(xiàn)股價(jià)的上升幅度明顯小于原本的收盤價(jià)；指數(shù)異同移動(dòng)平均也可以觀察到，亞馬遜的股價(jià)上升的部分大于下跌。大數(shù)據(jù)技術(shù)日新月異，每天都會(huì)產(chǎn)生海量的數(shù)據(jù)，這些數(shù)據(jù)具有容量大，種類多，增長(zhǎng)速度快，有價(jià)值的特點(diǎn)。股票投資市場(chǎng)也是如此，每天產(chǎn)生的股票數(shù)據(jù)量的增長(zhǎng)難以預(yù)估,股票市場(chǎng)的價(jià)格走勢(shì)是不確定的，股票數(shù)據(jù)中隱含的有價(jià)值的信息很難被發(fā)覺。比如，股票的價(jià)格走勢(shì)，利潤(rùn)趨勢(shì)，如何對(duì)股票的價(jià)格走勢(shì)，利潤(rùn)趨勢(shì)進(jìn)行合理的推測(cè)，是現(xiàn)階段需要解決的一大難題。本文利用大數(shù)據(jù)技術(shù)來對(duì)每只股票的利潤(rùn)進(jìn)行分析，計(jì)算，預(yù)測(cè)。為了解決股票大數(shù)據(jù)的處理的難題,我們提出了基于hadoop大數(shù)據(jù)的分布式并行計(jì)算框架設(shè)計(jì)方案；運(yùn)用mapreduce模型完成對(duì)每只股票的運(yùn)算，實(shí)現(xiàn)對(duì)股票數(shù)據(jù)的整合、計(jì)算，幫助人們找出股票中隱含的有價(jià)值的信息。客戶情況及市場(chǎng)情況客戶情況股市是市場(chǎng)經(jīng)濟(jì)的必然產(chǎn)物，在一個(gè)國(guó)家的金融領(lǐng)域之中有著舉足輕重的地位，并且對(duì)人們的經(jīng)濟(jì)生活有著越來越深刻的影響。隨著證券市場(chǎng)的逐步規(guī)范，人們的投資理念在不斷提高，在資本市場(chǎng)中逐漸形成與銀行、保險(xiǎn)三足鼎立之勢(shì)。而且，它在籌集資金時(shí)，速度最快，能力最強(qiáng)，成本最低，最符合市場(chǎng)經(jīng)濟(jì)的規(guī)律。因此它的發(fā)展速度也是最快的。但是，股市的暴跌暴漲會(huì)對(duì)金融市場(chǎng)產(chǎn)生很大的震蕩，將會(huì)直接影響到金融市場(chǎng)的穩(wěn)定和經(jīng)濟(jì)的健康發(fā)展。市場(chǎng)情況隨著大數(shù)據(jù)技術(shù)的蓬勃發(fā)展,越來越多的數(shù)據(jù)等著我們?nèi)プR(shí)別,讀取,歸類,計(jì)算。針對(duì)于股票市場(chǎng),如何利用大數(shù)據(jù)技術(shù)去發(fā)掘股票中隱含的眾多有價(jià)值的信息,幫助股民合理購(gòu)買股票,獲得最大利潤(rùn)是我們急需解決的難題,目前在股票領(lǐng)域的大數(shù)據(jù)研究尚不完善。因此，我們提出利用hadoop分布式框架來對(duì)每只股票的利潤(rùn)進(jìn)行分析的方案，用到的主要技術(shù)是分布式并行計(jì)算(mapreduce)和分布式文件存儲(chǔ)系統(tǒng)(HDFS)。對(duì)于每只股票的數(shù)據(jù)會(huì)冗雜在一起,形成龐大的數(shù)據(jù)量的情況，目前比較主流的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)主要采用HDFS文件系統(tǒng)。目前,在股票行業(yè)中,每支股票每天產(chǎn)生的數(shù)據(jù)量難以預(yù)估，隱含的有價(jià)值的信息難以提取,如,開盤時(shí)間,閉盤時(shí)間,開盤價(jià)格,閉盤價(jià)格,多個(gè)特征中如何提取有用信息,如何有效準(zhǔn)確的計(jì)算股票數(shù)據(jù),在該領(lǐng)域的研究還有待完善。對(duì)于股票數(shù)據(jù)的分析處理問題,我們提出了合理可行的方案,基于Hadoop的并行式計(jì)算框架運(yùn)用了HDFS存儲(chǔ)機(jī)制和Mapreduce的并行式運(yùn)算,可以有效合理的解決上述問題。基于hadoop大數(shù)據(jù)的分布式并行計(jì)算框架設(shè)計(jì)方案,依賴快速高效的mapreduce,實(shí)現(xiàn)實(shí)時(shí)大數(shù)據(jù)的復(fù)雜計(jì)算,提供每一支股票的年利潤(rùn)、總利潤(rùn)、平均利潤(rùn)等特征,并對(duì)明年股票進(jìn)行分析和預(yù)測(cè)。技術(shù)選型CDH/FlumeKafka 數(shù)據(jù)采集，結(jié)合數(shù)據(jù)流技術(shù)對(duì)接各類應(yīng)用系統(tǒng)及數(shù)據(jù)庫(kù)的數(shù)據(jù)資源CDH/HDFS 文件類數(shù)據(jù)整合與存儲(chǔ)，HADOOP技術(shù)路線CDH/HBASE 格式類數(shù)據(jù)整合與存儲(chǔ)，HADOOP技術(shù)路線CDH/HIVE 數(shù)據(jù)清洗CDH/SPARK 離線數(shù)據(jù)開發(fā)及處理FLINK 實(shí)時(shí)數(shù)據(jù)開發(fā)及處理CDH/SPARK 數(shù)據(jù)服務(wù)及安全CDH/YARN+CM 數(shù)據(jù)負(fù)載及集群管理CDH/HIVESparkML 數(shù)據(jù)分析及智能TABLEAU 針對(duì)數(shù)據(jù)分析及智能提供自助式或嵌入式的可視化分析圖表ELASTICSEARCH 針對(duì)數(shù)據(jù)分析及智能提供面向用戶的全局?jǐn)?shù)據(jù)探索或面向應(yīng)用的全局?jǐn)?shù)據(jù)搜索HADOOPYARN 針對(duì)數(shù)據(jù)服務(wù)及安全類應(yīng)用的定制開發(fā)提供微服務(wù)運(yùn)行環(huán)境技術(shù)管理工具項(xiàng)目團(tuán)隊(duì)構(gòu)成姓名性別學(xué)歷職稱專業(yè)工作單位項(xiàng)目中的分工每年工作時(shí)間(月)簽字成員A男本科高級(jí)大數(shù)據(jù)工程師應(yīng)用電子技術(shù)XX科技股份有限公司項(xiàng)目管理12成員B男本科高級(jí)大數(shù)據(jù)工程師體育醫(yī)學(xué)技術(shù)總監(jiān)12成員C男本科中級(jí)軟件