大數(shù)據(jù)開發(fā)框架實(shí)驗(yàn)步驟16spark安裝

Spark可以獨(dú)立安裝使用，也可以和Hadoop一起安裝使用。本中，我們采用和Hadoop一起安裝使用，這SparkHDFShadoopspark-2.1.0-bin-without-hadoop版本。Spark部署模式主要有四種：Local模式（單機(jī)模式、Standalone模式（Spark自帶的簡(jiǎn)單集群管理器YARN模式（使用YARN作為集群管理器）和Mesos模式（Mesos作為集群管理器。Local模式（單機(jī)模式）的Spark安裝。exportexportSPARK_DIST_CLASSPATH=$(hadoop 。清屏spark命令窗口：輸入:quitSparkSparkPi：run-examplepi6、spark 下測(cè)試（1）（2）本地文spark val 啟動(dòng)時(shí)自動(dòng)創(chuàng)建一個(gè)SparkContext對(duì)象，名字為sc，命令中可直接使用。（datas2是文件另存 ， 自動(dòng)建立，如果已存在會(huì)報(bào)異常（4）hdfs文hdfs （5）valwordCount=textFile.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((a,=>a+b)“)Lamdaline.split，也就是針對(duì)line中的一行文本內(nèi)容，采用空格作為分隔符進(jìn)行單詞切分，從一行文本切分得到很多個(gè)單詞構(gòu)成的單詞集合。這樣，對(duì)于textFile中的每行文本，都會(huì)使用Lamda表達(dá)式得到一個(gè)單詞集合，最終，多行文本，就得到1次。reduceByKey((abab)RDD元素按照key7sparkmavensbt，ideeclipseidea。scala/javawindow下安裝開發(fā)環(huán)境(eclipseforscala)，linuxmavenjar包。（2）并解壓scala-SDK-4.7.0-vfinal-2.12-win32.win32.x86_64.zip，運(yùn)行解壓下的scalaide。java-installedjre（jrehomejdk解壓，并將解 作為maven工 maven-usersettingssettings.xmlmavensettings.xmld:/maven/repojardsettings.xmlmavenapplyiii）scala-installationsaddscala（scala-解壓，選擇解 下lib作為 ，并為自己的scala命名ApplyandcloseAddArchetypeArchetypeGroupidnet.alchim31.maven，第二ArchetypeArtifactidscala-archetype-simple,version1.6，點(diǎn)擊OK，等待完成。在Catalog里選擇它nextGroupidsdauArtifactwordCount，packageide library。運(yùn) 下。刪 下的類將工程紅叉消除工程下pom.xml用網(wǎng)盤中的替換，然后等待pom.xml指定的庫(kù)（時(shí)間比較長(zhǎng)ScalaObject）:packageimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._importorg.apache.spark.SparkConfobjectWordCountdefmain(args:Array[String])//varinputFile="hdfs://hadoop100:9000/wc1.txt"varinputFile="file:///home/hadoop/data/file1.txt"valconf=newSparkConf().setAppName("WordCount")valsc=newSparkContext(conf)valtextFile=valwordCount=textFile.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((a,b)=>a+b)}}(10)打包：右擊工程下pom.xml-runasmavenbuild…-在框的goals中填寫runconsole --class 。hdfspackageimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext._importorg.apache.spark.SparkConfobjectWordCountdefmain(args:Array[String])varinputFile="hdfs://VM-24-6-//varinputFile="file:///home/hadoop/data/file1.txt"valconf=newSparkConf().setAppName("WordCount")valsc=newSparkContext(conf)valtextFile=valwordCount=textFile.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((a,b)=>a+b)}}inputFile路徑，VM-24-6-centospackageimportimportimportimportimportimportorg.apache.spark.sql.Dataset;importorg.apache.spark.sql.Row;importorg.apache.spark.sql.SQLContext;importpublicclassSparkSqlTestpublicstatic implementsSerializableprivatestaticfinallongserialVersionUID= privateStringprivateint (Stringname,intage)=this.age=}publicStringtoString()returnname+":"+}publicStringgetName()return}publicvoidsetName(Stringname)=}publicintgetAge()return}publicvoidsetAge(intage)this.age=}}publicstaticvoidmain(String[]args){SparkConfconf=newJavaSparkContextsc=newJavaSparkContext(conf);SparkSessionspark=JavaRDD<String>input=sc.parallelize(Arrays.asList("abc,1",JavaRDD<>s=input.map(s->s.split(",")).map(s->(s[0],//[abc:1,test:2]Dataset<Row>df=spark.createDataFrame( *+---+----+|age|name|+---+----+|1|abc||2|test|+--- *root|--age:integer(nullable=false)|--name:string(nulla