opebet网页版-bet亚洲官网手机版-登录

教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

传智教育|传智播客

一样的教育,不一样的品质

全国校区

 

怎样使用Linux和HDFS创建RDD?

更新时间:2020年12月07日14时53分 来源:传智教育 浏览次数:

好口碑IT培训

  Spark可以从Hadoop支撑的任何存储源中加载数据去创建RDD,包括本地文件系统和HDFS等文件系统。

  接下来,大家通过Spark中的SparkContext对象调用textFile()方法加载数据创建RDD。这里以Linux本地系统和HDFS分布式文件系统为例,讲解如何创建RDD。

  1. 从Linux本地文件系统加载数据创建RDD

  在Linux本地文件系统中有一个名为test.txt的文件,具体内容如文件1所示。

   文件1 test.txt

 1  hadoop spark
 2  itcast heima
 3  scala spark
 4  spark itcast
 5  itcast hadoop

  在Linux本地系统读取test.txt文件数据创建RDD,具体代码如下:

  scala> val test=sc.textFile("file:///export/data/test.txt")
  test: org.apache.spark.rdd.RDD[String]=file:///export/data/test.txt
              MapPartitionsRDD[1] at textFile at :24

  上述的代码中,文件路径中的“file://”表示从本地Linux文件系统中读取文件。“test:org.apache.spark.rdd.RDD[String]...”是命令实行后返回的信息,而test则是一个创建好的RDD。当实行textFile()方法后,Spark会从Linux本地文件test.txt中加载数据到内存中,在内存中生成了一个RDD对象(即test),并且这个RDD里面包含若干个String类型的元素,也就是说,从test.txt文件中读取出来的每一行文本内容,都是RDD中的一个元素。

  2. 从HDFS中加载数据创建RDD

  假设,在HDFS上的“/data”目录下有一个名为test.txt的文件,该文件内容与文件3-1相同。接下来,大家通过加载HDFS中的数据创建RDD,具体代码如下:

 scala> val testRDD=sc.textFile("/data/test.txt")
  testRDD:org.apache.spark.rdd.RDD[String]=/data/test.txt MapPartitionsRDD[1]
                      at textFile at :24

  实行上述代码后,从返回结果testRDD的属性中看出RDD创建完成。在上述代码中,大家通过textFile(“/data/test.txt”)方法来读取HDFS上的文件,其中方法testFile()中的参数为“/data/test.txt”文件路径,传入的参数也可以为“hdfs://localhost:9000/data/test.txt”和“/test.txt”路径,最终所达效果是一致的。




猜你喜欢:

什么是Sqoop?Sqoop发展历程概况

大数据的数据仓库特点概况

黑马程序员大数据培训课程 

传智播客大数据培训课程 

opebet网页版|bet亚洲官网手机版

XML 地图 | Sitemap 地图