首页 > 学院 > 开发设计 > 正文

spark | 读数据

2019-11-08 18:21:24
字体:
来源:转载
供稿:网友

为何要单独一个博文来记录读取数据呢?我觉得读数据很重要,涉及到不同格式的数据,各式各样的情况,故而记之。

注意:以python语言为工具

读csv格式的 本数据有3列# -*- coding:utf-8 -*- from pyspark import SparkContextsc = SparkContext("local[2]", "First Spark App")# we take the raw data in CSV format and convert it into a set of records of the form (user, PRoduct, price)data = sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

上面代码中核心代码是:

sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))

第一个map是用于分割,第二个map用于读取列 采用lambda函数

继续更新中。。。


上一篇:倒三角形

下一篇:程序员书籍列表

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表