用IDEA java 编写的 spark读取csv文件代码

Spark SQL操作外部数据源(含Spark和Hive集成) 目录1、简介1.1 多数据源支持1.2 读数据格式1.3 写数据格式2、CSV2.1 读取CSV文件2.2 写入CSV文件3、JSON3.1 读取JSON文件3.2 写入JSON文件4、Parquet4.1 读取Parquet4.2 写入Parquet文件5、hive表5.1 spark-shell5.2 IDEA6、mysql6.1 spark-shell6.2 IDEA 1、简介 1.1 多数据源支持 1.2 读数据格式 所有读取 API 遵循以下调用格式: // 格式 DataFrameReader 阅读详情

使用IDEA2019.3.3版本,jdk1.8 创建maven项目

直接上干粮:

1. 配置 pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>JavaDemo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <spark.version>2.3.1</spark.version>
        <scala.version>2.11</scala.version>
        <!-- 配置以下可以解决 在jdk1.8环境下打包时报错 “-source 1.5 中不支持 lambda 表达式” -->
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.47</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>com.databricks</groupId>
            <artifactId>spark-csv_2.10</artifactId>
            <version>1.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib-local_${scala.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!-- SparkStreaming + Kafka -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>2.3.1</version>
        </dependency>
        <!-- 向kafka 生产数据需要包 -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.0.0</version>
        </dependency>
        <!--连接 Redis 需要的包-->
        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.6.1</version>
        </dependency>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.12</version>
        </dependency>
        <dependency>
            <groupId>com.google.collections</groupId>
            <artifactId>google-collections</artifactId>
            <version>1.0</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.4</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.specs</groupId>
            <artifactId>specs</artifactId>
            <version>1.2.5</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

</project>

------------------------------------------------------------------------

java 代码:

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SQLContext;

import java.util.HashMap;

public class SparkCsvDemo {
    public static void main(String[] args) {
        String hdfsInAddress = "D:\\AWS\\";//"hdfs://192.168.209.129:9000/";
        String inputAddress = "";//
        String csvFileName="emr-demo-data.csv";

        SparkConf conf = new SparkConf().setMaster("local").setAppName("TestSpark");
        System.out.println("==================");
        JavaSparkContext sc = new JavaSparkContext(conf);

        SQLContext sqlContext = new SQLContext(sc);

        HashMap<String,String> options = new HashMap<String,String> ();
        options.put("header", "true");
        //options.put("path", hdfsInAddress + inputAddress + filePath);
        options.put("path", hdfsInAddress + inputAddress + csvFileName);
        System.out.println("打印上传文件在hdfs的路径:"+hdfsInAddress + inputAddress + csvFileName);
        Dataset dataFrame = sqlContext.load("com.databricks.spark.csv", options);
        // DataFrame cars = (new CsvParser()).withUseHeader(true).csvFile(sqlContext, "cars.csv");//通过CsvParser里面的函数来读取CSV文件
        dataFrame.registerTempTable("prodinst");
//DistributorTier 是csv文件中的列头名,列中值含有'T1'
//csv 必需是UTF8编码格式的,具体怎么转编码格式请百度
        Dataset resultFrame=sqlContext.sql("select * from prodinst where DistributorTier= 'T1' ");
        System.out.println("***************用Dataset打印*peopleScore********"+resultFrame.limit(10).showString(20,0,false));




        sc.stop();
    }
}

------------------------------------------------------------------------运行可打印出csv结果-----------------------

Spark(25) -- Spark SQL读取数据(mysql、json、parquet、csv、普通文本) 1. SparkSql从MySQL中加载数据【了解】 2. 通过spark-shell运行加载mysql当中的数据【了解】 3. SparkSql将数据写入到MySQL中【了解】 4. Spark SQL多数据源交互【掌握】 阅读详情

相关推荐

手把手配置:用Synopsys VDK为英飞凌TC4x系列MCU做虚拟原型开发

本文详细介绍了如何使用Synopsys VDK为英飞凌TC4x系列MCU进行虚拟原型开发,涵盖开发环境搭建、关键外设虚拟化配置、AUTOSAR栈集成及虚拟调试与性能调优全流程。通过虚拟原型技术,开发者可提前6-12个月启动软件开发,显著提升汽车电子项目的开发效率。

weixin_30606461的博客 295

SparkSQL的CSV数据源和Parquet数据源

1.CSV数据源 package cn.ysjh0014.SparkSql import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} object SparkSqlCsv { def main(args: Array[String]): Unit = { val session: SparkSes...

while false 585

Redis中什么是Big Key(大key)问题?如何解决Big Key问题?

通俗易懂的讲,Big Key就是某个key对应的value很大,占用的redis空间很大,本质上是大value问题。key往往是程序可以自行设置的,value往往不受程序控制,因此可能导致value很大。redis中这些Big Key对应的value值很大,在序列化/反序列化过程中花费的时间很大,因此当我们操作Big Key时,通常比较耗时,这就可能导致redis发生阻塞,从而降低redis性能。用几个实际的例子对大Key的特征进行描述:● 一个String类型的Key,它的值为5MB(数据过大); ● 一

weixiaohuai的博客 3万+

用IDEA scala 编写一个sparksql读写csv文件的代码

试着使用sparksql写一个读写csv文件。 使用工具如下: 1. IntelliJIDEA 2019.3.3 U E 2. scala-sdk-2.11.12 3. jdk 1.8.0_91 -------------------------------------------------------------------------------------------------...

Ace的专栏 2017

Replay音频转换时samplerate缺失的解决方案指南

Replay音频转换时提示"No module named 'samplerate' This error is lazily reported, having originally occured in File"的解决方案

weixin_47445543的博客 2141

gitlab远程子仓库配置SSH - 保姆级教程

在网上搜索了一些方法,但是不够详细,走了好多弯路,所以记录下配置SSH的详细过程吧。

是菠萝的博客 1万+

idea读取csv文件(java)

idea环境下利用Java读取csv数据库文件 1.读取csv文件内容 import java.io.*; import java.util.ArrayList; import java.util.List; public class test { public static void main(String[] args){ File csv=new File("你的c...

qq_41282671的博客 4786

告别谷歌!QGC地面站v4.0.x保姆级教程:用高德/天地图瓦片替换老旧地图源

本文提供QGroundControl(QGC)地面站v4.0.x的详细教程,指导用户如何用高德地图和天地图瓦片替换默认地图源,解决数据陈旧、访问不稳定等问题。教程涵盖环境配置、源码修改、地图集成及性能优化,帮助无人机开发者打造稳定高效的中文地图解决方案。

weixin_30836759的博客 504

Spark ML基本算法【ChiSquareTest卡方检验】

一.简介 假设检验是一种强大的统计工具,可用来确定结果是否具有统计学意义,以及该结果是否偶然发生。spark.ml当前支持Pearson的卡方测试独立性。 ChiSquareTest针对标签上的每个功能进行Pearson的独立性测试。对于每个要素,(要素,标签)对将转换为列联矩阵,针对该列矩阵计算卡方统计量。所有标签和特征值必须是分类的。 二.代码实战 package spark2.ml import org.apache.log4j.{Level, Logger} import org.apache.s

踏雪无痕 1749

【实战】LLaMA-Factory 如何做 LLM 的多轮对话微调

LLaMA-Factory 作为一个广受欢迎、易于使用的 LLM 微调框架,为开发者提供了便捷的途径来针对特定任务(包括多轮对话)优化模型。本文将深入探讨 LLaMA-Factory 如何支持多轮对话微调,涵盖其基本概念、数据准备、核心机制、评估方法等。简单来说,多轮对话是指包含两个或更多轮次(Turn)的交互过程,其中每一轮通常包含用户的一个输入和模型的一个输出。后续轮次的回应通常依赖于前面轮次的对话内容。模型需要理解并记忆对话历史。

kakaZhui的博客 1313

26届数字IC秋招笔试面试全攻略-UVM验证方法学精要

本文介绍了数字IC验证中UVM方法学的核心内容,包括组件架构、Sequence机制和寄存器模型。UVM提供env、agent、driver等组件构建验证环境;Sequence机制通过item、sequence和sequencer实现激励生成与控制;寄存器模型则通过reg_block、reg等组件管理DUT寄存器。文章详细说明了各模块的功能、交互关系和代码实现,为IC验证工程师提供了完整的UVM应用指南,重点突出了验证环境的搭建方法、激励生成流程和寄存器抽象技术。这些内容是数字IC秋招笔试面试中的高频考点。

2301_79143213的博客 725

卡方检验基于sparkml采用Java语言开发

卡方检验基于sparkml采用Java语言开发 什么是卡方检验 卡方检验,是用途非常广的一种假设检验方法,它在分类资料统计推断中的应用,包括两个率或两个构成比比较的卡方检验;多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。 ​ 卡方检验主要有以下两种作用: 1) 皮尔森独立性检验(Pearson’s independence test) 验证从两个变量抽出的配对观察值组是否互相独立。例如:例如:每次都从A国和B国各抽一个人,看他们的反应是否与国籍无关。 2)适度检验(Goodness of

LvJinYang的博客 3423

Codex 调试记录获取完全指南:日志查看、工具调用与实战排查教程

本文主要介绍了Codex 调试记录获取完全指南:日志查看、工具调用与实战排查教程,希望能对使用Codex的同学们有所帮助。 文章目录 1. 背景 2. 实战教程

weixin_43178406的博客 6万+

Intellij IDEA构建Spark2.0以上工程示例

Intellij IDEA新建Spark2.0以上Maven工程示例 长时间不用IDEA新建工程,新建的步骤都忘记了,再次记录一下,Spark新版中SparkSession需要依赖的包与SparkContext不一样,需要导入的jar包也是不同的。这里需要安装Java的JDK,新建工程会用到。 首先,新建工程New -> Project 选择Maven工程,选择JDK版本 命名Group...

whgyxy的博客 4352

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Spark SQL 读取 CSV 文件,并将数据写入 MySQL 数据库

在 Spark 中,可以使用 Spark SQL 读取 CSV 文件,并将数据写入 MySQL 数据库。以下是一个完整的示例,展示如何实现这一过程。

lqlj2233的博客 907

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

利用spark读取文件新增列

如图下的数据:如果title中包含某一个类别的关键字,那么取出主类与子类补充到元数据 如果title中出现了男士、男生、男关键字,那么为男士专用 下面是需要补充的类 ,前2列分别是主类和子类,后面都属于关键字 代码: import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.RDD import org.a...

weixin2006的博客 513

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Spark--Spark编程基础和编程进阶知识总结(第三章和第四章)

在RDD的执行过程中,真正的计算发生在行动操作中,在前面的所有转换,spark只是记录下转换操作应用的一些基础数据集和RDD生成轨迹,不会触发计算。一样的操作,为每一条输入返回一个迭代器(可迭代的数据类型),然后将所得到的不同级别的迭代器中的元素全部当成同级别的元素,返回一个元素级别全部相同的。RDD分布式对象集合,本质上是一个只读的分区记录集合,不能直接修改,通过转换得到新的RDD。是一个容错的、只读的、可进行并行操作的数据结构,是一个分布在集群各个节点中的存放元素的集合。

2302_80385233的博客 1561

在Windows上使用Intellij编写Spark程序访问文件

在Windows上使用Intellij编写Spark程序访问文件 访问txt文件 1.使用Spark访问的文件类型有很多种,包括txt,csv,json等。下面依次使用做访问 2.本程序使用maven+intellij+spark+windows编写 访问.txt文件 import org.apache.spark.{SparkConf, SparkContext} obj...

说文科技,做有态度的研究。 933

Spark 将csv文件 自动化导入 hbase表

import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.*; import org...

pot成长之路 1181

Spark-sql数据的加载与保存

到resources目录(如果需要操作Hadoop,需要拷贝hdfs-site.xml、core-site.xml、yarn-site.xml)SparkSQL读取和保存的文件一般为三种,JSON文件、CSV文件和列式存储的文件,同时可以通过添加参数,来识别不同的存储和压缩格式。SparkSQL可以采用内嵌Hive(spark开箱即用的hive),也可以采用外部Hive。2)添加hive-site.xml文件到spark-yarn的conf目录。读取别的类型的数据也能写出为。列式存储的数据自带列分割。

走过冬季 1061

java操作spark案例

@TOC spark入门使用(java) 官方文档:https://spark.apache.org/docs/latest/api/java/index.html 导入依赖 创建maven项目并导入依赖,注意spark的版本 <!--spark的核心依赖--> <dependency> <groupId>org.apache.spark</groupId> <artifactId&

weixin_46155444的博客 4751

spark 读取文件不存在,但文件在本地有啊,也没有权限问题,请大神指点下

spark sql读取文件报错

康师傅 501

java spark淘宝大数据分析可视化系统(源码+数据+报告)

下载地址:https://download.csdn.net/download/a13689028602/18298100 项目介绍 java spark淘宝大数据分析可视化系统(源码+数据+报告) 主要功能说明: 本次大作业报告主要解决的问题: 使用spark读取csv文件数据并分析数据。 使用spark将csv文件数据导入到mysql中。 使用sql查找数据库数据。 构建echarts框架的图表页面。 使用spark将分析的json数据输出。 使用eharts前端页面分析json数据

a13689028602的博客 5642

Spark读取文件,报错java.lang.ArrayIndexOutOfBoundsException

背景: 在 Spark 解析文件的时候,忽然报错 java.lang.ArrayIndexOutOfBoundsException。排查问题,也没发现有任何的异常。最后发现文件中,有一行数据的最后一个字段是空的,没有数据的,如下所示: 95009,梦圆圆,女,18,MA 95015,王君,男,18,MA 95016,,男,18,MA 95017,,男,18, id 为 95017 的这一行数据中,最后一个字段是空 解决方式: 在调用 split API 的时候,添加第二个参数为 -1(只要是小于0的数即

x²+(y-√³x²)²=1的博客 2673

Spark RDD 之 数据读取

Note of rdd

weixin_46546516的博客 979

spark实验三-spark进阶编程

掌握使用spark自定义分区掌握打包spark工程掌握通过spark-submit提交应用实验说明先有一份某年度中国女排集训运动员数据文件 Volleyball_Plaryer.csv ,数据字段说明如下表所示现要求在IntelliJ IDEA 中进行spark编程,通过自定义分区实现将运动员按照所属位置进行分区,并将程序打包,通过spark-submit提交应用。按照“主攻,接应,二传,副攻,自由人”五个标签设置五个分区,将分区结果输出到hdfs上。

qq_58503141的博客 3579
上一篇: 用IDEA scala 编写一个sparksql读写csv文件的代码
下一篇: IEDA编写的 java SparkAPI 读取CSV文件,用spark sql简单处理结果并保存到MySQL数据库的代码实现
振兴东北
博客等级 码龄18年 38粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值