CentOS 6.7安装Spark 1.5.2

CentOS7+Hadoop2.5.2+Spark1.5.2环境搭建 本文介绍在VMware下建立3台CentOS7系统虚拟机,搭建hadoop+spark的全过程。这里三台CentOS主机分别为Mars、Phobos、Deimos。 CentOS最小化安装 CentOS网络设置 jdk安装 ssh免密登陆 快捷键 Markdown及扩展 表格 定义列表 CentOS最小化安装 CentOS网络设置 jdk安装 ssh免密登陆 hadoo 阅读详情

之前已经在CentOS 6.7上安装部署Hadoop 2.7.2(http://blog.csdn.net/noob_f/article/details/53366756),并正常启动Hadoop集群。


master

安装Scala

[root@master ~]# wget http://downloads.lightbend.com/scala/2.10.6/scala-2.10.6.tgz
[root@master ~]# tar -zxvf scala-2.10.6.tgz
[root@master ~]# mv scala-2.10.6 /usr/local/

Scala环境变量

[root@master ~]# vi /etc/profile.d/scala.sh

添加

export SCALA_HOME=/usr/local/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/bin

保存退出

[root@master ~]# source /etc/profile.d/scala.sh
[root@master ~]# scala -version
Scala code runner version 2.10.6 -- Copyright 2002-2013, LAMP/EPFL

安装Spark

[root@master ~]# wget http://archive.apache.org/dist/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
[root@master ~]# tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz
[root@master ~]# mv spark-1.5.2-bin-hadoop2.6 /usr/local/

Spark环境变量

[root@master ~]# vi /etc/profile.d/spark.sh

添加

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR==$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/local/spark-1.5.2-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin

保存退出

[root@master ~]# source /etc/profile.d/spark.sh

[root@master ~]# cp /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh
[root@master ~]# vi /usr/local/spark-1.5.2-bin-hadoop2.6/conf/spark-env.sh

添加

export JAVA_HOME=/usr/local/jdk1.7.0_79
export SCALA_HOME=/usr/local/scala-2.10.6
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

保存退出


[root@master ~]# cp /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves.template /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves
[root@master ~]# vi /usr/local/spark-1.5.2-bin-hadoop2.6/conf/slaves

删除localhost,将内容修改为

master
slave

保存退出


验证Spark安装

[root@master spark-1.5.2-bin-hadoop2.6]# cd /usr/local/spark-1.5.2-bin-hadoop2.6/                                                  
[root@master spark-1.5.2-bin-hadoop2.6]# ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster lib/spark-examples*.jar 10

16/11/26 03:35:07 INFO yarn.Client: Application report for application_1480118541212_0002 (state: FINISHED)
16/11/26 03:35:07 INFO yarn.Client:
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 192.168.229.131
         ApplicationMaster RPC port: 0
         queue: default
         start time: 1480160059605
         final status: SUCCEEDED
         tracking URL: http://master:8088/proxy/application_1480118541212_0002/
         user: root
16/11/26 03:35:07 INFO util.ShutdownHookManager: Shutdown hook called
16/11/26 03:35:07 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-e29afacf-58e9-4805-a59b-6fb5223ec872
[root@master spark-1.5.2-bin-hadoop2.6]# ssh slave
Last login: Sat Nov 26 02:30:33 2016 from 192.168.229.1
[root@slave ~]# cd /usr/local/hadoop-2.7.2/logs/userlogs/application_1480118541212_0002/
[root@slave application_1480118541212_0002]# cat container_1480118541212_0002_01_000001/stdout        
Pi is roughly 3.142008

Spark安装正常

浏览器中访问http://master:8088/proxy/application_1480118541212_0002,可看到Spark作业界面。


[root@master spark-1.5.2-bin-hadoop2.6]# vi sbin/start-master.sh

发现

  SPARK_MASTER_WEBUI_PORT=8080
[root@master spark-1.5.2-bin-hadoop2.6]# sbin/start-master.sh

浏览器可访问master:8080,查看Spark Master

Spark Master

[root@master ~]# ls /usr/local/spark-1.5.2-bin-hadoop2.6/bin/
beeline             pyspark.cmd       spark-class.cmd   spark-shell.cmd
beeline.cmd         run-example       sparkR            spark-sql
load-spark-env.cmd  run-example2.cmd  sparkR2.cmd       spark-submit
load-spark-env.sh   run-example.cmd   sparkR.cmd        spark-submit2.cmd
pyspark             spark-class       spark-shell       spark-submit.cmd
pyspark2.cmd        spark-class2.cmd  spark-shell2.cmd
[root@master ~]# /usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell

Spark shell

浏览器中访问master:4040

Spark Jobs

scala> exit
[root@master ~]#
Spark1.5.2安装--Spark学习(基础) 一直想学习着写博客做个备忘,但是一直懒也没有开始做,终于最近虚拟机的东西太多了想重新装一个虚拟机,由于自己是学数据挖掘的,就写一篇关于单机版spark的安装攻略来练练手。安装包准备spark原理什么的这里就不介绍了,有问题大家最好参考官方文档,网址为:这里写链接内容。 本次安装主要用到的安装包如下: 1.spark-1.5.2-bin-hadoop2.6.tgz 2.hadoo 阅读详情

相关推荐

spark-1.5.2

官网稳定版spark,推荐推荐推荐,只要1个积分

Spark安装、简单使用

遇到过:执行flatMap时,报tuple is out of range错误。web 界面:http://newdata1:4040/jobs/当spark和python的版本不兼容。

ERROR101的博客 805

HyperLPR3车牌识别-Android-SDK光速部署与使用

基于深度学习高性能中文车牌识别 High Performance Chinese License Plate Recognition Framework.快速部署AndroidSDK

tunm 6128

Spark集群安装部署

由于Spark仅仅是一种计算机框架,不负责数据的存储和管理,因此,通常都会将Spark和Hadoop进行统一部署,由Hadoop中的HDFS,HBase等组件负责数据的存储管理,Spark负责数据计算。本文章主要阐述在Standalone模式下,Spark集群的安装和配置。Yarn模式不需要启动spark集群,只需要启动hadoop集群即可,在启动hadoop集群之前,需要在yarn-site.xml文件关闭内存检查,否则在测试官方案例时可能会报错。至此,Spark集群配置就完成了。

MJK祺的博客 2487

软考中级-系统集成项目管理工程师**的超详细知识点笔记。

软考中级系统集成项目管理工程师核心知识点摘要 综合知识:涵盖信息化基础(国家信息化六要素、信息系统开发方法)、系统集成特点(高技术性、团队协作)、IT服务管理(ITIL流程)、网络技术(OSI模型、TCP/IP)、信息安全(CIA三要素、加密技术)、软件工程(生命周期、测试类型)、面向对象分析与设计(UML图)、新一代信息技术(云计算、大数据、物联网)。 案例分析:聚焦项目管理十大知识领域,重点包括: 整体管理(项目章程、变更控制流程) 范围管理(WBS分解、需求跟踪矩阵) 进度管理

最爱で毛毛熊的博客 1993

Python 音频: sounddevice 使用 左声道/右声道/立体声 --- 播放,录音

# coding: utf8 """ Python 音频: 使用 sounddevice 操作声卡的 左声道, 右声道, 立体声 仅限 MME, Windows DirectSound, Windows WASAPI, Windows WDM-KS 等支持双声道的驱动类型 """ import os import sounddevice as sd import soundfile mapping_left_ch = 1 # 左声道为 1 mapping_right_ch

weixin_42019925的博客 4927

基于hadoop2.7集群的Spark2.0,Sqoop1.4.6,Mahout0.12.2完全分布式安装

写在前边的话        hadoop2.7完全分布式安装请参考:点击阅读,继任该篇博客之后,诞生了下面的这一篇博客        基本环境:               CentOS 6.5,Hadoop 2.7,Java 1.7               Hive 2.0.0,Zookeeper 3.4.8, Hbase 1.2.2        预安

Thinkgamer博客 1万+

基于Python爬虫的新闻热点分析与挖掘

本文介绍了基于Python爬虫的新闻热点分析与挖掘方法,主要包括数据收集、预处理、热点分析和可视化四个部分。首先通过爬虫抓取新浪新闻数据,利用文本清洗和存储技术进行数据预处理;接着采用TF-IDF和LDA算法进行关键词提取与主题建模;最后通过词云图和主题分布图实现数据可视化。该方法能有效识别新闻热点,为信息筛选和决策提供支持。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1547

spark测试集群搭建

集群环境:centos6.5+hadoop2.7.1+spark1.5.1 集群规模:3个节点     Master     Slave1     Slave2 软件下载:centos6.5 下载地址     scala-2.10.4.rpm     jdk-7u79-linux-x64.rpm     spark-1.5.1-bin-hadoop2.6.tgz     ha

wk022的专栏 400

2025年9月GESP(C++四级):排兵布阵

作为将军,你自然需要合理地排兵布阵。地图可以视为n行m列的网格,适合排兵的网格以 1 标注,不适合排兵的网格以 0 标注。现在你需要在地图上选择一个矩形区域排兵,这个矩形区域内不能包含不适合排兵的网格。请问可选择的矩形区域最多能包含多少网格?

王老师青少年编程 1388

9.23华为OD机试真题 新系统 - 小菊的寻宝之旅 (Java/Py/C/C++/Js/Go)

9.23华为OD机试真题 新系统 - 小菊的寻宝之旅 (Java/Py/C/C++/Js/Go)

算法大师! 1043

Centos7 下安装spark集群环境

这里

weixiao_xiayigeyuji的博客 420

游戏大厂如何解析引擎技术

本文系统解析了游戏大厂如何评估和定制游戏引擎。游戏引擎作为游戏开发的核心基础,大厂会从性能、跨平台支持、渲染能力、网络模块等8个维度进行技术解析,通过文档查勘、源码阅读、Demo测试等7个步骤深度评估。解析后通常有三种决策:直接使用、深度定制或自研重构。文章以腾讯、网易、米哈游等为例,展示了不同厂商的引擎定制策略,并分析了技术解析面临的挑战和未来趋势。最终指出,体系化的引擎技术解析是打造高质量游戏的关键,需要持续的技术投入和团队协作。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 537

亲手搭建!从0到1搭建CDH集群(centos6.5+CDH5.16+jdk1.8+mysql5.7)(第四步: spark2.x安装)

说明:【all】【所有机器】【123】表示所有节点都执行 【1】表示只有1号节点执行 四 spark安装升级2.x 4.1 spark1.6自带的安装 报错org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user/root":hdfs:supergroup:drwxr-xr-x 切换到hdfs的超级管理员启动 su - hdfs sudo -u

looo000ngname的博客 236

YOLOv11【第二十章:模型迭代与生态闭环篇·第1节】在线增量学习——部署后新数据自动回流重训!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 434

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

搭建 Hadoop2.7.2 + Spark1.6环境

服务器上已经有了 hadoop2.7.2环境,这次只用配置spark1.6就可以。 服务器操作系统为centOS6.5 1、安装Scala       下载地址:http://www.scala-lang.org/download/   注:我下载的是scala-2.11.8.tgz 将压缩上传至/usr/local 目录   解压缩 tar -zxvf scal

weixin_36607803的博客 506

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

docker1.7 搭建spark1.4.0-hadoop2.6集群

1 概述      现在国内的资料很少,即使你看到了,资料也不是很全,每个人都为中国在这方面做点贡献,也是为了相互学习。作为学习Spark中的一个重要环节--搭建Spark集群,此次搭建环境使用了Docker1.7,Spark1.4-hadoop2.6,搭建的集群环境,操作系统为CentOS6.5,内存4G 2 升级Linux内核       具体的什么是Docker,以及Docker的基本

Macalzheng的专栏 1462

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

集群式Hadoop,Spark,Hive的集群安装

# vim ~/.bashrc

m0_46818985的博客 805

CentOS7下 Hadoop2.7.3+Spark2.1.0 集群环境搭建(1NN+2DN)

CentOS7下Hadoop2.7.3+Spark2.1.0集群环境搭建过程记录

贾小黑的博客 1905

hadoop、hive、sqoop、spark、livy、jdk单节点伪分布式集群一键部署shell脚本

ards.1.0安装说明 注:脚本tgz包后续上传,欢迎留言与我交流讨论 一、使用说明 本脚本可实现快速自动安装(hadoop-2.7.3/hive-1.1.0/sqoop-1.4.6/spark-2.3.0/livy/jdk1.8)集群功能,提前阅读以下说明(脚本内亦有提示)有助于您使用此脚本 1、脚本经centos6.5、centos7.4/7.5测试安装正常,脚本内输入错误可使用Ctr...

weixin_42240930的博客 834
上一篇: CentOS 6.7安装HBase 0.98.23
下一篇: CentOS 6.7安装Mahout 0.11.2
Uri · Boyka
博客等级 码龄12年 163粉丝 186原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Uri · Boyka

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值