zxrui

  • 关注
  • 短消息
  • 送银子
文章
7
评论
0
推荐
0
收藏
0
社区会龄
6 个月
个人网站
--
个人简介
还没有输入个人简介……
  • zxrui 推荐

    spark学习笔记--Spark SQL

    Spark SQL ![enter image description here][1] Spark SQL可以从各种结构化数据源(如JSON,Hive,Parquet等)中读取数据 Spark SQL不仅支持在程序内进行SQL查询,也支持从类似商业智能软件Tablea…...

  • zxrui 1推荐

    spark学习笔记--Spark调优与调试

    Spark调优与调试 使用SparkConf配置Spark 在 Scala 中使用 SparkConf 创建一个应用 // 创建一个conf对象 val conf = new SparkConf() conf.set("spark.app.name",…...

  • zxrui 推荐

    spark学习笔记--集群运行Spark

    在集群上运行Spark Spark运行架构 在分布式环境下,Spark 集群采用的是主 / 从结构。 Spark 应用通过一个叫作集群管理器(Cluster Manager)的外部服务在集群中的机器上启动。Spark 自带的集群管理器被称为独立集群管理器。Spark 也能…...

  • zxrui 推荐

    spark学习笔记--进阶编程

    进阶编程 共享变量 通常在向 Spark 传递函数时,比如使用 map() 函数或者用 filter() 传条件时,可以使用驱动器程序中定义的变量,但是集群中运行的每个任务都会得到这些变量的一份新的副本,更新这些副本的值也不会影响驱动器中的对应变量。Spark 的两个共享…...

  • zxrui 推荐

    spark学习笔记--数据读取与保存

    数据读取与保存 文件格式与文件系统 对于存储在本地文件系统或分布式文件系统(比如 NFS、HDFS、Amazon S3 等)中的数据,Spark 可以访问很多种不同的文件格式,包括文本文件、JSON、SequenceFile,以及 protocol buffer。我们会…...