zxrui

  • 关注
  • 短消息
  • 送银子
文章
8
评论
0
推荐
0
收藏
0
社区会龄
8 个月
个人网站
--
个人简介
还没有输入个人简介……
  • zxrui 推荐

    spark学习笔记-- Spark Streaming

    许多应用需要即时处理收到的数据,Spark Streaming是Spark为这种应用而设计的模型,他允许用户使用一套和批处理非常接近的API来编写流失计算应用,这样就可以大量重用批处理应用的技术。 和RDD的概念很相似,Spark Streaming使用离散化流作为抽象表示,叫…...

  • zxrui 推荐

    spark学习笔记--Spark SQL

    Spark SQL ![enter image description here][1] Spark SQL可以从各种结构化数据源(如JSON,Hive,Parquet等)中读取数据 Spark SQL不仅支持在程序内进行SQL查询,也支持从类似商业智能软件Tablea…...

  • zxrui 1推荐

    spark学习笔记--Spark调优与调试

    Spark调优与调试 使用SparkConf配置Spark 在 Scala 中使用 SparkConf 创建一个应用 // 创建一个conf对象 val conf = new SparkConf() conf.set("spark.app.name",…...

  • zxrui 推荐

    spark学习笔记--集群运行Spark

    在集群上运行Spark Spark运行架构 在分布式环境下,Spark 集群采用的是主 / 从结构。 Spark 应用通过一个叫作集群管理器(Cluster Manager)的外部服务在集群中的机器上启动。Spark 自带的集群管理器被称为独立集群管理器。Spark 也能…...

  • zxrui 推荐

    spark学习笔记--进阶编程

    进阶编程 共享变量 通常在向 Spark 传递函数时,比如使用 map() 函数或者用 filter() 传条件时,可以使用驱动器程序中定义的变量,但是集群中运行的每个任务都会得到这些变量的一份新的副本,更新这些副本的值也不会影响驱动器中的对应变量。Spark 的两个共享…...