思维导图备注

Spark大数据处理-高彦杰
首页 收藏书籍 阅读记录
  • 书签 我的书签
  • 添加书签 添加书签 移除书签 移除书签

第2章 Spark集群的安装与部署

浏览 1 扫码
  • 小字体
  • 中字体
  • 大字体
2022-02-19 20:18:25
请 登录 再阅读
上一篇:
下一篇:
  • 书签
  • 添加书签 移除书签
  • 前言
  • 第1章 Spark简介
    • 1.1 Spark是什么
    • 1.2 Spark生态系统BDAS
    • 1.3 Spark架构
    • 1.4 Spark分布式架构与单机多核架构的异同
    • 1.5 Spark的企业级应用
      • 1.5.1 Spark在Amazon中的应用
      • 1.5.2 Spark在Yahoo！的应用
      • 1.5.3 Spark在西班牙电信的应用
      • 1.5.4 Spark在淘宝的应用
    • 1.6 本章小结
  • 第2章 Spark集群的安装与部署
    • 2.1 Spark的安装与部署
      • 2.1.1 在Linux集群上安装与配置Spark
      • 2.1.2 在Windows上安装与配置Spark
    • 2.2 Spark集群初试
    • 2.3 本章小结
  • 第3章 Spark计算模型
    • 3.1 Spark程序模型
    • 3.2 弹性分布式数据集
      • 3.2.1 RDD简介
      • 3.2.2 RDD与分布式共享内存的异同
      • 3.2.3 Spark的数据存储
    • 3.3 Spark算子分类及功能
      • 3.3.1 Value型Transformation算子
      • 3.3.2 Key-Value型Transformation算子
      • 3.3.3 Actions算子
    • 3.4 本章小结
  • 第4章 Spark工作机制详解
    • 4.1 Spark应用执行机制
      • 4.1.1 Spark执行机制总览
      • 4.1.2 Spark应用的概念
      • 4.1.3 应用提交与执行方式
    • 4.2 Spark调度与任务分配模块
      • 4.2.1 Spark应用程序之间的调度
      • 4.2.2 Spark应用程序内Job的调度
      • 4.2.3 Stage和TaskSetManager调度方式
      • 4.2.4 Task调度
    • 4.3 Spark I/O机制
      • 4.3.1 序列化
      • 4.3.2 压缩
      • 4.3.3 Spark块管理
    • 4.4 Spark通信模块
      • 4.4.1 通信框架AKKA
      • 4.4.2 Client、Master和Worker间的通信
    • 4.5 容错机制
      • 4.5.1 Lineage机制
      • 4.5.2 Checkpoint机制
    • 4.6 Shuffle机制
    • 4.7 本章小结
  • 第5章 Spark开发环境配置及流程
    • 5.1 Spark应用开发环境配置
      • 5.1.1 使用Intellij开发Spark程序
      • 5.1.2 使用Eclipse开发Spark程序
      • 5.1.3 使用SBT构建Spark程序
      • 5.1.4 使用Spark Shell开发运行Spark程序
    • 5.2 远程调试Spark程序
    • 5.3 Spark编译
    • 5.4 配置Spark源码阅读环境
    • 5.5 本章小结
  • 第6章 Spark编程实战
    • 6.1 WordCount
    • 6.2 Top K
    • 6.3 中位数
    • 6.4 倒排索引
    • 6.5 CountOnce
    • 6.6 倾斜连接
    • 6.7 股票趋势预测
    • 6.8 本章小结
  • 第7章 Benchmark使用详解
    • 7.1 Benchmark简介
      • 7.1.1 Intel Hibench与Berkeley BigDataBench
      • 7.1.2 Hadoop GridMix
      • 7.1.3 Bigbench、BigDataBenchmark与TPC-DS
      • 7.1.4 其他Benchmark
    • 7.2 Benchmark的组成
      • 7.2.1 数据集
      • 7.2.2 工作负载
      • 7.2.3 度量指标
    • 7.3 Benchmark的使用
      • 7.3.1 使用Hibench
      • 7.3.2 使用TPC-DS
      • 7.3.3 使用BigDataBench
    • 7.4 本章小结
  • 第8章 BDAS简介
    • 8.1 SQL on Spark
      • 8.1.1 使用Spark SQL的原因
      • 8.1.2 Spark SQL架构分析
      • 8.1.3 Shark简介
      • 8.1.4 Hive on Spark
      • 8.1.5 未来展望
    • 8.2 Spark Streaming
      • 8.2.1 Spark Streaming简介
      • 8.2.2 Spark Streaming架构
      • 8.2.3 Spark Streaming原理剖析
      • 8.2.4 Spark Streaming调优
      • 8.2.5 Spark Streaming实例
    • 8.3 GraphX
      • 8.3.1 GraphX简介
      • 8.3.2 GraphX的使用
      • 8.3.3 GraphX架构
      • 8.3.4 运行实例
    • 8.4 MLlib
      • 8.4.1 MLlib简介
      • 8.4.2 MLlib的数据存储
      • 8.4.3 数据转换为向量（向量空间模型VSM）
      • 8.4.4 MLlib中的聚类和分类
      • 8.4.5 算法应用实例
      • 8.4.6 利用MLlib进行电影推荐
    • 8.5 本章小结
  • 第9章 Spark性能调优
    • 9.1 配置参数
    • 9.2 调优技巧
      • 9.2.1 调度与分区优化
      • 9.2.2 内存存储优化
      • 9.2.3 网络传输优化
      • 9.2.4 序列化与压缩
      • 9.2.5 其他优化方法
    • 9.3 本章小结
暂无相关搜索结果！
    展开/收起文章目录

    二维码

    手机扫一扫，轻松掌上学

    《Spark大数据处理-高彦杰》电子书下载

    请下载您需要的格式的电子书，随时随地，享受学习的乐趣！
    EPUB 电子书

    书签列表

      阅读记录

      阅读进度: 0.00% ( 0/0 ) 重置阅读进度