spark編程指南中文（wén）版

spark編程指南 pdf是一部非常實用的spark教程，這部電子書詳細講解了spark編程（chéng）方法以及技巧，能夠讓你快速入（rù）門（mén），需要的朋友歡迎來綠（lǜ）色資源網免費下載！

Spark編程指南電子書介紹

總體上來說，每個Spark應用都包含一個驅動器（driver）程序，驅動（dòng）器運行用戶的main函數，並在集群上執行各種並行操作。

Spark最重要的一個抽象概念就是彈性（xìng）分布式數據（jù）集（resilient distributed dataset – RDD），RDD是（shì）一個可分區的元素集合，其包含的元素可以分布在集群各個（gè）節點上，並且可（kě）以執行（háng）一些分布式（shì）並行操作。RDD通（tōng）常是通過，HDFS（或者其他Hadoop支持的（de）文件係統）上的文件，或者驅動器（qì）中的Scala集合對（duì）象，來創建或（huò）轉換得到；其次，用戶也可以請求Spark將RDD持久化到內存裏，以便在不同的並行操作裏複（fù）用之；最後，RDD具（jù）備容錯性，可以從（cóng）節點失敗中（zhōng）自動恢（huī）複數據。

Spark第二個（gè）重要抽象概念（niàn）是共享變量，共享變量是一種可以在並行操作（zuò）之間共享使用的變量。默認情況下，當Spark把一係列任務調度到不同節點上運行時，Spark會同時把每個變量的副本（běn）和任務代碼一起發送給各個節點。但（dàn）有時候，我們需要在任務之間，或者任務和驅動器之間共享一些變量。Spark提供了兩種類型的共享變量：廣播變量和累加器，廣播變量可以用（yòng）來在各（gè）個節點上緩存數（shù）據，而累加器則是用來（lái）執行跨節點的“累（lèi）加”操（cāo）作，例如：計數和求和。

Spark編程指南（nán）pdf目錄

1. Introduction

2. 快速上手（shǒu）

i. SparkShell

ii. 獨立應用程序

iii. 開始翻滾吧!

3. 編程指南

i. 引入Spark

ii. 初始（shǐ）化（huà）Spark

iii. SparkRDDs

i. 並行集合

ii. 外部（bù）數據集

iii. RDD操作（zuò）

i. 傳遞函數到（dào）Spark

ii. 使用鍵值對

iii. Transformations

iv. Actions

iv. RDD持久化

iv. 共享變量

v. 從這（zhè）裏開始

4. SparkStre

i. 一個快速的例子（zǐ）

ii. 基本概念

i. 關聯

ii. 初（chū）始化StreamingContext

iii. 離散流

iv. 輸入DStreams

v. DStream中的轉換

vi. DStream的輸出（chū）操作（zuò）

vii. 緩存或持久化

viii. Checkpointing

ix. 部署（shǔ）應（yīng）用程序（xù）

x. 監控應（yīng）用程序

iii. 性能調優

i. 減（jiǎn）少批數據的執行時間

ii. 設置正確（què）的批容量

iii. 內存調優

iv. 容錯語義（yì）

5. SparkSQL

i. 開始

ii. 數（shù）據源

i. RDDs

ii. parquet文件（jiàn）

iii. JSON數據集

iv. Hive表

iii. 性能調優

iv. 其它SQL接口

v. 編寫語言集成(Language-Integrated)的相關查詢

vi. SparkSQL數據類型

6. GraphX編程指（zhǐ）南（nán）

i. 開始

ii. 屬性圖

iii. 圖操作符

TableofContentsiv. PregelAPI

v. 圖構造者

vi. 頂點和邊RDDs

vii. 圖算法

viii. 例子

7. 部署

i. 提交應用程序

ii. 獨立運行Spark

iii. 在yarn上運行Spark

8. 更（gèng）多文檔

i. Spark配置