如果你最近在學(xué) Spark又想找一個(gè)不繞彎、不燒集群的實(shí)戰(zhàn)練習(xí)這一組 Spark 小練習(xí)應(yīng)該正合你意。我最近剛把它完整過(guò)了一遍用 PySpark 讀一份本地生成的銷(xiāo)售訂單 CSV接著做數(shù)據(jù)清洗、去重和日期規(guī)整再用 DataFrame API 與 Spark SQL 分別算出“每個(gè)月、每個(gè)品類(lèi)的訂單量、銷(xiāo)售額、平均客單價(jià)”最后把結(jié)果寫(xiě)出并回讀校驗(yàn)。整個(gè)流程不依賴(lài)分布式集群?jiǎn)螜C(jī)就能跑也不需要你提前會(huì) Scala。它沒(méi)有多高深但對(duì)靠刷題入門(mén)的人來(lái)說(shuō)能一次性補(bǔ)上最關(guān)鍵的“從文件到 DataFrame再?gòu)?DataFrame 到結(jié)果報(bào)表”的完整手感。這個(gè)小練習(xí)解決的是一個(gè)很典型的痛點(diǎn)很多人把 RDD 算子背得滾瓜爛熟可真給一份 CSV卻不知道怎么下手也有人只會(huì)寫(xiě) Spark SQL但完全不理解 DataFrame 算子與 SQL 的對(duì)應(yīng)關(guān)系。做完這組練習(xí)你會(huì)對(duì)groupBy、agg、withColumn、filter這些概念有具體體感也能看懂 Spark UI 里最簡(jiǎn)單的 Job 和 Stage 長(zhǎng)什么樣。如果你是剛學(xué)完 Spark 基礎(chǔ)的學(xué)生或者準(zhǔn)備大數(shù)據(jù)開(kāi)發(fā)面試但缺實(shí)操的初學(xué)者可以照著下面的方案完整走一遍如果已經(jīng)能用 Spark 做生產(chǎn)任務(wù)也可以重點(diǎn)看后面的問(wèn)題排查部分。1. 動(dòng)手前先拆解這個(gè)小練習(xí)到底練什么1.1 練習(xí)目標(biāo)不是搭集群而是跑通一條完整的 Spark SQL 數(shù)據(jù)鏈路我第一次做這個(gè)練習(xí)時(shí)差點(diǎn)被“分布式”“集群”這些詞帶偏想著要不要先搭一個(gè)三節(jié)點(diǎn)環(huán)境。后來(lái)我意識(shí)到對(duì)一個(gè)以學(xué)習(xí)為目的的小練習(xí)來(lái)說(shuō)最關(guān)鍵的不是機(jī)器數(shù)量而是你能不能把一條數(shù)據(jù)處理鏈路完整地走通。所謂鏈路在這里就是五個(gè)環(huán)節(jié)讀入外部數(shù)據(jù)、觀察數(shù)據(jù)形態(tài)、做清洗轉(zhuǎn)換、執(zhí)行聚合統(tǒng)計(jì)、把結(jié)果寫(xiě)回文件系統(tǒng)。我把每個(gè)環(huán)節(jié)對(duì)應(yīng)到具體動(dòng)作第一步用spark.read.csv把本地 CSV 變成DataFrame第二步用printSchema和show看字段類(lèi)型與樣例數(shù)據(jù)第三步做狀態(tài)過(guò)濾、訂單去重和日期字段拆分第四步用groupBy與agg算出每個(gè)品類(lèi)每個(gè)月的訂單量和銷(xiāo)售額第五步把結(jié)果寫(xiě)成一個(gè) CSV 文件再重新讀回來(lái)驗(yàn)證。五個(gè)環(huán)節(jié)依次走完Spark 里最常用的二十幾個(gè)方法基本都能覆蓋到后續(xù)再學(xué)窗口函數(shù)、Join、Streaming 時(shí)也不會(huì)覺(jué)得基礎(chǔ)是懸空的。1.2 為什么選 PySpark 加 Spark SQL 的方式而不是純 RDD 練習(xí)真的建議新手從 PySpark 的 DataFrame 和 Spark SQL 入手而不是把純 RDD 算子當(dāng)作主練習(xí)。原因很簡(jiǎn)單RDD 的很多底層算子實(shí)際開(kāi)發(fā)中用得越來(lái)越少而 DataFrame 背后的 Catalyst 優(yōu)化器能自動(dòng)做謂詞下推、列裁剪等優(yōu)化這才是日常處理結(jié)構(gòu)化數(shù)據(jù)的核心方式。用 PySpark 寫(xiě)練習(xí)還有一個(gè)實(shí)際優(yōu)勢(shì)你在交互環(huán)境里寫(xiě) Scala每按一次回車(chē)等著編譯切到 Python 后可以快速df.show()看結(jié)果、改邏輯、再運(yùn)行試錯(cuò)成本低很多。有些人總覺(jué)得“生產(chǎn)環(huán)境用 Scala所以練習(xí)也要 Scala”這個(gè)說(shuō)法至少在這個(gè)階段不成立。你用 Scala 還是 Python只要最終生成的是同樣的 DataFrame 和 SQL 任務(wù)物理執(zhí)行計(jì)劃不會(huì)有本質(zhì)差別。練習(xí)的核心應(yīng)該放在算子的語(yǔ)義和數(shù)據(jù)的流轉(zhuǎn)上而不是被語(yǔ)言語(yǔ)法干擾。等你以后真去改 Spark 源碼或者做底層性能優(yōu)化再學(xué) Scala 也來(lái)得及。2. 五分鐘搭好本地環(huán)境并生成一份模擬訂單數(shù)據(jù)2.1 本地環(huán)境搭建JDK、虛擬環(huán)境和 pip 安裝的省心組合本地跑 PySpark 其實(shí)比想象中簡(jiǎn)單。我先說(shuō)版本組合我用的 Spark 3.5.x配合 Python 3.9JDK 用 17。你用 JDK 8 或 11 也行但不建議直接用最新的 JDK 21因?yàn)椴糠?Spark 版本還不支持。安裝步驟可以壓縮成三步先確保java -version能輸出版本號(hào)再創(chuàng)建一個(gè) Python 虛擬環(huán)境最后在虛擬環(huán)境里用 pip 安裝 PySpark。python -m venv spark_practice source spark_practice/bin/activate # Windows 下是 spark_practice\Scripts\activate pip install pyspark3.5.1 pandas這里我特別想提醒一句一定要固定版本。我見(jiàn)過(guò)有人直接pip install pyspark裝到最新版結(jié)果跟著舊教程寫(xiě)代碼API 對(duì)不上最后一堆報(bào)錯(cuò)。指定版本號(hào)后至少你能確定當(dāng)前代碼所對(duì)應(yīng)的行為。還有一點(diǎn)pip 安裝的 PySpark 會(huì)自帶本地運(yùn)行所需的基礎(chǔ)組件你不需要單獨(dú)裝一份 Hadoop啟動(dòng)local[*]模式時(shí)會(huì)直接以本地多線程方式模擬分布式執(zhí)行。2.2 用腳本生成五萬(wàn)行訂單 CSV讓練習(xí)有真實(shí)感不要隨便在網(wǎng)上找一份不知道格式的數(shù)據(jù)來(lái)練最好自己用腳本生成一份可控制的模擬訂單數(shù)據(jù)。字段設(shè)計(jì)要有電商業(yè)務(wù)的真實(shí)感但又要方便后續(xù)聚合訂單號(hào)、用戶ID、下單日期、商品類(lèi)目、金額、區(qū)域、訂單狀態(tài)。我生成五萬(wàn)行日期分布在一到四月份金額在 10 到 5000 之間狀態(tài)里有已完成、已取消、已退款。這樣的數(shù)據(jù)既能做過(guò)濾也能做按月的分組統(tǒng)計(jì)。下面這個(gè)腳本可以直接保存成generate_data.py運(yùn)行import random import datetime import csv random.seed(42) categories [手機(jī)數(shù)碼, 家用電器, 服飾鞋包, 食品生鮮, 美妝個(gè)護(hù)] regions [華東, 華北, 華南, 西南, 東北] status_list [已完成, 已取消, 已退款] with open(data/sales.csv, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([order_id, user_id, order_date, category, amount, region, status]) for i in range(50000): days random.randint(0, 120) order_date datetime.date(2024, 1, 1) datetime.timedelta(daysdays) writer.writerow([ fO{i:06d}, fU{random.randint(1, 2000):05d}, order_date.isoformat(), random.choice(categories), round(random.uniform(10, 5000), 2), random.choice(regions), random.choice(status_list) ])寫(xiě)文件時(shí)千萬(wàn)記得帶換行處理參數(shù)和 UTF-8 編碼。如果你在 Windows 上不小心用了系統(tǒng)默認(rèn)編碼后面 Spark 讀出來(lái)中文可能直接亂碼。生成之后可以先看前幾行確認(rèn)是正常 CVS 結(jié)構(gòu)再進(jìn)入下一步。3. 核心實(shí)操?gòu)淖x CSV 到出報(bào)表的完整鏈路3.1 初始化 SparkSession把 CSV 變成 DataFrame在 PySpark 里所有功能的入口都是SparkSession。小練習(xí)不需要花里胡哨的配置我通常只設(shè)置三個(gè)東西應(yīng)用名、運(yùn)行模式、shuffle 分區(qū)數(shù)。運(yùn)行模式寫(xiě)成local[*]表示使用本機(jī)所有可用線程spark.sql.shuffle.partitions設(shè)置為 8是為了避免默認(rèn) 200 個(gè) shuffle 分區(qū)在小數(shù)據(jù)量下造成大量空任務(wù)。from pyspark.sql import SparkSession spark (SparkSession.builder .appName(spark-small-practice) .master(local[*]) .config(spark.sql.shuffle.partitions, 8) .getOrCreate()) df spark.read.csv(data/sales.csv, headerTrue, inferSchemaTrue) df.printSchema() df.show(5, truncateFalse)inferSchemaTrue會(huì)讓 Spark 自動(dòng)推斷每列類(lèi)型對(duì)練習(xí)很方便。不過(guò)生產(chǎn)環(huán)境不要依賴(lài)這個(gè)參數(shù)一是它需要額外掃描一遍數(shù)據(jù)二是推斷結(jié)果可能和你預(yù)期不一致。更好的做法是像下面這樣顯式定義 Schema尤其在實(shí)際團(tuán)隊(duì)協(xié)作時(shí)數(shù)據(jù)類(lèi)型的穩(wěn)定性比代碼少幾行重要得多。from pyspark.sql.types import (StructType, StructField, StringType, IntegerType, DoubleType, DateType) sales_schema StructType([ StructField(order_id, StringType()), StructField(user_id, StringType()), StructField(order_date, StringType()), StructField(category, StringType()), StructField(amount, DoubleType()), StructField(region, StringType()), StructField(status, StringType()) ])這一步做完df就是一張“可以橫著拆開(kāi)、豎著切分”的表。建議你花兩分鐘把printSchema的輸出抄在筆記里后面寫(xiě)代碼時(shí)時(shí)刻對(duì)照字段類(lèi)型能省掉不少因類(lèi)型誤用導(dǎo)致的報(bào)錯(cuò)。3.2 數(shù)據(jù)清洗先過(guò)濾臟數(shù)據(jù)和重復(fù)訂單很多人一拿到 DataFrame 就急著groupBy這是練習(xí)里最容易踩的坑。真實(shí)的訂單數(shù)據(jù)一定有取消單可能還有重復(fù)入庫(kù)的臟數(shù)據(jù)如果你不過(guò)濾掉聚合結(jié)果就會(huì)和業(yè)務(wù)口徑對(duì)不上。我在這份模擬數(shù)據(jù)里只統(tǒng)計(jì)“已完成”的訂單同時(shí)按order_id去重再排除金額為空或金額小于等于 0 的記錄。日期字段讀取后是字符串所以還得先轉(zhuǎn)成真正的日期類(lèi)型再拆出年份、月份和星期。from pyspark.sql import functions as F df_clean (df .filter(df[status] 已完成) .dropDuplicates([order_id]) .withColumn(order_date, F.to_date(order_date, yyyy-MM-dd)) .withColumn(year, F.year(order_date)) .withColumn(month, F.month(order_date)) .withColumn(week_of_year, F.weekofyear(order_date)) .filter(F.col(amount).isNotNull() (F.col(amount) 0))) print(清洗前記錄數(shù), df.count()) print(清洗后記錄數(shù), df_clean.count())你可以用這個(gè)count對(duì)比直觀感受一下什么叫“數(shù)據(jù)質(zhì)量影響結(jié)果”。在這個(gè)小練習(xí)里過(guò)濾前后甚至能差出幾千條訂單如果直接把臟數(shù)據(jù)也算進(jìn)銷(xiāo)售額最后報(bào)表一定會(huì)被挑戰(zhàn)。關(guān)于withColumn我想多說(shuō)一句它是生成新列不會(huì)修改原來(lái)的DataFrame所以鏈?zhǔn)秸{(diào)用時(shí)每步都必須接收返回值。我看到有初學(xué)者寫(xiě)df.withColumn(...)后以為原表變了下一行繼續(xù)用df結(jié)果新列永遠(yuǎn)不生效。這是 PySpark 和 Pandas 在語(yǔ)義上一個(gè)很大的區(qū)別。3.3 分組聚合DataFrame API 和 Spark SQL 各寫(xiě)一遍清洗完成之后就到了練習(xí)的重點(diǎn)計(jì)算每個(gè)月份、每個(gè)品類(lèi)的訂單量、總銷(xiāo)售額和平均客單價(jià)。我建議你用兩種方式各寫(xiě)一遍先看 DataFrame 寫(xiě)法再看 Spark SQL 寫(xiě)法。DataFrame 寫(xiě)法如下result_df (df_clean .groupBy(category, month) .agg( F.count(order_id).alias(order_cnt), F.round(F.sum(amount), 2).alias(total_amount), F.round(F.avg(amount), 2).alias(avg_amount) ) .orderBy(month, F.desc(total_amount))) result_df.show(30, truncateFalse)這里groupBy里的列對(duì)應(yīng) SQL 的GROUP BYagg里的每一行則是一個(gè)聚合表達(dá)式。alias用來(lái)給輸出列起名別小看這個(gè)動(dòng)作生產(chǎn)報(bào)表里下游經(jīng)?？苛忻麑?duì)接名字混亂很麻煩。Spark SQL 寫(xiě)法則是先把DataFrame注冊(cè)成臨時(shí)視圖再直接寫(xiě)標(biāo)準(zhǔn) SQLdf_clean.createOrReplaceTempView(sales) sql_result spark.sql( SELECT category, month, COUNT(order_id) AS order_cnt, ROUND(SUM(amount), 2) AS total_amount, ROUND(AVG(amount), 2) AS avg_amount FROM sales GROUP BY category, month ORDER BY month, total_amount DESC ) sql_result.show(30, truncateFalse)很多同學(xué)會(huì)問(wèn)既然結(jié)果一樣練一種不就好了我的看法是這兩種寫(xiě)法你要至少各練一遍因?yàn)楣ぷ骼镆话氲娜擞?DataFrame API另一半寫(xiě) SQL你看不懂任何一方都會(huì)很吃力。更關(guān)鍵的是你得在腦子里建立起兩者的對(duì)應(yīng)關(guān)系SELECT對(duì)應(yīng)selectWHERE對(duì)應(yīng)filterGROUP BY對(duì)應(yīng)groupByORDER BY對(duì)應(yīng)orderBy。建立不了這個(gè)映射你讀別人代碼就像看天書(shū)。寫(xiě)完后可以用下面的方式快速驗(yàn)證兩個(gè)結(jié)果是否一致避免自己騙自己diff_count result_df.exceptAll(sql_result).count() print(兩張結(jié)果表的差異行數(shù), diff_count)3.4 寫(xiě)出結(jié)果并回讀校驗(yàn)確保不是“看起來(lái)對(duì)”Spark 寫(xiě) CSV 和 Pandas 寫(xiě) CSV 有一個(gè)很不一樣的地方Spark 寫(xiě)出的不是單個(gè)文件而是一個(gè)目錄里面會(huì)有多個(gè)part-*文件外加一個(gè)空白的_SUCCESS標(biāo)記文件。這個(gè)設(shè)計(jì)是為了并行寫(xiě)出但在小練習(xí)里我們通常希望最終能看到一個(gè)可讀的單文件。所以我會(huì)在寫(xiě)出前用repartition(1)把結(jié)果合并到一個(gè)分區(qū)output_path output/sales_summary sql_result.repartition(1).write.mode(overwrite).option(header, True).csv(output_path)這里要說(shuō)明一下repartition(1)是重新落一次全量數(shù)據(jù)數(shù)據(jù)量大的時(shí)候會(huì)造成后續(xù)任務(wù)單分區(qū)處理、非常慢甚至 OOM練習(xí)里數(shù)據(jù)量小無(wú)所謂千萬(wàn)別把它當(dāng)成生產(chǎn)環(huán)境寫(xiě)單文件的通用手段。如果生產(chǎn)上確實(shí)需要單文件一般先正常寫(xiě)出再單獨(dú)做文件合并。寫(xiě)完以后不要直接打開(kāi) CSV 看一眼就說(shuō)完成更嚴(yán)謹(jǐn)?shù)淖龇ㄊ怯?Spark 把輸出再讀回來(lái)和內(nèi)存里的結(jié)果做對(duì)比check_df spark.read.csv(output_path, headerTrue, inferSchemaTrue) print(輸出文件記錄數(shù), check_df.count()) check_df.show(10, truncateFalse)這樣能發(fā)現(xiàn)很多隱藏問(wèn)題。比如字段順序變了、數(shù)值被截?cái)?、分區(qū)文件太多都可以在回讀階段暴露。我自己的習(xí)慣是任何一次作業(yè)寫(xiě)到文件系統(tǒng)之后都要立刻讀一遍哪怕只是打印前二十行也不要跳過(guò)去。3.5 用 explain 和 Spark UI 驗(yàn)證執(zhí)行細(xì)節(jié)跑通結(jié)果只是第一步我并不建議你停在“能出數(shù)”就結(jié)束。如果身邊有人帶你他大概率會(huì)問(wèn)你一句你這個(gè)任務(wù)到底分成了幾個(gè) Stage有沒(méi)有 Shuffle要回答這個(gè)問(wèn)題最簡(jiǎn)單的方式是看執(zhí)行計(jì)劃。在 PySpark 里可以對(duì)一個(gè) DataFrame 調(diào)用explainsql_result.explain(modeextended)不要被一長(zhǎng)串輸出嚇到你只需要關(guān)注幾個(gè)點(diǎn)掃描數(shù)據(jù)源有沒(méi)有做列裁剪和謂詞下推聚合過(guò)程中有沒(méi)有出現(xiàn)Exchange節(jié)點(diǎn)也就是 Shuffle最后的結(jié)果有沒(méi)有走排序。對(duì)這個(gè)小練習(xí)來(lái)說(shuō)GROUP BY一定會(huì)觸發(fā) Shuffle所以你會(huì)看到Exchange這是正常的。如果還想看更直觀的進(jìn)度運(yùn)行作業(yè)時(shí)打開(kāi)瀏覽器訪問(wèn)http://localhost:4040也就是 Spark UI。你能看到 Job、Stage、Executor 的基本情況。本地練習(xí)雖然遠(yuǎn)沒(méi)有集群環(huán)境那么壯觀但盡早培養(yǎng)看 UI 的習(xí)慣對(duì)以后排查慢任務(wù)、數(shù)據(jù)傾斜會(huì)非常有幫助。4. 小練習(xí)高頻問(wèn)題排查與避坑技巧4.1 報(bào)錯(cuò)速查本地環(huán)境最容易踩的五個(gè)坑做練習(xí)的時(shí)候最打擊信心的事情就是代碼還沒(méi)跑起來(lái)先被環(huán)境折騰半天。我把自己踩過(guò)和幫別人看過(guò)的五個(gè)高頻報(bào)錯(cuò)整理在下面。第一個(gè)是啟動(dòng) Python 時(shí)出現(xiàn)Unsupported class file major version這基本可以斷定是 JDK 版本和 Spark 不匹配。我的處理辦法是下載 JDK 17 并重新設(shè)置JAVA_HOME確保java -version輸出為 17。第二個(gè)是 Windows 下報(bào)Could not locate executable null\bin\winutils.exe這是本地缺少 Hadoop 運(yùn)行時(shí)導(dǎo)致的解決方法要么補(bǔ)齊對(duì)應(yīng)的依賴(lài)文件要么干脆用 WSL 或 Linux 環(huán)境。我自己的經(jīng)驗(yàn)是為一個(gè)小練習(xí)去折騰本地 Hadoop 相關(guān)組件不太劃算能換環(huán)境就換環(huán)境。第三個(gè)問(wèn)題很常見(jiàn)但經(jīng)常被忽視spark.read.csv讀不到文件。有人會(huì)把路徑寫(xiě)成帶盤(pán)符的絕對(duì)路徑這在本地沒(méi)問(wèn)題但如果你的代碼里包含中文路徑或特殊字符就會(huì)有一堆編碼問(wèn)題。我更推薦把練習(xí)文件放在項(xiàng)目目錄下用相對(duì)路徑并確認(rèn)啟動(dòng) Python 的工作目錄在項(xiàng)目根目錄。第四個(gè)問(wèn)題是寫(xiě) CSV 后中文亂碼一般發(fā)生在默認(rèn)編碼不是 UTF-8 的場(chǎng)景。你可以在寫(xiě)出時(shí)加option(encoding, UTF-8)生成數(shù)據(jù)時(shí)也保證用 UTF-8 編碼。最后一個(gè)坑不是報(bào)錯(cuò)而是結(jié)果對(duì)不上明明按月份分組但輸出的月份順序是亂序的因?yàn)?Spark 默認(rèn)不保證排序你需要顯式排序。4.2 一個(gè)常見(jiàn)誤區(qū)本地?cái)?shù)據(jù)量小為什么還是慢我見(jiàn)過(guò)有人拿著這份小練習(xí)跑完一看發(fā)現(xiàn)很多 Stage 只有幾百毫秒但總時(shí)間卻要十幾秒于是懷疑 Spark 是不是“太重了”。其實(shí)這多半不是 Spark 的問(wèn)題而是你沒(méi)有控制任務(wù)粒度。默認(rèn)情況下Spark SQL 的spark.sql.shuffle.partitions是 200意思是任何 Shuffle 操作都會(huì)分成 200 個(gè)分區(qū)去跑。你的數(shù)據(jù)才五萬(wàn)行分成 200 個(gè)分區(qū)只會(huì)產(chǎn)生大量空任務(wù)和調(diào)度開(kāi)銷(xiāo)。我在練習(xí)開(kāi)始時(shí)把它改成了 8整個(gè)聚合任務(wù)明顯輕快不少。還有一個(gè)容易被忽略的點(diǎn)count()是一個(gè) Action每次調(diào)用都會(huì)從源頭重新計(jì)算一遍。比如你在代碼里寫(xiě)了df.count()又寫(xiě)了df_clean.count()再運(yùn)行一次聚合前面幾步可能重復(fù)執(zhí)行了多次。如果數(shù)據(jù)量級(jí)稍微大一點(diǎn)這種重復(fù)成本會(huì)被放大。你可以用df.cache()把中間結(jié)果緩存起來(lái)不過(guò)緩存本身也有代價(jià)要放在多次復(fù)用的場(chǎng)景下才劃算。小練習(xí)里最值得學(xué)的不是堆緩存而是搞清楚哪些算子會(huì)觸發(fā) Shuffle、哪些操作是 Action。你只要把這兩點(diǎn)分清就不難理解“慢”到底慢在哪個(gè)環(huán)節(jié)。4.3 經(jīng)典問(wèn)題對(duì)照表現(xiàn)象、原因、處理方案每次帶新人做這個(gè)練習(xí)我都會(huì)讓他們對(duì)照一張問(wèn)題表排查效率比自己瞎猜高很多。這里整理成表格放在你旁邊對(duì)照即可現(xiàn)象常見(jiàn)原因處理建議啟動(dòng)報(bào)Unsupported class file major versionJDK 版本超出 Spark 支持范圍使用 JDK 8/11/17重新設(shè)置 JAVA_HOMEWindows 下報(bào) winutils.exe 找不到缺少 Hadoop Windows 本地依賴(lài)補(bǔ)齊依賴(lài)或改用 WSL/Linux 環(huán)境中文讀取或?qū)懗鰜y碼文件編碼不是 UTF-8讀寫(xiě)時(shí)統(tǒng)一指定encoding文件本身也用 UTF-8 保存結(jié)果月份順序亂沒(méi)有顯式排序或排序字段類(lèi)型是字符串對(duì)日期字段轉(zhuǎn)成 date 類(lèi)型后再排序或加ORDER BY month數(shù)據(jù)特別小卻跑很慢默認(rèn) shuffle 分區(qū)數(shù)過(guò)大產(chǎn)生大量空任務(wù)設(shè)置spark.sql.shuffle.partitions為較小值聚合值比預(yù)期大沒(méi)過(guò)濾取消單、沒(méi)去重、空值未處理先做數(shù)據(jù)質(zhì)量檢查再進(jìn)入?yún)R總這張表只解決“能不能跑”的問(wèn)題真正理解為什么還需要你回到前面的章節(jié)把每條現(xiàn)象背后的 Spark 原理串起來(lái)。比如為什么分區(qū)數(shù)影響速度為什么去重要放在聚合之前這些不是靠背而是靠親手改參數(shù)、觀察結(jié)果差異來(lái)獲得體感。5. 做完練習(xí)之后的幾條實(shí)在體會(huì)5.1 跑通只是第一步重點(diǎn)是看懂每一條轉(zhuǎn)換把這組練習(xí)完整跑完之后我最想說(shuō)的一點(diǎn)是不要滿足于“代碼能出結(jié)果”。如果你的操作只是照著貼一遍那你的提升非常有限。Spark 的學(xué)習(xí)曲線不是靠記憶彎道超車(chē)而是靠對(duì)數(shù)據(jù)流轉(zhuǎn)的想象。每調(diào)用一個(gè)withColumn都會(huì)生成一條新的數(shù)據(jù)版本每執(zhí)行一次groupBy數(shù)據(jù)都會(huì)發(fā)生一次寬依賴(lài)也就是 Shuffle。你要在腦子里形成一條“數(shù)據(jù)從文件出發(fā)經(jīng)過(guò)哪幾步變成什么形狀最終落在哪里”的路徑。做完練習(xí)后我建議你把每一行代碼刪掉再重寫(xiě)一遍不用看答案能寫(xiě)出來(lái)才算真會(huì)了。這個(gè)復(fù)寫(xiě)的過(guò)程比復(fù)制十遍都管用。5.2 同一個(gè)數(shù)據(jù)集還能怎么練出更多東西這個(gè)練習(xí)的數(shù)據(jù)集其實(shí)很有挖頭做完基礎(chǔ)版本之后你可以繼續(xù)加難度。比如用窗口函數(shù)計(jì)算每個(gè)品類(lèi)按月銷(xiāo)售額的環(huán)比看哪些品類(lèi)增長(zhǎng)明顯也可以用用戶維度做一次關(guān)聯(lián)查詢(xún)把訂單表和用戶表關(guān)聯(lián)后分析復(fù)購(gòu)率還可以把月結(jié)果和累計(jì)結(jié)果放在一起試一試ROLLUP或CUBE。這些擴(kuò)展仍然只用這一份模擬數(shù)據(jù)成本很低但每次都能把 Spark 的一個(gè)知識(shí)塊補(bǔ)得更完整。我自己做這個(gè)練習(xí)時(shí)額外加了一個(gè)讀取目錄下多個(gè) CSV 文件的小任務(wù)本質(zhì)上和讀取單文件一樣但順帶理解了通配符路徑和分區(qū)發(fā)現(xiàn)的機(jī)制。等你把這些都試完再回頭看最初的小練習(xí)會(huì)發(fā)現(xiàn)它就是一個(gè)很好的 Spark 學(xué)習(xí)坐標(biāo)系。如果對(duì)你有幫助可以按我上面的步驟自己跑一遍尤其是問(wèn)題排查那部分踩過(guò)一次坑記住的細(xì)節(jié)比刷十道題都牢。我最后再多說(shuō)一句本地 Spark 小練習(xí)只是起點(diǎn)后續(xù)接上真實(shí)數(shù)據(jù)源、加上合理的分區(qū)策略、學(xué)會(huì)看執(zhí)行計(jì)劃你會(huì)發(fā)現(xiàn) Spark 那些看起來(lái)嚇人的概念其實(shí)都能在這次練習(xí)里找到落點(diǎn)。