據(jù)——BPE 分詞、滑動(dòng)窗口數(shù)據(jù)加載與嵌入層)
示例工程大模型人工智能【免費(fèi)下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項(xiàng)目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點(diǎn)擊查看免費(fèi)下載本文以 ch02/README.md 為骨架系統(tǒng)梳理《Build a Large Language Model From Scratch》第 2 章Working with Text Data在 LLMs-from-scratch 倉(cāng)庫(kù)中的全部代碼資產(chǎn)主章節(jié)的 BPE 分詞與數(shù)據(jù)加載流水線以及 5 份補(bǔ)充材料BPE 編碼器基準(zhǔn)對(duì)比、Embedding 與 MatMul 等價(jià)性、直覺化數(shù)據(jù)加載器、從零訓(xùn)練 BPE tokenizer 等。讀完本文你將掌握如何把任意原始文本轉(zhuǎn)換為 LLM 可消費(fèi)的 token ID 序列、如何構(gòu)造帶輸入/目標(biāo)對(duì)的滑動(dòng)窗口數(shù)據(jù)集并理解 token 嵌入與位置嵌入的底層原理。章節(jié)定位為什么訓(xùn)練 LLM 要先處理文本數(shù)據(jù)第 2 章是整本書從零構(gòu)建 GPT 式 LLM 的數(shù)據(jù)地基。在進(jìn)入多頭注意力、Transformer 塊等模型結(jié)構(gòu)第 3、4 章之前必須先解決一個(gè)根本問(wèn)題模型只能處理數(shù)字無(wú)法直接讀取字符。因此本章圍繞三條主線展開分詞Tokenization把原始文本切分成 token再映射為整數(shù) ID數(shù)據(jù)加載Data Loading把 token 序列組織成帶輸入-目標(biāo)配對(duì)、可批量訓(xùn)練的樣本嵌入Embedding把 token ID 變成模型可計(jì)算的稠密向量并疊加位置信息。倉(cāng)庫(kù)中 ch02/README.md 將全部?jī)?nèi)容劃分為主章節(jié)代碼與補(bǔ)充材料兩部分下文逐一展開。主章節(jié)代碼完整實(shí)現(xiàn)與最小流水線主章節(jié)代碼位于 ch02/01_main-chapter-code 目錄包含三份文件ch02.ipynb包含章節(jié)正文出現(xiàn)的全部代碼是本章的權(quán)威實(shí)現(xiàn)exercise-solutions.ipynb章節(jié)練習(xí)的參考解答dataloader.ipynb跳過(guò)中間推導(dǎo)步驟、只保留核心數(shù)據(jù)加載流水線的最小化 Notebook適合快速回顧主線配套語(yǔ)料the-verdict.txt章節(jié)用來(lái)做實(shí)驗(yàn)的短篇英文文本Edith Wharton 的《The Verdict》全書前幾章均以它為演示語(yǔ)料。分詞用 tiktoken 加載 GPT-2 的 BPE 詞表章節(jié)采用 OpenAI 的tiktoken庫(kù)直接加載 GPT-2 的 BPE 編碼核心調(diào)用只有一行import tiktoken tokenizer tiktoken.get_encoding(gpt2)該編碼的詞表大小為50257tokenizer.n_vocab即返回此值見 test_ch02.py其中包含 256 個(gè)原始字節(jié) token、約 5 萬(wàn)個(gè)合并后的子詞 token 以及 1 個(gè)特殊 token|endoftext|。編碼/解碼示例如下輸出與 compare-bpe-tiktoken.ipynb 中的運(yùn)行結(jié)果一致text Hello, world. Is this-- a test? integers tokenizer.encode(text, allowed_special{|endoftext|}) print(integers) # [15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30] print(tokenizer.decode(integers)) # Hello, world. Is this-- a test?注意allowed_special{|endoftext|}默認(rèn)情況下tiktoken遇到特殊 token 會(huì)報(bào)錯(cuò)此參數(shù)顯式聲明該文本允許出現(xiàn)|endoftext|分隔符訓(xùn)練時(shí)可用于拼接多篇文檔。數(shù)據(jù)集構(gòu)造滑動(dòng)窗口生成輸入/目標(biāo)對(duì)分詞之后章節(jié)用自定義Dataset類把整本書切分為重疊的定長(zhǎng)序列。倉(cāng)庫(kù)中的可執(zhí)行實(shí)現(xiàn)位于 pkg/llms_from_scratch/ch02.py與 Notebook 完全一致核心邏輯如下class GPTDatasetV1(Dataset): def __init__(self, txt, tokenizer, max_length, stride): self.tokenizer tokenizer self.input_ids [] self.target_ids [] # Tokenize the entire text token_ids tokenizer.encode(txt, allowed_special{|endoftext|}) # Use a sliding window to chunk the book into overlapping sequences for i in range(0, len(token_ids) - max_length, stride): input_chunk token_ids[i:i max_length] target_chunk token_ids[i 1: i max_length 1] self.input_ids.append(torch.tensor(input_chunk)) self.target_ids.append(torch.tensor(target_chunk)) def __len__(self): return len(self.input_ids) def __getitem__(self, idx): return self.input_ids[idx], self.target_ids[idx]關(guān)鍵設(shè)計(jì)是目標(biāo)序列相對(duì)輸入序列右移一個(gè) tokeninput_chunk取[i, imax_length)target_chunk取[i1, imax_length1)。這樣每個(gè)樣本都天然構(gòu)成預(yù)測(cè)下一個(gè) token的訓(xùn)練對(duì)是自回歸語(yǔ)言模型監(jiān)督信號(hào)的來(lái)源也解釋了為什么必須用stride步長(zhǎng)小于max_length的滑動(dòng)窗口——讓相鄰窗口重疊使每個(gè)位置都有機(jī)會(huì)作為被預(yù)測(cè)的目標(biāo)出現(xiàn)。數(shù)據(jù)加載器create_dataloader_v1 參數(shù)全解def create_dataloader_v1(txt, batch_size4, max_length256, stride128, shuffleTrue, drop_lastTrue, num_workers0): tokenizer tiktoken.get_encoding(gpt2) dataset GPTDatasetV1(txt, tokenizer, max_length, stride) dataloader DataLoader( dataset, batch_sizebatch_size, shuffleshuffle, drop_lastdrop_last, num_workersnum_workers) return dataloader各參數(shù)含義與默認(rèn)值如下參數(shù)默認(rèn)值作用txt必填原始文本字符串通常由open(the-verdict.txt).read()讀入batch_size4每個(gè) batch 的樣本數(shù)決定梯度更新粒度與顯存占用max_length256每個(gè)樣本的 token 長(zhǎng)度上下文窗口對(duì)應(yīng)后續(xù)模型的context_lengthstride128滑動(dòng)窗口步長(zhǎng)小于max_length時(shí)窗口重疊樣本量增加shuffleTrue訓(xùn)練時(shí)打亂樣本順序避免模型學(xué)到文檔順序偏差drop_lastTrue丟棄無(wú)法湊滿一個(gè) batch 的末尾樣本保證張量形狀整齊num_workers0DataLoader 子進(jìn)程數(shù)0 表示在主進(jìn)程加載簡(jiǎn)單場(chǎng)景推薦嵌入層token 嵌入 位置嵌入數(shù)據(jù)準(zhǔn)備好之后章節(jié)用兩個(gè)nn.Embedding層把整數(shù) ID 變成向量見 dataloader.ipynb 與測(cè)試 test_ch02.pyvocab_size 50257 output_dim 256 context_length 1024 token_embedding_layer torch.nn.Embedding(vocab_size, output_dim) # token - 向量 pos_embedding_layer torch.nn.Embedding(context_length, output_dim) # 位置 - 向量 batch_size 8 max_length 4 dataloader create_dataloader_v1(raw_text, batch_sizebatch_size, max_lengthmax_length, stridemax_length) for x, y in dataloader: token_embeddings token_embedding_layer(x) pos_embeddings pos_embedding_layer(torch.arange(max_length)) input_embeddings token_embeddings pos_embeddings break print(input_embeddings.shape) # torch.Size([8, 4, 256])token 嵌入層nn.Embedding(50257, 256)維護(hù)一張 50257×256 的可學(xué)習(xí)查表把每個(gè) token ID 映射為 256 維向量位置嵌入層nn.Embedding(1024, 256)為序列中每個(gè)絕對(duì)位置提供 256 維向量。位置向量由torch.arange(max_length)一次性生成對(duì)所有 batch 共享二者逐元素相加后得到形狀[8, 4, 256]batch × 序列長(zhǎng)度 × 嵌入維度的模型輸入這是后續(xù) Transformer 各層的標(biāo)準(zhǔn)入口張量。這一token 嵌入 位置嵌入疊加的輸入構(gòu)造方式與 pkg/llms_from_scratch/ch04.py 中 GPT 模型接收的輸入格式一脈相承是第 4 章搭建完整 GPT 架構(gòu)的直接前置。補(bǔ)充材料一BPE 編碼器實(shí)現(xiàn)基準(zhǔn)對(duì)比ch02/02_bonus_bytepair-encoder 提供了一份對(duì)三種 BPE 實(shí)現(xiàn)逐一 benchmark 的 Notebookcompare-bpe-tiktoken.ipynb核心對(duì)比腳本依次演示并計(jì)時(shí)三種實(shí)現(xiàn)tiktokentiktoken.get_encoding(gpt2)OpenAI 官方維護(hù)的高性能 BPE 實(shí)現(xiàn)OpenAI 原始實(shí)現(xiàn)導(dǎo)入 bpe_openai_gpt2.py 中的get_encoder先執(zhí)行download_vocab()下載詞表再以get_encoder(model_namegpt2_model, models_dir.)加載Hugging Face transformersGPT2Tokenizer.from_pretrained(gpt2)需transformers4.33.2。bpe_openai_gpt2.pyOpenAI GPT-2 倉(cāng)庫(kù)原版encoder.py的完整移植含bytes_to_unicode()、get_pairs()、Encoder類等核心邏輯是理解 BPE 算法細(xì)節(jié)的權(quán)威參考gpt2_model預(yù)下載的 GPT-2 詞表文件包含encoder.jsontoken 到 ID 的映射與vocab.bpeBPE 合并規(guī)則使原始實(shí)現(xiàn)無(wú)需聯(lián)網(wǎng)即可加載requirements-extra.txtrequests、tqdm、transformers4.33.2運(yùn)行對(duì)比 Notebook 前執(zhí)行pip install -r requirements-extra.txt安裝。三種實(shí)現(xiàn)對(duì)同一文本的編碼結(jié)果完全一致[15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30]證明它們等價(jià)差異主要體現(xiàn)在代碼復(fù)雜度和運(yùn)行速度上這正是 benchmark 的目的所在。補(bǔ)充材料二Embedding 層與全連接層的等價(jià)性ch02/03_bonus_embedding-vs-matmul/embeddings-and-linear-layers.ipynb 用實(shí)驗(yàn)證明一個(gè)常被忽略的數(shù)學(xué)事實(shí)嵌入層等價(jià)于作用在一熱編碼one-hot向量上的全連接層。具體而言nn.Embedding相當(dāng)于一個(gè)權(quán)重矩陣為嵌入表的線性層輸入經(jīng)過(guò) one-hot 編碼后做矩陣乘法結(jié)果只是挑出權(quán)重矩陣中對(duì)應(yīng)的一行。由于 one-hot 向量中只有一個(gè) 1全連接層的輸出恰好等于嵌入表對(duì)應(yīng)行的復(fù)制。該 Notebook 用簡(jiǎn)單數(shù)值演示了這種等價(jià)性幫助讀者理解為什么實(shí)際實(shí)現(xiàn)都采用查表式的nn.Embedding而非顯式的 one-hot 線性層——后者在詞表規(guī)模如 50257下會(huì)浪費(fèi)大量?jī)?nèi)存與算力。補(bǔ)充材料三用數(shù)字直覺理解數(shù)據(jù)加載器ch02/04_bonus_dataloader-intuition/dataloader-intuition.ipynb 把主章節(jié)的文本數(shù)據(jù)加載邏輯降維到最簡(jiǎn)單的場(chǎng)景用一組普通數(shù)字而非文本演示滑動(dòng)窗口、輸入/目標(biāo)偏移和 batch 組裝過(guò)程。通過(guò)觀察數(shù)字序列如何被切分為x輸入與y目標(biāo)讀者可以脫離 tokenizer 的干擾直觀理解max_length與stride如何決定樣本數(shù)量與重疊程度從而真正吃透GPTDatasetV1的切片邏輯。這是主章節(jié)數(shù)據(jù)流水線的最佳入門補(bǔ)充。補(bǔ)充材料四從零實(shí)現(xiàn)并訓(xùn)練 GPT-2 BPE tokenizerch02/05_bpe-from-scratch 是本章最有深度的補(bǔ)充材料包含兩套從零實(shí)現(xiàn) BPE 的 Notebookbpe-from-scratch-simple.ipynb為可讀性優(yōu)先設(shè)計(jì)的簡(jiǎn)化版。它逐步展示 BPE 的核心流程——從統(tǒng)計(jì)相鄰字符對(duì)頻次、迭代合并最高頻對(duì)到把合并規(guī)則應(yīng)用于新文本讓讀者在幾十行代碼內(nèi)看清 BPE 的完整機(jī)制bpe-from-scratch.ipynb功能完備的進(jìn)階版行為上與tiktoken高度一致覆蓋各類邊界情況如 Unicode 字節(jié)映射、特殊 token 處理等并額外支持加載官方 GPT-2 詞表encoder.jsonvocab.bpetests.py配套測(cè)試驗(yàn)證自研 tokenizer 與參考實(shí)現(xiàn)的行為一致性。從訓(xùn)練一個(gè) tokenizer的角度這兩份 Notebook 完整覆蓋了 BPE 的兩個(gè)階段訓(xùn)練階段統(tǒng)計(jì)語(yǔ)料、學(xué)習(xí)合并規(guī)則與推理階段用學(xué)到的規(guī)則編碼新文本是對(duì)主章節(jié)直接使用 tiktoken做法的底層拆解。補(bǔ)充材料五Simple Tokenizer v3ch02/06_bonus_simple-tokenizer-v3/simple-tokenizer-v3.ipynb 提供了一個(gè)自研的輕量 tokenizer 第三版。與依賴tiktoken的主章節(jié)實(shí)現(xiàn)不同它完全基于 Python 標(biāo)準(zhǔn)庫(kù)實(shí)現(xiàn)分詞邏輯不依賴 OpenAI 的 BPE 詞表適合在無(wú)法安裝第三方庫(kù)的環(huán)境中使用或作為理解tokenizer 內(nèi)部到底做了什么的教學(xué)工具。倉(cāng)庫(kù)中的可運(yùn)行版本pkg 包與測(cè)試驗(yàn)證除 Notebook 外倉(cāng)庫(kù)把第 2 章核心代碼抽離為可直接導(dǎo)入的 Python 模塊方便在腳本與測(cè)試中復(fù)用pkg/llms_from_scratch/ch02.pyGPTDatasetV1與create_dataloader_v1的獨(dú)立可執(zhí)行版本簽名與 Notebook 完全一致pkg/llms_from_scratch/tests/test_ch02.py端到端測(cè)試用the-verdict.txt構(gòu)建 DataLoader驗(yàn)證 token/位置嵌入疊加后張量形狀為[8, 4, 256]并確認(rèn)vocab_size50257、context_length1024等關(guān)鍵超參。該測(cè)試同時(shí)演示了標(biāo)準(zhǔn)使用流程create_dataloader_v1(raw_text, batch_size8, max_length4, stride4)遍歷得到(x, y)批次后分別過(guò) token 與位置嵌入層求和。若從源碼克隆本倉(cāng)庫(kù)可直接在pkg/目錄下運(yùn)行測(cè)試驗(yàn)證本章實(shí)現(xiàn)。小結(jié)第 2 章處理文本數(shù)據(jù)打通了從原始文本到模型輸入張量的完整鏈路tiktoken負(fù)責(zé) BPE 分詞50257 詞表GPTDatasetV1create_dataloader_v1用滑動(dòng)窗口生成輸入/目標(biāo)對(duì)nn.Embedding完成 token 與位置的向量化。五份補(bǔ)充材料則從不同維度深化理解BPE 三種實(shí)現(xiàn)基準(zhǔn)對(duì)比、Embedding 與 MatMul 的數(shù)學(xué)等價(jià)、數(shù)字版數(shù)據(jù)加載器直覺、從零訓(xùn)練 BPE tokenizer以及輕量自研 tokenizer。掌握本章后你便擁有了訓(xùn)練自建 LLM 的第一塊基石可以無(wú)縫進(jìn)入第 3 章的多頭注意力機(jī)制與第 4 章的完整 GPT 架構(gòu)搭建。贊分享示例工程大模型人工智能【免費(fèi)下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項(xiàng)目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南 BrewUIHomebrew 官方 macOS 圖形界面應(yīng)用桌面應(yīng)用開發(fā)工具用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs-from-scratch 滑動(dòng)窗口采樣實(shí)戰(zhàn)指南用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs from scratch 滑動(dòng)窗口采樣實(shí)戰(zhàn)指南 導(dǎo)讀 本篇技術(shù)指南聚焦于 LLMs from scratch示例工程大模型人工智能LLMs-from-scratch數(shù)據(jù)加載器實(shí)現(xiàn)高效文本數(shù)據(jù)處理技巧LLMs from scratch數(shù)據(jù)加載器實(shí)現(xiàn)高效文本數(shù)據(jù)處理技巧 痛點(diǎn)與解決方案 你是否在訓(xùn)練大型語(yǔ)言模型LLM時(shí)遇到過(guò)文本數(shù)據(jù)處理效率低下的問(wèn)題是示例工程大模型人工智能上一篇Impeccable Finish Reviewer讀懂 Impeccable 終審機(jī)制——從證據(jù)校驗(yàn)、保真度矩陣到四詞裁決的設(shè)計(jì)交付門禁下一篇3DS游戲文件處理神器輕松解密與下載CIA文件創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 LLMs-from-scratch 第 2 章精講：處理文本數(shù)據(jù)——BPE 分詞、滑動(dòng)窗口數(shù)據(jù)加載與嵌入層
示例工程大模型人工智能【免費(fèi)下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項(xiàng)目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點(diǎn)擊查看免費(fèi)下載本文以 ch02/README.md 為骨架系統(tǒng)梳理《Build a Large Language Model From Scratch》第 2 章Working with Text Data在 LLMs-from-scratch 倉(cāng)庫(kù)中的全部代碼資產(chǎn)主章節(jié)的 BPE 分詞與數(shù)據(jù)加載流水線以及 5 份補(bǔ)充材料BPE 編碼器基準(zhǔn)對(duì)比、Embedding 與 MatMul 等價(jià)性、直覺化數(shù)據(jù)加載器、從零訓(xùn)練 BPE tokenizer 等。讀完本文你將掌握如何把任意原始文本轉(zhuǎn)換為 LLM 可消費(fèi)的 token ID 序列、如何構(gòu)造帶輸入/目標(biāo)對(duì)的滑動(dòng)窗口數(shù)據(jù)集并理解 token 嵌入與位置嵌入的底層原理。章節(jié)定位為什么訓(xùn)練 LLM 要先處理文本數(shù)據(jù)第 2 章是整本書從零構(gòu)建 GPT 式 LLM 的數(shù)據(jù)地基。在進(jìn)入多頭注意力、Transformer 塊等模型結(jié)構(gòu)第 3、4 章之前必須先解決一個(gè)根本問(wèn)題模型只能處理數(shù)字無(wú)法直接讀取字符。因此本章圍繞三條主線展開分詞Tokenization把原始文本切分成 token再映射為整數(shù) ID數(shù)據(jù)加載Data Loading把 token 序列組織成帶輸入-目標(biāo)配對(duì)、可批量訓(xùn)練的樣本嵌入Embedding把 token ID 變成模型可計(jì)算的稠密向量并疊加位置信息。倉(cāng)庫(kù)中 ch02/README.md 將全部?jī)?nèi)容劃分為主章節(jié)代碼與補(bǔ)充材料兩部分下文逐一展開。主章節(jié)代碼完整實(shí)現(xiàn)與最小流水線主章節(jié)代碼位于 ch02/01_main-chapter-code 目錄包含三份文件ch02.ipynb包含章節(jié)正文出現(xiàn)的全部代碼是本章的權(quán)威實(shí)現(xiàn)exercise-solutions.ipynb章節(jié)練習(xí)的參考解答dataloader.ipynb跳過(guò)中間推導(dǎo)步驟、只保留核心數(shù)據(jù)加載流水線的最小化 Notebook適合快速回顧主線配套語(yǔ)料the-verdict.txt章節(jié)用來(lái)做實(shí)驗(yàn)的短篇英文文本Edith Wharton 的《The Verdict》全書前幾章均以它為演示語(yǔ)料。分詞用 tiktoken 加載 GPT-2 的 BPE 詞表章節(jié)采用 OpenAI 的tiktoken庫(kù)直接加載 GPT-2 的 BPE 編碼核心調(diào)用只有一行import tiktoken tokenizer tiktoken.get_encoding(gpt2)該編碼的詞表大小為50257tokenizer.n_vocab即返回此值見 test_ch02.py其中包含 256 個(gè)原始字節(jié) token、約 5 萬(wàn)個(gè)合并后的子詞 token 以及 1 個(gè)特殊 token|endoftext|。編碼/解碼示例如下輸出與 compare-bpe-tiktoken.ipynb 中的運(yùn)行結(jié)果一致text Hello, world. Is this-- a test? integers tokenizer.encode(text, allowed_special{|endoftext|}) print(integers) # [15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30] print(tokenizer.decode(integers)) # Hello, world. Is this-- a test?注意allowed_special{|endoftext|}默認(rèn)情況下tiktoken遇到特殊 token 會(huì)報(bào)錯(cuò)此參數(shù)顯式聲明該文本允許出現(xiàn)|endoftext|分隔符訓(xùn)練時(shí)可用于拼接多篇文檔。數(shù)據(jù)集構(gòu)造滑動(dòng)窗口生成輸入/目標(biāo)對(duì)分詞之后章節(jié)用自定義Dataset類把整本書切分為重疊的定長(zhǎng)序列。倉(cāng)庫(kù)中的可執(zhí)行實(shí)現(xiàn)位于 pkg/llms_from_scratch/ch02.py與 Notebook 完全一致核心邏輯如下class GPTDatasetV1(Dataset): def __init__(self, txt, tokenizer, max_length, stride): self.tokenizer tokenizer self.input_ids [] self.target_ids [] # Tokenize the entire text token_ids tokenizer.encode(txt, allowed_special{|endoftext|}) # Use a sliding window to chunk the book into overlapping sequences for i in range(0, len(token_ids) - max_length, stride): input_chunk token_ids[i:i max_length] target_chunk token_ids[i 1: i max_length 1] self.input_ids.append(torch.tensor(input_chunk)) self.target_ids.append(torch.tensor(target_chunk)) def __len__(self): return len(self.input_ids) def __getitem__(self, idx): return self.input_ids[idx], self.target_ids[idx]關(guān)鍵設(shè)計(jì)是目標(biāo)序列相對(duì)輸入序列右移一個(gè) tokeninput_chunk取[i, imax_length)target_chunk取[i1, imax_length1)。這樣每個(gè)樣本都天然構(gòu)成預(yù)測(cè)下一個(gè) token的訓(xùn)練對(duì)是自回歸語(yǔ)言模型監(jiān)督信號(hào)的來(lái)源也解釋了為什么必須用stride步長(zhǎng)小于max_length的滑動(dòng)窗口——讓相鄰窗口重疊使每個(gè)位置都有機(jī)會(huì)作為被預(yù)測(cè)的目標(biāo)出現(xiàn)。數(shù)據(jù)加載器create_dataloader_v1 參數(shù)全解def create_dataloader_v1(txt, batch_size4, max_length256, stride128, shuffleTrue, drop_lastTrue, num_workers0): tokenizer tiktoken.get_encoding(gpt2) dataset GPTDatasetV1(txt, tokenizer, max_length, stride) dataloader DataLoader( dataset, batch_sizebatch_size, shuffleshuffle, drop_lastdrop_last, num_workersnum_workers) return dataloader各參數(shù)含義與默認(rèn)值如下參數(shù)默認(rèn)值作用txt必填原始文本字符串通常由open(the-verdict.txt).read()讀入batch_size4每個(gè) batch 的樣本數(shù)決定梯度更新粒度與顯存占用max_length256每個(gè)樣本的 token 長(zhǎng)度上下文窗口對(duì)應(yīng)后續(xù)模型的context_lengthstride128滑動(dòng)窗口步長(zhǎng)小于max_length時(shí)窗口重疊樣本量增加shuffleTrue訓(xùn)練時(shí)打亂樣本順序避免模型學(xué)到文檔順序偏差drop_lastTrue丟棄無(wú)法湊滿一個(gè) batch 的末尾樣本保證張量形狀整齊num_workers0DataLoader 子進(jìn)程數(shù)0 表示在主進(jìn)程加載簡(jiǎn)單場(chǎng)景推薦嵌入層token 嵌入 位置嵌入數(shù)據(jù)準(zhǔn)備好之后章節(jié)用兩個(gè)nn.Embedding層把整數(shù) ID 變成向量見 dataloader.ipynb 與測(cè)試 test_ch02.pyvocab_size 50257 output_dim 256 context_length 1024 token_embedding_layer torch.nn.Embedding(vocab_size, output_dim) # token - 向量 pos_embedding_layer torch.nn.Embedding(context_length, output_dim) # 位置 - 向量 batch_size 8 max_length 4 dataloader create_dataloader_v1(raw_text, batch_sizebatch_size, max_lengthmax_length, stridemax_length) for x, y in dataloader: token_embeddings token_embedding_layer(x) pos_embeddings pos_embedding_layer(torch.arange(max_length)) input_embeddings token_embeddings pos_embeddings break print(input_embeddings.shape) # torch.Size([8, 4, 256])token 嵌入層nn.Embedding(50257, 256)維護(hù)一張 50257×256 的可學(xué)習(xí)查表把每個(gè) token ID 映射為 256 維向量位置嵌入層nn.Embedding(1024, 256)為序列中每個(gè)絕對(duì)位置提供 256 維向量。位置向量由torch.arange(max_length)一次性生成對(duì)所有 batch 共享二者逐元素相加后得到形狀[8, 4, 256]batch × 序列長(zhǎng)度 × 嵌入維度的模型輸入這是后續(xù) Transformer 各層的標(biāo)準(zhǔn)入口張量。這一token 嵌入 位置嵌入疊加的輸入構(gòu)造方式與 pkg/llms_from_scratch/ch04.py 中 GPT 模型接收的輸入格式一脈相承是第 4 章搭建完整 GPT 架構(gòu)的直接前置。補(bǔ)充材料一BPE 編碼器實(shí)現(xiàn)基準(zhǔn)對(duì)比ch02/02_bonus_bytepair-encoder 提供了一份對(duì)三種 BPE 實(shí)現(xiàn)逐一 benchmark 的 Notebookcompare-bpe-tiktoken.ipynb核心對(duì)比腳本依次演示并計(jì)時(shí)三種實(shí)現(xiàn)tiktokentiktoken.get_encoding(gpt2)OpenAI 官方維護(hù)的高性能 BPE 實(shí)現(xiàn)OpenAI 原始實(shí)現(xiàn)導(dǎo)入 bpe_openai_gpt2.py 中的get_encoder先執(zhí)行download_vocab()下載詞表再以get_encoder(model_namegpt2_model, models_dir.)加載Hugging Face transformersGPT2Tokenizer.from_pretrained(gpt2)需transformers4.33.2。bpe_openai_gpt2.pyOpenAI GPT-2 倉(cāng)庫(kù)原版encoder.py的完整移植含bytes_to_unicode()、get_pairs()、Encoder類等核心邏輯是理解 BPE 算法細(xì)節(jié)的權(quán)威參考gpt2_model預(yù)下載的 GPT-2 詞表文件包含encoder.jsontoken 到 ID 的映射與vocab.bpeBPE 合并規(guī)則使原始實(shí)現(xiàn)無(wú)需聯(lián)網(wǎng)即可加載requirements-extra.txtrequests、tqdm、transformers4.33.2運(yùn)行對(duì)比 Notebook 前執(zhí)行pip install -r requirements-extra.txt安裝。三種實(shí)現(xiàn)對(duì)同一文本的編碼結(jié)果完全一致[15496, 11, 995, 13, 1148, 428, 438, 257, 1332, 30]證明它們等價(jià)差異主要體現(xiàn)在代碼復(fù)雜度和運(yùn)行速度上這正是 benchmark 的目的所在。補(bǔ)充材料二Embedding 層與全連接層的等價(jià)性ch02/03_bonus_embedding-vs-matmul/embeddings-and-linear-layers.ipynb 用實(shí)驗(yàn)證明一個(gè)常被忽略的數(shù)學(xué)事實(shí)嵌入層等價(jià)于作用在一熱編碼one-hot向量上的全連接層。具體而言nn.Embedding相當(dāng)于一個(gè)權(quán)重矩陣為嵌入表的線性層輸入經(jīng)過(guò) one-hot 編碼后做矩陣乘法結(jié)果只是挑出權(quán)重矩陣中對(duì)應(yīng)的一行。由于 one-hot 向量中只有一個(gè) 1全連接層的輸出恰好等于嵌入表對(duì)應(yīng)行的復(fù)制。該 Notebook 用簡(jiǎn)單數(shù)值演示了這種等價(jià)性幫助讀者理解為什么實(shí)際實(shí)現(xiàn)都采用查表式的nn.Embedding而非顯式的 one-hot 線性層——后者在詞表規(guī)模如 50257下會(huì)浪費(fèi)大量?jī)?nèi)存與算力。補(bǔ)充材料三用數(shù)字直覺理解數(shù)據(jù)加載器ch02/04_bonus_dataloader-intuition/dataloader-intuition.ipynb 把主章節(jié)的文本數(shù)據(jù)加載邏輯降維到最簡(jiǎn)單的場(chǎng)景用一組普通數(shù)字而非文本演示滑動(dòng)窗口、輸入/目標(biāo)偏移和 batch 組裝過(guò)程。通過(guò)觀察數(shù)字序列如何被切分為x輸入與y目標(biāo)讀者可以脫離 tokenizer 的干擾直觀理解max_length與stride如何決定樣本數(shù)量與重疊程度從而真正吃透GPTDatasetV1的切片邏輯。這是主章節(jié)數(shù)據(jù)流水線的最佳入門補(bǔ)充。補(bǔ)充材料四從零實(shí)現(xiàn)并訓(xùn)練 GPT-2 BPE tokenizerch02/05_bpe-from-scratch 是本章最有深度的補(bǔ)充材料包含兩套從零實(shí)現(xiàn) BPE 的 Notebookbpe-from-scratch-simple.ipynb為可讀性優(yōu)先設(shè)計(jì)的簡(jiǎn)化版。它逐步展示 BPE 的核心流程——從統(tǒng)計(jì)相鄰字符對(duì)頻次、迭代合并最高頻對(duì)到把合并規(guī)則應(yīng)用于新文本讓讀者在幾十行代碼內(nèi)看清 BPE 的完整機(jī)制bpe-from-scratch.ipynb功能完備的進(jìn)階版行為上與tiktoken高度一致覆蓋各類邊界情況如 Unicode 字節(jié)映射、特殊 token 處理等并額外支持加載官方 GPT-2 詞表encoder.jsonvocab.bpetests.py配套測(cè)試驗(yàn)證自研 tokenizer 與參考實(shí)現(xiàn)的行為一致性。從訓(xùn)練一個(gè) tokenizer的角度這兩份 Notebook 完整覆蓋了 BPE 的兩個(gè)階段訓(xùn)練階段統(tǒng)計(jì)語(yǔ)料、學(xué)習(xí)合并規(guī)則與推理階段用學(xué)到的規(guī)則編碼新文本是對(duì)主章節(jié)直接使用 tiktoken做法的底層拆解。補(bǔ)充材料五Simple Tokenizer v3ch02/06_bonus_simple-tokenizer-v3/simple-tokenizer-v3.ipynb 提供了一個(gè)自研的輕量 tokenizer 第三版。與依賴tiktoken的主章節(jié)實(shí)現(xiàn)不同它完全基于 Python 標(biāo)準(zhǔn)庫(kù)實(shí)現(xiàn)分詞邏輯不依賴 OpenAI 的 BPE 詞表適合在無(wú)法安裝第三方庫(kù)的環(huán)境中使用或作為理解tokenizer 內(nèi)部到底做了什么的教學(xué)工具。倉(cāng)庫(kù)中的可運(yùn)行版本pkg 包與測(cè)試驗(yàn)證除 Notebook 外倉(cāng)庫(kù)把第 2 章核心代碼抽離為可直接導(dǎo)入的 Python 模塊方便在腳本與測(cè)試中復(fù)用pkg/llms_from_scratch/ch02.pyGPTDatasetV1與create_dataloader_v1的獨(dú)立可執(zhí)行版本簽名與 Notebook 完全一致pkg/llms_from_scratch/tests/test_ch02.py端到端測(cè)試用the-verdict.txt構(gòu)建 DataLoader驗(yàn)證 token/位置嵌入疊加后張量形狀為[8, 4, 256]并確認(rèn)vocab_size50257、context_length1024等關(guān)鍵超參。該測(cè)試同時(shí)演示了標(biāo)準(zhǔn)使用流程create_dataloader_v1(raw_text, batch_size8, max_length4, stride4)遍歷得到(x, y)批次后分別過(guò) token 與位置嵌入層求和。若從源碼克隆本倉(cāng)庫(kù)可直接在pkg/目錄下運(yùn)行測(cè)試驗(yàn)證本章實(shí)現(xiàn)。小結(jié)第 2 章處理文本數(shù)據(jù)打通了從原始文本到模型輸入張量的完整鏈路tiktoken負(fù)責(zé) BPE 分詞50257 詞表GPTDatasetV1create_dataloader_v1用滑動(dòng)窗口生成輸入/目標(biāo)對(duì)nn.Embedding完成 token 與位置的向量化。五份補(bǔ)充材料則從不同維度深化理解BPE 三種實(shí)現(xiàn)基準(zhǔn)對(duì)比、Embedding 與 MatMul 的數(shù)學(xué)等價(jià)、數(shù)字版數(shù)據(jù)加載器直覺、從零訓(xùn)練 BPE tokenizer以及輕量自研 tokenizer。掌握本章后你便擁有了訓(xùn)練自建 LLM 的第一塊基石可以無(wú)縫進(jìn)入第 3 章的多頭注意力機(jī)制與第 4 章的完整 GPT 架構(gòu)搭建。贊分享示例工程大模型人工智能【免費(fèi)下載鏈接】LLMs-from-scratchImplement a ChatGPT-like LLM in PyTorch from scratch, step by step項(xiàng)目地址https://gitcode.com/GitHub_Trending/ll/LLMs-from-scratch點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南如何快速上手 BrewUI Discover搜索、瀏覽與安裝 Homebrew 包全流程指南 BrewUIHomebrew 官方 macOS 圖形界面應(yīng)用桌面應(yīng)用開發(fā)工具用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs-from-scratch 滑動(dòng)窗口采樣實(shí)戰(zhàn)指南用數(shù)字?jǐn)?shù)據(jù)直觀理解 LLM 數(shù)據(jù)加載器LLMs from scratch 滑動(dòng)窗口采樣實(shí)戰(zhàn)指南 導(dǎo)讀 本篇技術(shù)指南聚焦于 LLMs from scratch示例工程大模型人工智能LLMs-from-scratch數(shù)據(jù)加載器實(shí)現(xiàn)高效文本數(shù)據(jù)處理技巧LLMs from scratch數(shù)據(jù)加載器實(shí)現(xiàn)高效文本數(shù)據(jù)處理技巧 痛點(diǎn)與解決方案 你是否在訓(xùn)練大型語(yǔ)言模型LLM時(shí)遇到過(guò)文本數(shù)據(jù)處理效率低下的問(wèn)題是示例工程大模型人工智能上一篇Impeccable Finish Reviewer讀懂 Impeccable 終審機(jī)制——從證據(jù)校驗(yàn)、保真度矩陣到四詞裁決的設(shè)計(jì)交付門禁下一篇3DS游戲文件處理神器輕松解密與下載CIA文件創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考