人工智能深度學(xué)習(xí)【免費(fèi)下載鏈接】torch-rechubA Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.項(xiàng)目地址https://gitcode.com/datawhalechina/torch-rechub點(diǎn)擊查看免費(fèi)下載Torch-RecHub 是一個(gè)輕量級(jí)的 PyTorch 推薦系統(tǒng)框架內(nèi)置了覆蓋排序、召回、多任務(wù)與生成式推薦 4 大場(chǎng)景的 10 經(jīng)典數(shù)據(jù)集MovieLens、Criteo、Avazu、Amazon、Ali-CCP、YOOCHOOSE 等并附帶開箱即用的預(yù)處理腳本與樣例數(shù)據(jù)。本文將帶你完整梳理 Torch-RecHub 支持的數(shù)據(jù)集清單并手把手演示各數(shù)據(jù)集的預(yù)處理實(shí)戰(zhàn)流程讓你零基礎(chǔ)上手推薦模型訓(xùn)練。 Torch-RecHub 數(shù)據(jù)集總覽Torch-RecHub 的數(shù)據(jù)集按任務(wù)場(chǎng)景組織在examples/目錄下每個(gè)數(shù)據(jù)集都提供預(yù)處理腳本 樣例 CSV 訓(xùn)練入口三件套。全部清單如下場(chǎng)景數(shù)據(jù)集規(guī)模/特點(diǎn)預(yù)處理腳本排序Criteo13 dense 26 sparseCTR 基準(zhǔn)run_criteo.py排序Avazu約 4000W 樣本11 天廣告日志download_avazu.py排序Amazon-Electronics19W 用戶、6W 商品preprocess_amazon_electronics.py排序Amazon-Books / Beauty書評(píng)/美妝類目交互數(shù)據(jù)preprocess_amazon_books.py排序Ali-CCP淘寶23 sparse 8 dense點(diǎn)擊購買雙標(biāo)簽preprocess_ali_ccp.py排序AliExpress16 sparse 63 dense曝光/點(diǎn)擊/轉(zhuǎn)化三標(biāo)簽run_aliexpress.py排序Census-Income41 列7 dense 33 sparsepreprocess_census.py召回MovieLens-1M9 個(gè) sparse 特征 用戶觀看序列preprocess_ml.py召回一點(diǎn)資訊YiDian News22 列含設(shè)備/地域/文章特征preprocess.py召回Million Song Dataset百萬級(jí)用戶歌曲播放記錄process_msd.py召回YOOCHOOSE / Diginetica電商點(diǎn)擊流Session-based 基準(zhǔn)preprocess_session_based.py生成式Amazon-Books / MovieLens-1MHSTU/HLLM/TIGER 序列格式preprocess_ml_hstu.py 每個(gè)數(shù)據(jù)目錄中都內(nèi)置了_sample.csv樣例數(shù)據(jù)如 criteo_sample.csv下載全量數(shù)據(jù)前即可先跑通完整流程。 排序Ranking數(shù)據(jù)集實(shí)戰(zhàn)排序任務(wù)是最常見的 CTR 預(yù)估場(chǎng)景examples/ranking/README.md 中給出了各數(shù)據(jù)集的詳細(xì)說明與基準(zhǔn)結(jié)果。CriteoCTR 預(yù)估的經(jīng)典基準(zhǔn)Criteo 是 Criteo Labs 發(fā)布的在線廣告數(shù)據(jù)集包含數(shù)百萬條廣告點(diǎn)擊反饋記錄共 40 個(gè)特征13 個(gè) dense 26 個(gè) sparse第一列為點(diǎn)擊標(biāo)簽。它的預(yù)處理邏輯內(nèi)嵌在訓(xùn)練腳本中核心步驟按列名前綴區(qū)分特征類型I開頭為 denseC開頭為 sparsedense 特征先做MinMaxScaler歸一化并額外離散化為新的 sparse 特征sparse 特征用LabelEncoder編碼用SparseFeature/DenseFeature定義特征元信息交給DataGenerator切分?jǐn)?shù)據(jù)訓(xùn)練一條命令即可啟動(dòng)python run_criteo.py --model_name widedeep python run_criteo.py --model_name deepfm完整實(shí)現(xiàn)見 run_criteo.py其中g(shù)et_criteo_data_dict函數(shù)就是 Criteo 數(shù)據(jù)集預(yù)處理的標(biāo)準(zhǔn)范式。Avazu千萬級(jí)樣本的大數(shù)據(jù)量挑戰(zhàn)Avazu 是 Kaggle 經(jīng)典賽題數(shù)據(jù)集包含 11 天廣告數(shù)據(jù)train 約 4000W 樣本。由于 Kaggle 的 test 集缺少 label官方推薦按 7:1:2 劃分訓(xùn)練/驗(yàn)證/測(cè)試集。倉庫提供了帶進(jìn)度條的自動(dòng)下載腳本cd examples/ranking/data/avazu python download_avazu.py # 自動(dòng)下載并解壓 625MB 的預(yù)處理數(shù)據(jù)Amazon 系列從 JSON 評(píng)論到訓(xùn)練數(shù)據(jù)Amazon 2014 評(píng)論數(shù)據(jù)集按商品類目拆分Torch-RecHub 覆蓋了 Electronics19W 用戶、Beauty120W 用戶、Books800W 用戶三個(gè)類目。原始數(shù)據(jù)是 json 行格式包含 reviews用戶交互日志和 meta商品側(cè)特征兩個(gè)文件預(yù)處理腳本 preprocess_amazon_electronics.py 演示了完整處理鏈路逐行解析 json 為 DataFrame僅保留user_id、item_id、cate_id、time四列用build_map函數(shù)對(duì)商品 ID 和類目做 Label Encode按user_id 時(shí)間戳排序便于構(gòu)造序列特征python run_amazon_electronics.py # 用樣例數(shù)據(jù)跑 DIN 模型Ali-CCP 與 Census-Income多任務(wù)學(xué)習(xí)的標(biāo)準(zhǔn)配置Ali-CCP淘寶推薦日志包含 25W 用戶、8000W 條數(shù)據(jù)含點(diǎn)擊與購買兩個(gè)標(biāo)簽是多任務(wù)模型AITM、ESMM、MMOE、PLE的標(biāo)準(zhǔn)評(píng)測(cè)集。其 preprocess_ali_ccp.py 處理了真實(shí)的工業(yè)級(jí)格式原始特征以\x01/\x02/\x03分隔符編碼腳本負(fù)責(zé)解析、sparse 特征 Label Encode、dense 特征 MinMax 歸一化并將測(cè)試集隨機(jī)劃分一半作為驗(yàn)證集最終 2:1:1。Census-Income美國(guó)人口普查收入數(shù)據(jù)則是最小化的多任務(wù)入門集預(yù)處理后 41 列7 dense 33 sparse。preprocess_census.py 的套路非常干凈——類別列LabelEncoder、連續(xù)列MinMaxScaler、收入標(biāo)簽映射為 0/1python run_census.py --model_name MMOE python run_census.py --model_name PLE 召回Matching數(shù)據(jù)集實(shí)戰(zhàn)MovieLens-1M召回模型的第一站MovieLens-1M 是召回任務(wù)的入門首選preprocess_ml.py 僅十幾行代碼就完成了核心工作讀取users.dat、ratings.dat、movies.dat三個(gè)文件注意::分隔符和ISO-8859-1編碼三表 merge 后輸出統(tǒng)一寬表。之后在 run_ml_dssm.py 中框架工具函數(shù)generate_seq_feature_match會(huì)自動(dòng)構(gòu)造用戶觀看歷史序列特征hist_movie_id、隨機(jī)負(fù)采樣生成訓(xùn)練樣本、并把每個(gè)用戶最后一條記錄切為測(cè)試集——這正是召回?cái)?shù)據(jù)集預(yù)處理的三大關(guān)鍵步驟。YOOCHOOSE 與 DigineticaSession-based 推薦基準(zhǔn)這兩個(gè)電商點(diǎn)擊流數(shù)據(jù)集是 NARM、STAMP 等序列推薦論文的基準(zhǔn)。preprocess_session_based.py 用一套可配置的流水線同時(shí)兼容兩者按DATA_CONFIGS適配不同的分隔符與時(shí)間格式然后執(zhí)行標(biāo)準(zhǔn)清洗——filter_by_session_len過濾長(zhǎng)度小于 2 的 sessionfilter_by_min_item_freq過濾出現(xiàn)次數(shù)不足 5 的商品split_train_test按時(shí)間測(cè)試取最后 7 天切分訓(xùn)練/測(cè)試集Million Song Dataset音樂推薦的長(zhǎng)尾處理MSD 包含百萬用戶對(duì)幾十萬首歌曲的播放記錄。process_msd.py 展示了大文件 長(zhǎng)尾過濾的典型做法只讀取 50W 行做實(shí)驗(yàn)、對(duì)用戶/歌曲 ID 做 Label Encode、剔除播放量低于閾值用戶 100、歌曲 50的長(zhǎng)尾對(duì)象最后關(guān)聯(lián) sqlite 中的歌曲元信息。 生成式推薦HSTU / HLLM / TIGER 的數(shù)據(jù)準(zhǔn)備生成式推薦對(duì)數(shù)據(jù)的格式要求不同需要將交互記錄整理成用戶級(jí)時(shí)間序列。preprocess_ml_hstu.py 支持自動(dòng)下載 MovieLens-1M然后按用戶構(gòu)建交互序列 → 按時(shí)間戳排序 → 用滑動(dòng)窗口策略為每個(gè)用戶生成多個(gè)訓(xùn)練樣本大幅提升訓(xùn)練數(shù)據(jù)量→ 在用戶級(jí)別切分 train/val/test最終輸出seq_tokens、seq_time_diffs、targets等字段。preprocess_amazon_books.py 則演示了 HLLM 的 Amazon Books 數(shù)據(jù)準(zhǔn)備支持raw原始數(shù)據(jù)與bytedance官方處理后數(shù)據(jù)兩種來源過濾交互次數(shù)不足 5 的用戶和物品python preprocess_amazon_books.py --data_source bytedance --output_dir ./processed 預(yù)處理通用技巧與數(shù)據(jù)流水線通讀各數(shù)據(jù)集腳本后可以發(fā)現(xiàn)Torch-RecHub 的數(shù)據(jù)預(yù)處理收斂為 5 個(gè)標(biāo)準(zhǔn)動(dòng)作統(tǒng)一寬表把多來源文件 merge 成一行一樣本的 CSVLabel Encode所有 sparse/類別特征含 user_id、item_id離散化為整數(shù)并記錄vocab_size歸一化dense 特征用MinMaxScaler縮放到 [0,1]序列構(gòu)造按用戶分組 時(shí)間戳排序生成歷史行為序列SequenceFeature見 features.py切分與加載交給 data.py 中的DataGenerator排序/多任務(wù)或MatchDataGenerator召回生成 DataLoadersplit_ratio[0.7, 0.1]即 7:1:2 切分更多數(shù)據(jù)流水線細(xì)節(jié)可參考官方文檔 core/data.md。 快速上手三步跑通第一個(gè)實(shí)驗(yàn)# 1. 克隆倉庫 git clone https://gitcode.com/datawhalechina/torch-rechub cd torch-rechub # 2. 用內(nèi)置樣例數(shù)據(jù)跑 Criteo DeepFM無需下載全量數(shù)據(jù) cd examples/ranking python run_criteo.py --model_name deepfm # 3. 或用 MovieLens 樣例數(shù)據(jù)跑召回模型 cd ../matching python run_ml_dssm.py小結(jié)Torch-RecHub 的數(shù)據(jù)集生態(tài)覆蓋了從百萬級(jí)到千萬級(jí)、從單任務(wù) CTR 到多任務(wù)、序列與生成式推薦的全部主流場(chǎng)景。新手建議從 Criteo / MovieLens-1M 的樣例數(shù)據(jù)起步跑通流程后再替換為全量數(shù)據(jù)即可復(fù)用本文的預(yù)處理套路開展自己的推薦實(shí)驗(yàn)。贊分享人工智能深度學(xué)習(xí)【免費(fèi)下載鏈接】torch-rechubA Lighting Pytorch Framework for Recommendation Models, Easy-to-use and Easy-to-extend.項(xiàng)目地址https://gitcode.com/datawhalechina/torch-rechub點(diǎn)擊查看免費(fèi)下載相關(guān)推薦終極指南使用Fusion 360插件優(yōu)化3D打印螺紋設(shè)計(jì)的完整教程終極指南使用Fusion 360插件優(yōu)化3D打印螺紋設(shè)計(jì)的完整教程 在3D打印領(lǐng)域標(biāo)準(zhǔn)60度V型螺紋往往難以完美打印這是因?yàn)樗鼈兊脑O(shè)計(jì)基于機(jī)械加工的公差要人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)分布式訓(xùn)練Recommenders數(shù)據(jù)準(zhǔn)備完全手冊(cè)處理MovieLens、MIND等流行數(shù)據(jù)集Recommenders數(shù)據(jù)準(zhǔn)備完全手冊(cè)處理MovieLens、MIND等流行數(shù)據(jù)集 推薦系統(tǒng)數(shù)據(jù)準(zhǔn)備是構(gòu)建高效推薦模型的關(guān)鍵第一步。Microsoft Re機(jī)器學(xué)習(xí)深度學(xué)習(xí)數(shù)據(jù)科學(xué)BasicSR數(shù)據(jù)集大全從DIV2K到Vimeo90K的完整預(yù)處理指南BasicSR數(shù)據(jù)集大全從DIV2K到Vimeo90K的完整預(yù)處理指南 BasicSR是一個(gè)強(qiáng)大的開源圖像和視頻恢復(fù)工具箱專門用于超分辨率、去噪、去模糊等任人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺圖像處理視頻處理創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考