使用pytorch加载非图像数据集方法总结.pdf

下载文档

0
0
约2.74万字
约 11页
2023-11-09 发布于广西
举报
版权申诉
保障服务

使用pytorch加载非图像数据集方法总结.pdf

1、本文档共11页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

使⽤pytorch加载⾮图像数据集⽅法总结本⽂主要介绍了使⽤加载⾮图像数据集的⽅法，包括：⾮图像数据集的处理和加载 1 纯数字数据集的加载 2 情感数据集的处理和加载 3 全⽂本数据集的处理和加载* 4 采⽤Class 定义的⽅式处理加载csv车辆轨迹数据集 5 采⽤⾃定义的⽅式处理和加载数据集⾮图像数据集的处理和加载 1 纯数字数据集的加载 1 import pandas as pd 2 import numpy as np 3 import math 4 import matplotlib.pyplot as plt 5 import torch 6 from torch import nn 7 import os 8 os.environ[CUDA_ LAUNCH_ LOCKING] = 1 9 10 def labeltoint(label) : 11 if label == left: 12 label = 0 13 if label == keep: 14 label = 1 15 if label == right: 16 label = 2 17 return label 18 19 20 import json 21 import numpy as np 22 23 with open(data1/train.json, r) as f : 24 j = json.load(f) 25 # print(j .keys()) 26 X_train = j[states] 27 Y_train = j[labels] 28 for i in range(len(Y_train)) : 29 Y_train[i] = labeltoint(Y_train[i]) 30 # print(Y_ train) 31 32 with open(data1/test.json, r) as f : 33 j = json.load(f) 34 X_test = j[states] 35 Y_test = j[labels] 36 for i in range(len(Y_test)) : 37 Y_test[i] = labeltoint(Y_test[i]) 38 39 split_frac = 0.8 40 X_train, Y_train, X_test, Y_test = np.array(X_train).astype(np.float32), np.array(Y_train).astype(np.long), np.array( 41 X_test).astype(np.float32), np.array(Y_test).astype(np.long) 42 ## split data into training, validation, and test data (features and labels, x and y) 43 val_x, test_x = X_test[:len(X_test) // 2], X_test[len(X_test) // 2 :] 44 val_y, test_y = Y_test[:len(Y_test) // 2], Y_test[len(Y_test) // 2 :] 45 46 import torch 47 from torch.utils.data import TensorDataset, DataLoader 48 49 # create Tensor datasets 50 train_data = TensorDataset(torch.from_ numpy((X_train)), torch.from_ numpy(Y_train)) 51 valid_data = TensorDataset(torch.from_ numpy(val_x), torch.from_ numpy(