| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
- Visual Studio
- Python
- 프로그래머스
- C#
- mysql
- SSH
- Linux
- ubuntu
- error
- 기타 연주
- Numpy
- YOLO
- C++
- pip
- 핑거스타일
- windows forms
- Docker
- OpenCV
- 컨테이너
- nvidia-smi
- 채보
- JSON
- pandas
- C
- paramiko
- VS Code
- Selenium
- 오류
- label
- pytorch
- Today
- Total
목록DataLoader (2)
기계는 거짓말하지 않는다
Windows 환경에서 multiprocessing(DataLoader의 num_workers>0)이 내부적으로 프로세스를spawn(push)할 때 발생 할 수 있는 오류의 예이다.EOFError: Ran out of input...ForkingPickler(file, protocol).dump(obj)_pickle.PicklingError: Can't pickle at 0x0000029A93FCF820>: attribute lookup on __main__ failed익명 함수(lambda)나 로컬 함수 등 피클로 직렬화할 수 없는 객체를 읽어 들이려 하기 때문이다num_workers=0으로 설정하면 해결은 되지만 여러 workers를 사용하여 데이터를 읽으려 할 때는 이렇게 할 수 없다.아래는 W..
PyTorch는 torch.utils.data.Dataset과 torch.utils.data.DataLoader의 두 가지 데이터셋 라이브러리를 제공하며미리 준비된(pre-loaded) 데이터셋 뿐 아니라 가지고 있는 데이터를 사용할 수 있다.Dataset은 data와 label을 저장한다.DataLoader는 Dataset에 쉽게 접근할 수 있도록 iterable 객체로 만들어 주고sampler, shuffle, batch_size 등 다양한 매개변수를 설정 할 수 있다.from torch.utils.data import Datasetfrom torch.utils.data import DataLoaderclass CustomDataset(Dataset): def __init__(self, data..
