기계는 거짓말하지 않는다

딥러닝 실험을 할 때, 결과의 재현성은 매우 중요하다. 실험의 일관성을 유지하기 위해서는 동일한 조건에서 실험을 반복할 수 있어야 한다. 이를 위해 랜덤 시드를 고정하는 방법을 사용할 수 있고, 아래는 랜덤 시드를 고정하는 함수와 모델을 로드하는 예시이다.import torchimport randomimport numpy as npdef set_seed(seed=42): random.seed(seed) # random module 시드 고정 np.random.seed(seed) # numpy 랜덤 시드 고정 torch.manual_seed(seed) # PyTorch CPU 랜덤 시드 고정 torch.cuda.manual_seed_all(seed) # 멀티 GPU 환경 동일..

PyTorch의 forward() 연산 방식은 기본적으로 순차적으로 실행되는 것처럼 보이지만, 내부적으로 가능한 연산을 병렬로 실행한다. 특히 GPU에서는 연산이 비동기적으로 수행될 수 있고병렬 처리를 더욱 효율적으로 활용할 수 있다.연산 그래프PyTorch에서 forward() 실행 시 생성되는 연산 그래프(Computation Graph)는동적 방식(Dynamic Computation Graph)으로 작동한다.이는 모델의 forward pass 과정에서 연산이 발생할 때마다 그래프가 즉시 생성되는 방식이다.연산 그래프의 특징동적 생성(Dynamic Graph)TensorFlow의 정적 그래프(Static Graph)와 달리, PyTorch는 실행 시점에서 그래프를 즉시 생성한다.따라서 모델 구조를 유..

Python의 tracemalloc은 코드에서 메모리 할당을 추적할 수 있도록 도와주는 기본 모듈이다.가장 많은 메모리를 할당하는 5개의 파일을 표시한 출력 형식은 아래와 비슷하다./home/user/test.py:1817: size=18.2 MiB, count=556, average=33.5 KiB:672: size=438 KiB, count=4584, average=98 B/usr/lib/python3.10/threading.py:258: size=417 KiB, count=1384, average=309 B:241: size=175 KiB, count=1871, average=96 B/usr/lib/python3.10/queue.py:207: size=144 KiB, count=467, averag..

Kubernetes Pod Docker 컨테이너 내에서 nvidia-smi Failed to initialize NVML: Unknown Error Kubernetes Pod Docker 컨테이너 내에서 nvidia-smi Failed to initialize NVML: Unknown Error쿠버네티스 파드의 도커 컨테이너 내에서 nvidia-smi를 입력했을 때, 간혹 아래의 오류를 보는 경우가 있다.Failed to initialize NVML: Unknown Error컨테이너를 정지했다가 재시작하면 동작하긴 하지만 근본machine-does-not-lie.tistory.com이 글에 이은 정보이다.Docker 컨테이너 내에서 nvidia-smi를 입력했을 때, 간혹 아래의 오류를 보는 경우가 있다..

Python의 faulthandler 모듈은 프로그램에서 발생하는 심각한 오류나예외(메모리 관련 오류)에 대한 진단을 돕는 모듈이다.Python의 내부 오류나 C 확장 모듈에서 발생한 오류를 추적하고,문제가 발생한 지점을 더 쉽게 찾아내도록 도와준다.Python 3.3 버전 이상에서만 사용할 수 있다.기본 사용법은 아래와 같다.import faulthandlerfaulthandler.enable()심각한 오류 발생 시 자동으로 스택 트레이스를 출력하여 문제 발생 지점을 알려준다.코드 실행 중 특정 지점에서 수동으로 스택 트레이스를 출력하려면 dump_traceback을 사용할 수 있다.import faulthandlerfaulthandler.dump_traceback()faulthandler — 파이썬 ..

Python에서 colorsys 모듈을 이용하여 지정된 개수만큼의 색상을일정하게 분포된 색상 팔레트를 생성하는 간단한 함수이다.import colorsysdef generate_colors(num_classes: int, alpha=1): """ list of tuple: (R, G, B, A) 0~255 """ colors = [] for i in range(num_classes): hue = i / num_classes # S=1.0, V=1.0 rgb = colorsys.hsv_to_rgb(hue, 1.0, 1.0) # # RGB 0~255 # r, g, b = [int(x * 255) for x in ..

Python의 configparser 모듈로 config file을 읽고 쓰면 config file의 주석은 유지되지 않는다.주석을 유지해야 할 때, 가능하도록 간단히 구현한 예시이다.import configparserdef read_config_with_comments(file_path): """config file과 config file의 line을 함께 read""" with open(file_path, 'r') as file: lines = file.readlines() config = configparser.ConfigParser(allow_no_value=True) config.read(file_path) return config, linesdef wri..

FileZilla로 Docker Container 내부의 파일을 전송하는 간략한 방법이다. FileZilla의 사이트 관리자에서 SFTP 프로토콜 설정을 추가한다.호스트는 컨테이너의 호스트 주소이며, 포트는 컨테이너 외부에서 SSH로 접속할 수 있는 포트이다.빨간색 사각형의 포트 주소는 일치해야 한다.그리고 비밀번호는 컨테이너 내에서 설정해야 한다. 다음으로, 컨테이너 내에서 SFTP 설정을 해야 한다.openssh-server가 설치되어 있어야 한다.apt install openssh-server설치가 완료되면 sshd_config 파일에서 SFTP 설정을 변경한다.vi /etc/ssh/sshd_configSubsystem 항목의 sftp를 internal-sftp로 수정한다.그 후 FileZilla에..