기계는 거짓말하지 않는다

특정 데이터 값을 기준으로 나눠 각각 csv로 저장 아래는 하나의 data csv 파일에서 AI 학습용 train, test, valid dataset으로 분리한다. 비율만큼 분리는 sklearn의 train_test_split을 이용했다. def trim_string(x, trim_word_count=100): x = x.split(maxsplit=trim_word_count) x = ' '.join(x[:trim_word_count]) return x def create_split_csv(raw_data_path=".", dest_path=".", label_numbers=[0, 1, 2], train_csv_name="train.csv", valid_csv_name="valid.csv", test_..

DataFrame에서 특정 column만 추출 import numpy as np import pandas as pd dataFrame = pd.read_csv("data.csv", delimiter=",", encoding="euc-kr", skiprows=1)# 첫 행이 columns이면 skiprows 불필요 select_cols = ["col1", "col2", "col3", "col4"] # 특정 column의 field name another_cols = ["col5", "col6"] select_cols_frame = dataFrame[select_cols] another_cols_frame = dataFrame[another_cols] print(select_cols_frame) # nump..

import pandas as pd raw_data_path = "./data.csv" skiprows = 1 encoding = "utf-8" df= pd.read_csv(raw_data_path, skiprows=skiprows, encoding=encoding) # Column 컬럼의 row 값이 1인 행만 df = df[df['Column'] == 1] # loc을 사용하는 경우 문자열 인덱스를 사용 # iloc을 사용하는 경우 행 번호를 사용 print(df.loc["Index", "Column"]) print(df.iloc[0, 1]) print(df.iloc[0].iloc[1]) print(df.iloc[0][1]) print(df.iloc[0].loc['Column']) print(df.i..