1.Airflow 초기 설정 Apache airflow는 Linux 기반이지만, macOS에서도 터미널을 통해 쉽게 설치하고 실행할 수 있습니다. 1.1. 가상환경 생성(conda)anaconda를 사용해서 python 3.10 버전의 가상환경을 생성 합니다.# Anaconda를 사용하여 Python 3.10 환경을 생성conda create -n airflow_lab python=3.10# 가상환경 활성화conda activate airflow_lab1.2. Airflow 설치Airflow 공식 문서에서는 pip 로 설치를 권장하기 때문에 Airflow와 MySQL Provider 패키지는 pip 로 설치 합니다.mysqlclient는 conda로 설치해주었습니다.# Airflow 설치pip insta..

터미널에서 CUDA_VISIBLE_DEVICES=0 python train.py 실행 실행하기 전, 경로 설정을 해줘야 함. 필요한 파일들을 동일한 경로에 넣기.train.py 파일을 수정해서 현재 경로에 데이터셋이 잘 다운로드 될 수 있도록 설정하기. https://github.com/facebookresearch/mixup-cifar10/blob/main/train.py mixup-cifar10/train.py at main · facebookresearch/mixup-cifar10mixup: Beyond Empirical Risk Minimization. Contribute to facebookresearch/mixup-cifar10 development by creating an account o..

import pandas as pd # 날짜와 시간 데이터를 포함하는 데이터프레임 생성 data = { '날짜': ['2022-01-01 10:00:00', '2023-09-30 11:30:00', '2021-02-17 15:20:00', '2023-07-01 20:45:00'], '값': [10, 20, 30, 40] } df = pd.DataFrame(data) df df 데이터셋은 날짜, 값 두 개의 피처로 이루어진 데이터프레임 입니다. df 피처의 타입을 확인해보겠습니다. train.info() 보다시피 날짜 칼럼은 object 형태입니다. 이번에는 to_datetime() 함수를 사용하여 '날짜' 열의 데이터 타입을 날짜/시간 형식(datetime)으로 변환하는 작업을 진행하겠습니다. df['날..

시각화 여러개 그릴 때마다 헷갈리고 까먹고 난리난리여서 나를 위해 포스팅한다! penguins = sns.load_dataset("penguins") penguins 1. seaborn 행 1개일 경우 fig, axes = plt.subplots(1, 3, figsize=(18, 6)) sns.boxplot(y=penguins['bill_length_mm'], ax=axes[0]) sns.boxplot(y=penguins['bill_depth_mm'], ax=axes[1]) sns.boxplot(y=penguins['flipper_length_mm'], ax=axes[2]) plt.subplots_adjust(wspace=0.4) plt.show() 2. seaborn 행 2개이상일 경우 fig, axe..

# stack / unstack의 형태 dataframe.stack(level = -1, dropna = True) dataframe.stack(level = -1, dropna = True) level : default 값은 -1입니다. 하나의 index 혹은 columns를 쌓을 수준입니다. (한 번에 여러 level을 선택할 수 없습니다.) dropna : default 값은 True 입니다. False로 설정할 경우, nan 값이 출력됩니다. - stack : 칼럼을 인덱스로! 파라미터 level: stack을 수행할 인덱스 레벨을 지정합니다. 여러 개의 레벨을 지정할 수 있으며, 이 경우 데이터프레임이 멀테인덱스를 가지게 됩니다. 기본값은 -1로, 마지막 인덱스 레벨을 사용합니다. dropna:..

gropuby 함수는 저어엉말 자주 사용한다. 그룹별로 어떤 특징을 갖는지 알고 싶을때 주로 사용하는 것 같다. 먼저 이번 포스팅에 예시로 사용할 df_last부터 살펴보자 df_last df_last 는 보다시피 "지역명", "분양가격", "평당분양가격" 으로 이루어진 데이터이다. 만약 지역별로 분양가격과 평당분양가격이 궁금하다면? groupby 함수를 이용해서 구할 수 있다. 지역별 분양가격과 평당분양가격의 평균 df_last.groupby(['지역명']).mean()[['분양가격','평당분양가격']] 결과를 살펴보니 강원의 분양가격의 평균은 2391만원, 평당분양가격은 7890만원이다. 이런식으로 값을 구하면 어떤 지역에 분양가격이 가장 비싼지, 저렴한지를 알 수 있다. sort_values 함수를..

머신러닝 전처리 하면서 매번 사용하는 함수들을 정리해 보았다. 할 때마다 기억 안 나서 검색 검색 또 검색 맨날 검색 검색 해서^^ 일주일에 한 번은 꼭 사용하는 것 같은데 왜 기억을 못 하니...... 휴 절레절레 1. replace : 문자열을 변경해 주는 함수 1.1 특정 피처에서 전체 값을 변경할 경우 1.2 특정 피처에서 일부 값만 변경할 경우 1.3 특정 피처가 아닌 전체 데이터셋에서 전체 값을 변경할 경우 2. rename : 피처명(칼럼명)을 변경해 주는 함수 3. value_counts : 고윳값과 고윳값의 개수를 출력해 주는 함수 4. unique : 고윳값의 종류를 출력해 주는 함수 5. nunique : 고윳값 종류의 수를 출력해 주는 함수 1. replace : 문자열을 변경해 주..

bar(막대) 그래프는 범주가 있는 데이터 값을 직사각형의 막대로 표현하는 그래프입니다. Matplotlib 에서는 matplotlib.pyplot 모듈의 bar() 함수를 이용해서 막대그래프를 간단하게 표현할 수 있습니다. train 데이터셋은 Transported 가 True인지 False인지를 예측하는 문제입니다. Transported 피처에서 True, False 가 각각 몇 개씩 분포하고 있는지를 bar 그래프로 표현해 보려합니다. train.head() value_counts 함수를 사용하면 Transported의 고유값이 몇 개씩 존재하는지 수치로 확인할 수 있습니다. True는 4378개, False는 4315개씩 존재하네요. train['Transported'].value_counts()..

df_last = pd.read_csv("data/분양가격13_15.csv", encoding="cp949") df_last 데이터는 13년도부터 15년도까지의 지역/규모/연도/월/분양가격 정보가 포함된 데이터이다. .isnull() 함수를 이용하면 결측값의 유/무를 True/False로 출력이 된다. 해당 값이 결측값이라면 True가 결측값이 아니라면 False로 출력이 된다. df_last.isnull() .isnull().sum() 함수를 이용하면 True/False가 아닌 각 열의 결측치의 개수가 출력된다. 직관적으로 결측치가 칼럼마다 몇 개씩 존재하는지를 출력해 주기 때문에 자주 사용한다. df_last.isnull().sum() 특정 칼럼 null값의 개수 구하기 df_last 데이터셋에서 분..

# 함수를 사용하지 않은경우 메이플스토리로 예시를 들어보자면 D_name = "듀얼블레이드" D_HP = 1000 D_MP = 200 print("{0} 캐릭터가 생성되었습니다.".format(D_name)) print("체력 {0}, 공격력 {1}".format(D_HP,D_MP)) 듀얼블레이드 캐릭터가 생성되었습니다. 체력 1000, 공격력 200 A_name = "아델" A_HP = 900 A_MP = 150 print("{0} 캐릭터가 생성되었습니다.".format(A_name)) print("체력 {0}, 공격력 {1}".format(A_HP,A_MP)) 아델 캐릭터가 생성되었습니다. 체력 900, 공격력 150 # 함수를 사용한 경우 위와 같은 코드를 함수를 이용해서 간략하게 작성을 해보면 d..