본문 바로가기

AI&ML23

AlexNet 코드 AlexNet# import library import tensorflow as tf from tensorflow.keras import Sequential, layers from tensorflow.keras.layers import BatchNormalization, Dropout def lrn(x, depth_radius=5, bias=1.0, alpha=1e-4, beta=0.75):     return tf.nn.local_response_normalization(x,                                               depth_radius=depth_radius,                                               bias=bias.. 2024. 8. 14.
Transformer 코드 Transformer Self Attention아래 코드는 positional embedding이 포함되지 않은 코드이다!!import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F # Scaled Dot Production Attention class ScaledDotProductAttention(nn.Module):     def __init__(self):         super(ScaledDotProductAttention, self).__init__()     def forward(self, Q, K, V, mask = None):         d_k = Q.size(-1)     .. 2024. 7. 24.
상관계수 code 상관계수 코드 import seaborn as sns # 상관관계 matrix 작성correlation_matrix = train.corr()  # 보통 heatmap으로 표현!!mask = np.triu(np.ones_like(correlation_matrix, dtype = bool)) # 하삼각을 가리려면 np.tril plt.figure(figsize = (15, 15))sns.heatmap(correlation_matrix, annot = True, cmap = "coolwarm", fmt = ".2f", mask = mask, vmin = -1, vmax = 1) plt.title("correlation matrix") plt.show() # 상관계수 값 그래프에 표시# heatmap 색 지정.. 2024. 7. 14.
VGGNET 코드 VGGNET 16 weight# import libraryimport tensorflow as tf from tensorflow.keras import Sequential, layers # build vgg16 modeldef vgg16():     model = Sequential()          model.add(layers.Conv2D(64, kernel_size = (3, 3), padding = 'same', activation = 'relu', input_shape=(224, 224, 3)))     model.add(layers.Conv2D(64, kernel_size = (3, 3), padding = 'same', activation = 'relu'))     model.add(lay.. 2024. 7. 10.
이상치 제거 방법 code IQR (Interquartile Range) 방법 # 함수 생성def detect_outlier_iqr(column):     q1 = column.quantile(0.25)     q3 = column.quantile(0.75)     iqr = q3 - q1     lower_boundary = q1 - iqr * 1.5     upper_boundary = q3 + iqr * 1.5     outlier = (column  upper_boundary)     return outlier # True와 False로 나타냄outliersr_iqr = train.apply(detect_outlier_iqr) print(outliersr_iqr) # 적용train = train[~outliersr_iqr... 2024. 7. 7.
이상치 제거 기준 이상치 제거 기준 이상치를 제거하는 것이 적절한 경우- 이상치가 실제 데이터 오류 가능성이 높을 때- 분석의 목적에 맞지 않거나 분석 결과 부정적인 영향을 미치는 경우- 특이한 경우로 일반적인 범위를 벗어날 때 주의할 점!!- 이상치 제거는 데이터 손실을 초래함 (정보 손실의 위험성)- 데이터  세트가 작거나 이상치가 적은 경우 이를 제거하면 데이터의 대부분을 잃을 수 있음모든 변수의 이상치 개수가 비슷비슷한 경우? - 데이터 품질 문제데이터 수집에서 문제가 발생한 경우 모든 열에 대한 이상치가 발생함 - 이상치 정의 한계이상치 정의가 너무 염격하거나 느슨한 경우 - 표본 크기 문제데이터 표본이 너무 작거나 균일하지 않은 경우데이터 추가 수집이나 샘플링 방법으로 조정 가능 - 변수가 관계변수간 일정한 관.. 2024. 6. 30.
728x90

티스토리툴바