resultofeffort

초록1. 잔여 학습 프레임워크 소개: 일반적으로 신경망이 깊어질수록 학습하기 어려워집니다. 이 문제를 해결하기 위해 '잔여 학습 프레임워크'라는 새로운 방법을 제안했습니다. 이 방법은 각 레이어가 입력 데이터에 어떤 변화를 주어야 할지, 즉 '잔차'를 학습하도록 만듭니다. 이는 신경망이 더 깊어져도 잘 학습할 수 있게 도와줍니다.2. 신경망의 재정의: 이전에는 신경망의 각 레이어가 입력을 직접 처리하도록 설계되었습니다. 그러나 잔여 학습에서는 각 레이어가 입력과 출력 사이의 차이, 즉 '잔차'를 목표로 하여 학습합니다. 이 접근 방식으로 인해 신경망의 학습이 쉬워지고, 더 깊은 네트워크에서도 높은 정확도를 달성할 수 있습니다.3. ImageNet 데이터셋에서의 성공: 잔여 네트워크는 ImageNet 데이..

GoogleNet 특징최적의 지역 희소 구조를 찾아 밀집된 구성 요소로 덮는 방식을 통해 설계되었습니다.1x1, 3x3, 5x5 크기의 필터를 활용하여 다양한 패치를 커버하고, 이를 다음 단계의 입력으로 결합합니다.계산 요구가 증가하는 경우 차원을 줄이는 길을 선택하여 계산 복잡성을 제어합니다.1x1 컨볼루션은 차원 축소 및 선형 활성화를 통해 두 가지 기능을 수행합니다.다양한 스케일에서 정보를 처리하고 집계하여 다음 단계에서 서로 다른 스케일의 특징을 동시에 추상화합니다.중간 계층에 보조 분류기를 추가하여 구별 능력을 강화하고, 학습 시 총손실에 추가하여 정규화 효과를 제공합니다.소개인셉션 아키텍처는 이미지넷 대규모 시각 인식 도전(ILSVRC14)에서 새로운 최고 성능을 달성한 딥 컨볼루션 신경망입니..

import torch import torch.nn as nn import torch.nn.functional as F class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() self.conv1 = nn.Conv2d(in_channels=3, out_channels=4, kernel_size=3, stride=1, padding=1) self.conv2 = nn.Conv2d(in_channels=4, out_channels=8, kernel_size=3, stride=1, padding=1) self.pool = nn.MaxPool2d(kernel_size=2, stride=2) self.flatten = nn.F..

Abstract성과 요약ImageNet LSVRC-2010 대회의 120만 고해상도 이미지를 1000개의 다른 클래스로 분류하기 위해 대규모, 깊은 합성곱 신경망을 훈련시켰습니다.테스트 데이터에서 top-1 오류율 37.5%, top-5 오류율 17.0%를 달성했는데, 이는 이전 최고 성능보다 훨씬 좋은 결과입니다.이 신경망은 6000만 개의 파라미터와 65만 개의 뉴런으로 구성되어 있으며, 5개의 합성곱 레이어로 구성되어 있고, 일부는 최대 풀링 레이어에 의해 뒤따르며, 마지막에는 1000-way 소프트맥스를 가진 3개의 완전 연결 레이어가 있습니다.훈련 과정훈련을 더 빠르게 하기 위해, 포화되지 않는 뉴런을 사용했고, 합성곱 연산의 매우 효율적인 GPU 구현을 사용했습니다.완전 연결 레이어에서 과적합..