hyeonzzz's Tech Blog

13.3 적대적 생성 신경망(GAN)이란GAN (Generative Adversarial Network)위조지폐범 : 진짜와 같은 위조 화폐를 만들어 경찰을 속임 (= 생성 모델, 생성자)경찰 : 진짜 화폐와 위조 화폐를 판별하여 위조지폐범을 검거 (= 분류 모델, 판별자) 위조지폐범과 경찰의 경쟁- 위조지폐범은 진짜와 같은 위조지폐를 만들 수 있게 되고, 경찰은 위조지폐와 실제 화폐를 구분할 수 없는 상태에 이른다 적대적 학습판별자 학습 -> 생성자 학습 판별자 학습1. 실제 이미지를 입력 -> 네트워크가 해당 이미지를 진짜로 분류하도록 학습시킴2. 생성자가 생성한 모조 이미지를 입력 -> 해당 이미지를 가짜로 분류하도록 학습시킴-> 실제 이미지를 진짜로 / 모조 이미지를 가짜로  생성자 - 분류에 성..

13.1 생성 모델이란생성 모델(generative model): 주어진 데이터를 학습하여 데이터 분포를 따르는 유사한 데이터를 생성하는 모델 13.1.1 생성 모델 개념: 입력 이미지(x)가 있을 때 그에 따른 정답(y)를 찾는 것 판별자 모델(discriminative model) : 이미지를 분류하는 것이미지를 잘 분류하고자 특성들을 잘 찾는 것을 목표로 한다생성자 모델(generative model) : 판별자 모델에서 추출한 특성들의 조합을 이용하여 새로운 이미지를 생성하는 것입력 이미지에 대한 데이터 분포 p(x)를 학습하여 새로운 이미지를 생성하는 것을 목표로 한다 13.1.2 생성 모델의 유형변형 오토인코더 모델(명시적 방법) : 모델의 확률 변수 구함. 이미지의 잠재 공간(latent s..

12.1 강화 학습이란강화 학습(reinforcement learning): 어떤 환경에서 어떤 행동을 했을 때 그것이 잘된 행동인지 잘못된 행동인지를 판단하고 보상을 주는 과정을 반복해서 스스로 학습하게 하는 분야 환경(environment): 에이전트가 다양한 행동을 해 보고, 그에 따른 결과를 관측할 수 있는 시뮬레이터에이전트(agent): 환경에서 행동하는 주체 강화 학습의 목표: 환경과 상호 작용하는 에이전트를 학습시키는 것에이전트는 상태라고 하는 다양한 상황 안에서 행동을 취하며, 조금씩 학습해 나간다.에이전트가 취한 행동은 그에 대한 응답으로 양이나 음 또는 0의 보상을 돌려받는다.1. 상태: 자신의 상황에 대한 관찰. 에이전트의 상태는 시간에 따라 달라진다.2. 행동 : 에이전트가 상태 S..

10.3 한국어 임베딩 1. 라이브러리 불러오기한국어를 위한 버트 토크나이저 'bert-base-multilingual-cased' 사용2. 문장의 토크나이징토크나이징한 결과 쪼개진 단어들이 정확하지 않다.버트 토크나이저가 단어의 가장 작은 조각을 기준으로 쪼개도록 설계되었기 때문이다.따라서 KoBert 같은 국내에서 개발한 모델들을 이용하는 것도 좋다.3. 모델을 훈련시킬 텍스트 정의버트는 문장이 바뀔 때마다 0에서 1로 바뀌고, 다시 문장이 바뀌면 1에서 0으로 바뀐다.[0, 0, 1, 1, 1, 0, 0, 0] 이라는 결과가 있다면 3개의 문장으로 구성된 것이다.4. 문장 인식 단위 지정하나의 문장으로 인식시키기 위해 33개의 토큰에 벡터 1을 부여한다.5. 데이터를 텐서로 변환6. 모델 생성mod..

10.1 임베딩임베딩(embedding): 자연어를 벡터로 변환한 결과 혹은 일련의 과정 임베딩 역할단어 및 문장 간 관련성 계산의미적 혹은 문법적 정보의 함축임베딩 방법에 따라 희소 표현 기반 임베딩, 횟수 기반 임베딩, 예측 기반 임베딩, 횟수/예측 기반 임베딩이 있다. 임베딩과 인코딩인코딩 : 범주형 데이터를 숫자형 데이터로 변환하는 기본 방법. 라벨 인코딩과 원핫 인코딩을 포함함.임베딩 : 데이터를 고차원 실수 벡터로 변환하여 의미와 유사성을 반영하는 방법. 임베딩 과정에서 초기 단계에 인코딩이 사용될 수 있음. 10.1.1 희소 표현 기반 임베딩희소 표현(sparse representation): 대부분의 값이 0으로 채워져 있는 경우대표적으로 원-핫 인코딩이 있다. 원-핫 인코딩(one-hot..

9.1 자연어 처리란자연어 처리: 우리가 일상생활에서 사용하는 언어 의미를 분석하여 컴퓨터가 처리할 수 있도록하는 과정  자연어 처리 완성도 9.1.1 자연어 처리 용어 및 과정자연어 처리 관련 용어1. 말뭉치(corpus(코퍼스)): 자연어 처리에서 모델을 학습시키기 위한 데이터 2. 토큰(token): 자연어 처리를 위한 문서는 작은 단위로 나누어야 하는데, 이때 문서를 나누는 단위가 토큰이다.토큰 생성(tokenizing) : 문자열을 토큰으로 나누는 작업토큰 생성 함수 : 문자열을 토큰으로 분리하는 함수 3. 토큰화(tokenization): 텍스트를 문장이나 단어로 분리하는 것토큰화 단계를 마치면 텍스트가 단어 단위로 분리된다. 4. 불용어(stop words): 문장 내에서 많이 등장하는 단어..

8.1 성능 최적화8.1.1 데이터를 사용한 성능 최적화데이터를 사용한 성능 최적화 방법: 많은 데이터를 수집하는 것 최대한 많은 데이터 수집하기 : 딥러닝이나 머신 러닝 알고리즘은 데이터양이 많을수록 성능이 좋다. 따라서 가능한 많은 데이터를 수집해야 한다.(빅데이터)데이터 생성하기 : 많은 데이터를 수집할 수 없다면 데이터를 만들어 사용할 수 있다. 데이터 범위 조정하기 : 활성화 함수로 sigmoid를 사용한다면 데이터셋 범위를 0~1의 값을 갖도록 하고, tanh를 사용한다면 데이터셋 범위를 -1~1의 값을 갖도록 조정할 수 있다정규화, 규제화, 표준화도 성능 향상에 도움이 된다 8.1.2 알고리즘을 이용한 성능 최적화알고리즘을 이용한 성능 최적화 방법머신러닝과 딥러닝을 위한 알고리즘은 상당히 많..

7.6 게이트 순환 신경망(GRU) GRU(Gated Recurrent Unit) : 게이트 메커니즘이 적용된 RNN 프레임워크의 한 종류. LSTM보다 구조가 간단하다 7.6.1 GRU 구조GRU는 LSTM에서 사용하는 망각 게이트와 입력 게이트를 하나로 합친 것이다별도의 업데이트 게이트로 구성되어 있다하나의 게이트 컨트롤러가 망각 게이트와 입력 게이트를 모두 제어한다.게이트 컨트롤러가 1이면 망각 게이트는 열리고 입력 게이튼는 닫힌다게이트 컨트롤러가 0이면 망각 게이트는 닫히고 입력 게이튼는 열린다즉, 이전 기억이 저장될 때마다 단계별 입력은 삭제된다GRU는 출력 게이트가 없어 전체 상태 벡터가 매 단계마다 출력되며, 이전 상태의 어느 부분이 출력될지 제어하는 새로운 게이트 컨트롤러가 별도로 존재한다..

7.3 순환 신경망(RNN) RNN(Recurrent Neural Network) : 시간적으로 연속성이 있는 데이터를 처리하려고 고안된 인공 신경망Recurrent - '이전 은닉층이 현재 은닉층의 입력이 되면서 반복되는 순환 구조를 갖는다'는 의미기존 네트워크와 다른 점은 '기억(memory)'을 갖는다는 것이다기억 - 현재까지 입력 데이터를 요약한 정보새로운 입력이 네트워크로 들어올 때마다 기억은 조금씩 수정되며, 결국 최종적으로 남겨진 기억은 모든 입력 전체를 요약한 정보가 된다 그림과 같이 첫 번째 입력(x1)이 들어오면 첫 번째 기억(h1)이 만들어지고, 두 번째 입력(x2)이 들어오면 기존 기억(h1)과 새로운 입력을 참고하여 새 기억(h2)을 만든다.입력 길이만큼 이 과정을 얼마든지 반복할..

6.2 객체 인식을 위한 신경망객체 인식 (object detection) : 이미지나 영상 내에 있는 객체를 식별하는 컴퓨터 비전 기술여러 객체에 대해 각 객체가 무엇인지 분류한다그 객체 위치가 어디인지 박스로 나타내는 위치 검출 문제를 다룬다따라서, 객체 인식 = 여러 가지 객체에 대한 분류 + 객체의 위치 정보를 파악하는 위치 검출 객체 인식 알고리즘1단계 객체 인식(1-stage detector)분류와 위치 검출을 동시에 행하는 방법비교적 빠르지만 정확도가 낮다YOLO 계열, SSD 계열2단계 객체 인식(2-stage detector)두 문제를 순차적으로 행하는 방법비교적 느리지만 정확도가 높다R-CNN 계열객체 인식은 자율 주행 자동차, CCTV, 무인 점포 등 많은 곳에서 활용한다 6.2.1 ..