전체 글114 정보이론 - 엔트로피, KL-divergence, Mutual Information IndexEntropy엔트로피(entropy)란, '정보를 표현하는데 필요한 최소 자원량 기대값' → 이걸 bits (0과1)로 표현위키에서 표현한 엔트로피는 '각 메세지에 포함된 정보의 기대값' 혹은 불확실성이라고도 표현한다. 정보를 인코딩할 때 확률이 높은건 짧게, 확률이 낮은건 길게 코딩해서 정보를 최대한 적은량의 bits로 표현cf. 알다싶이 기대값은 확률×도수 이다. 엔트로피에서 도수는 자원량을 의미 엔트로피를 수식으로 표현하면 아래와 같다. 아래 수식의 기대값이 항상 최소값이라고 섀런이라는 사람이 증명함 (x가 continuous 하면 시그마는 ∫ , log는 ln으로 바뀜) - log 함수를 활용하여, 확률이 1에 가까울수록 도수가 0이 되고, 0에 가까울수록 1이 되는 모양 엔트로피는 p(.. 2023. 7. 4. GAN - 2편 (DCGAN, cGAN) IndexDeep Convolutional GAN (DCGAN)GAN에 CNN을 적용한 모델로, generator가 vector arithmetic 속성을 가지고 있는게 특징인데, G의 input으로 사용되는 latent vector 안에서 연산을 함으로서 output으로 생성할 이미지를 어느정도 조정할 수 있다는 뜻이다.즉 어느정도 특정 요구사항에 맞춘 generate가 가능한 모델이다. G는 fractionally-strided 혹은 transposed convolution 방식을 활용해서 up-sampling을 진행한다. D는 Maxpooling 대신 stride를 통해 down-sampling 하고, FC Layer는 사용하지 않는다. (분류문제가 아니기 때문)G,D 모두 batch normali.. 2023. 7. 2. GAN - 1편 (GAN 구조,학습,어려움) IndexGenerative Adversarial Network (GAN)Generative : 새로운 데이터를 생성해낸다. VAE는 기존의 input과 유사한 데이터를 생성했다면 GAN른 기존에 없는 새로운 데이터를 생성해낸다. Adversarial : Generator 와 Discriminator가 서로 경쟁적으로 G는 D를 속이기위한 데이터를 생성, D는 G의 fake 데이터를 골라내기위해 학습 즉 GAN은 이름 그대로 적대적인 생성 신경망으로 G와D가 적대적이면서도 서로를 보완해가며 새로운 질좋은 데이터를 만들어 내는, 대표적인 비지도학습이다. G는 생성한 fake sample이 real data에서 나온 척해서 D가 잘못판단할 확률을 maximize 하도록 학습한다.D는 Generator가 생성.. 2023. 7. 1. Variational Auto Encoder (VAE) IndexAE의 목적은 Input을 대변할 수 있는 low dimension latent vector를 추출하는 것이라면, VAE는 input의 많은 variations를 generating 하는, generaing 모델이다. VAE 모델 구조Encoder 가 직접적으로 Latent vector를 추출하는 대신 아래와 같은 절차를 거친다. mean(μ), standard deviation(σ) 2개의 latent vector를 생성한다.μ,σ 에 해당하는 Gaussian 분포로 input의 분포를 approximate한다 - Latent distributionGassian을 따르는 Latent distribution으로부터 sample을 추출하여 sampled latent vector 생성 Decode.. 2023. 7. 1. 이전 1 ··· 16 17 18 19 20 21 22 ··· 29 다음
