[정보이론][엔트로피] - Entropy 소개

엔트로피의 개념

엔트로피란 무엇인가?

엔트로피는 물리학에서 기체나 열 등의 무질서한 상태를 나타내는 물리량으로 알려져 있습니다. 하지만, 엔트로피는 물리학 이외에도 정보 이론 분야에서도 중요한 개념으로 활용됩니다.

정보 이론에서의 엔트로피는 정보의 불확실성 혹은 무질서함의 정도를 나타내는 척도로 사용됩니다. 엔트로피 값이 높을수록, 해당 정보의 불확실성이나 무질서함이 높아집니다.

엔트로피의 의미와 중요성

엔트로피는 정보 이론 분야에서 매우 중요한 개념 중 하나입니다. 엔트로피는 데이터의 불확실성 혹은 무질서함을 나타내기 때문에, 데이터 분석이나 머신 러닝 분야에서 많이 활용됩니다.

또한, 엔트로피는 정보 이론 분야에서 가장 기본적인 개념 중 하나로, 정보 압축, 코딩, 암호학 등의 분야에서도 널리 활용됩니다.

엔트로피와 정보 이론

엔트로피는 정보 이론 분야에서 가장 기본적인 개념 중 하나입니다. 정보 이론에서는 정보의 양을 나타내는 비트(bit) 단위를 사용하며, 엔트로피는 이러한 비트 단위를 이용하여 정보의 불확실성을 나타내는 척도로 활용됩니다.

엔트로피는 다음과 같은 수식으로 정의됩니다.

엔트로피의 계산 방법

엔트로피의 수학적 정의

확률 변수 X에서의 엔트로피 H(X)는 다음과 같은 수식으로 정의됩니다.

H(X) = - Σ [ p(x) * log2(p(x)) ]

 
위 수식에서, p(x)는 X에서 특정한 값 x가 나타날 확률을 나타냅니다. 즉, 확률 변수 X의 확률 분포를 나타내는 것입니다.

이 수식은 데이터의 불확실성을 나타내는 엔트로피 값을 계산하는 방법을 보여줍니다. 이를 통해, 데이터의 불확실성을 계산하고, 이를 바탕으로 정보의 압축, 코딩, 암호학 등의 분야에서 활용할 수 있습니다.

확률 분포에서 엔트로피 계산하기

확률 분포에서 엔트로피 값을 계산하는 방법을 알아보겠습니다. 예를 들어, 다음과 같은 확률 분포가 있다고 가정해봅시다.

prob_dist = [0.33, 0.33, 0.33]

 
위 확률 분포는 3가지 가능한 결과를 가지는 실험에서 각 결과가 나타날 확률을 나타냅니다. 이 확률 분포에서 엔트로피를 계산하려면, 다음과 같은 수식을 적용하면 됩니다.

H(X) = - (0.33 * log2(0.33) + 0.33 * log2(0.33) + 0.33 * log2(0.33))

 
위 식을 계산하면, 엔트로피 H(X)는 약 1.58입니다.

또 다른 예시로 [1/2, 1/2] 확률 분포가 있습니다. 이 확률 분포에서 엔트로피를 계산해보면 다음과 같습니다.

H(X) = - (0.5 * log2(0.5) + 0.5 * log2(0.5))

 
위 식을 계산하면, 엔트로피 H(X)는 1입니다. 이 예시에서 볼 수 있듯이, 확률 분포가 균등할수록 엔트로피 값은 커지게 됩니다.

마지막으로 [1/4, 0, 2/4, 1/4] 확률 분포에서 엔트로피를 계산해보면 다음과 같습니다.

H(X) = - (0.25 * log2(0.25) + 0 + 0.5 * log2(0.5) + 0.25 * log2(0.25))

 
위 식을 계산하면, 엔트로피 H(X)는 약 1.5입니다. 이 예시에서도 확인할 수 있듯이, 하나의 결과가 확률 0을 가지고 있어 불확실성이 낮아집니다. 따라서 엔트로피 값은 상대적으로 작아집니다.

확률 분포에서 엔트로피 값을 계산하는 방법은 간단합니다. 단지 확률 분포에 있는 모든 결과에 대해서 p(x) * log2(p(x))를 계산하고, 이 값을 모두 더해주면 됩니다.

반응형

import math

def entropy(prob_dist):
    """
    Calculate the entropy of a given discrete probability distribution.
    
    Parameters:
    prob_dist (list): A list of probabilities, summing up to 1.
    
    Returns:
    entropy (float): The entropy value of the probability distribution.
    """
    entropy = 0
    for p in prob_dist:
        if p > 0:
            entropy += -p * math.log2(p)
        else:
            entropy += 0
    return entropy


prob_dist = [1/3, 1/3, 1/3]
entropy_val = entropy(prob_dist)
print("Entropy: ", entropy_val) # 출력값: 1.584962500721156

prob_dist = [1/4, 0, 2/4, 1/4]
entropy_val = entropy(prob_dist)
print("Entropy: ", entropy_val) # 출력값: 1.5

위 코드에서는 entropy() 함수를 이용하여 확률 분포의 엔트로피 값을 계산하고 출력하도록 하였습니다. 실행 결과는 다음과 같습니다.

Entropy:  1.584962500721156
Entropy:  1.5

 

엔트로피의 활용 예시

정보 압축

엔트로피는 정보 압축에서 매우 중요한 역할을 합니다. 엔트로피가 높은 데이터는 압축하기가 어렵습니다. 이는 데이터에서의 불확실성이 매우 크기 때문입니다. 반면에, 엔트로피가 낮은 데이터는 상대적으로 적은 정보만을 포함하고 있기 때문에 압축하기가 쉽습니다.

예를 들어, 확률 분포가 [1/2, 1/2]인 경우를 생각해보겠습니다. 이 확률 분포는 2가지 결과가 동일한 확률로 나타나는 경우입니다. 이 경우, 결과를 하나의 비트로 인코딩할 수 있습니다. 예를 들어, 첫 번째 결과를 0으로, 두 번째 결과를 1로 인코딩하면 다음과 같이 나타낼 수 있습니다.

0 1

 
이렇게 인코딩하면, 결과를 표현하는 데 필요한 비트 수가 가장 적어집니다. 이는 엔트로피가 낮은 경우에 가능한 압축 방법입니다.

반면에, 확률 분포가 [1/4, 1/4, 1/4, 1/4]인 경우를 생각해보겠습니다. 이 확률 분포는 4가지 결과가 동일한 확률로 나타나는 경우입니다. 이 경우, 결과를 하나의 비트로 인코딩할 수 없습니다. 모든 결과를 표현하기 위해서는 2개의 비트가 필요합니다. 예를 들어, 첫 번째 결과를 00으로, 두 번째 결과를 01로, 세 번째 결과를 10으로, 네 번째 결과를 11로 인코딩하면 다음과 같이 나타낼 수 있습니다.

00 01 10 11

 
이렇게 인코딩하면, 결과를 표현하는 데 필요한 비트 수가 가장 적은 방법은 아닙니다. 이는 엔트로피가 높은 경우에 해당합니다.

암호학

엔트로피는 암호학에서 매우 중요한 역할을 합니다. 엔트로피가 높은 데이터는 암호화하기가 어렵습니다. 이는 암호화된 데이터가 불확실성이 매우 크기 때문입니다. 반면에, 엔트로피가 낮은 데이터는 상대적으로 적은 정보 예를 들어, 비밀번호를 생성할 때 엔트로피를 고려해야 합니다. 엔트로피가 높은 비밀번호는 무작위성이 높아서, 크래킹을 어렵게 만듭니다. 따라서, 안전한 비밀번호를 생성하기 위해서는 엔트로피를 높일 필요가 있습니다.

머신러닝

머신러닝에서도 엔트로피가 활용됩니다. 의사 결정 트리(decision tree) 알고리즘에서 엔트로피는 분류(classification)의 불확실성을 측정하는 지표로 사용됩니다. 분류할 때, 엔트로피가 높은 변수를 기준으로 분류하게 되면 정보 이득(information gain)이 크게 나타납니다. 이 정보 이득을 최대화하는 변수를 선택하여 의사 결정 트리를 만들게 됩니다.

이처럼 엔트로피는 머신러닝에서 모델의 성능을 향상시키는 데에도 활용됩니다.

엔트로피 계산 시 주의사항

제로 엔트로피

확률 분포에서 하나의 원소가 1이고, 나머지 원소들이 모두 0일 경우, 이 확률 분포의 엔트로피는 0입니다. 이를 제로 엔트로피(zero entropy)라고 합니다. 이는 해당 원소의 확률이 1이므로, 그 어떤 불확실성도 없기 때문입니다.

이러한 경우를 다룰 때에는, 0으로 나누는 오류를 방지하기 위해 0을 더해줍니다. 따라서, 해당 원소가 1이고, 나머지 원소들이 모두 0인 경우에도 엔트로피를 계산할 수 있습니다.

로그의 밑(base) 설정

엔트로피 계산 시 로그의 밑(base)을 설정해야 합니다. 일반적으로는 2나 자연로그(e)를 사용합니다. 로그의 밑이 작으면 작을수록, 엔트로피 값은 커집니다. 반면에 로그의 밑이 크면, 엔트로피 값은 작아집니다.

이는 엔트로피의 정의에서 로그 함수가 사용되기 때문입니다. 로그 함수는 인수가 작을수록 결과 값이 크기 때문입니다. 따라서, 로그의 밑을 설정할 때에는, 데이터의 특성과 계산의 효율성을 고려하여 적절한 값을 선택해야 합니다.

정밀도(precision) 설정

엔트로피 계산 시에는, 실수 연산을 수행해야 하므로, 정밀도(precision)를 설정해야 합니다. 일반적으로는, numpy 라이브러리의 float64 자료형을 사용합니다.

하지만, 경우에 따라서는, 더 높은 정밀도를 필요로 할 수 있습니다. 이런 경우에는, float128 자료형을 사용하거나, decimal 라이브러리를 사용하여 고정 소수점(fixed-point) 연산을 수행할 수 있습니다.

분류 항목이 많은 경우

분류 항목이 많아지면, 엔트로피가 증가할 가능성이 높습니다. 이 경우, 엔트로피를 줄이기 위해 분류 항목을 적절하게 묶어주는 등의 전처리가 필요합니다.

결론

1. 엔트로피는 확률 분포의 불확실성을 나타내는 지표입니다.
2. 엔트로피가 낮을수록, 확률 분포의 불확실성이 낮아집니다.
3. 엔트로피는 정보 이론에서 중요한 개념으로, 암호학 등의 분야에서 활용됩니다.
4. 엔트로피를 계산할 때에는 확률값이 0인 항목은 제거해야 하며, 분류 항목이 많은 경우에는 적절한 전처리가 필요합니다.
5. 엔트로피 계산은 파이썬 등의 프로그래밍 언어를 이용해 쉽게 구현할 수 있습니다.

엔트로피는 불확실성을 나타내는 지표로서, 정보 이론 분야에서 중요한 개념 중 하나입니다. 확률 분포를 분석하고 예측하는 다양한 분야에서 활용되며, 엔트로피 계산은 파이썬 등의 프로그래밍 언어를 이용해 쉽게 구현할 수 있습니다. 엔트로피를 계산할 때에는 확률값이 0인 항목은 제거해야 하며, 분류 항목이 많은 경우에는 적절한 전처리가 필요합니다.

본 블로그 글은 G-ChatBot 서비스를 이용하여 AI(ChatGPT) 도움을 받아 작성하였습니다.

https://gboysking.net

G-ChatBot