필답 47. 정보량 및 발생 확률에 따른 전달 정보량 기댓값 계산 – 전체

수식은 LaTeX 원문을 보존하도록 저장되었습니다.

설명

정의

정보량 및 전달 정보량 기댓값 계산은 인간-기계 시스템(Human-Machine System) 또는 정보 전송 모델에서 정보의 가치와 흐름을 수학적으로 정량화하기 위한 이론입니다.

자가 정보량(Self-Information, $I(x_i)$): 어떤 특정한 사건이 일어났을 때 얻을 수 있는 정보의 크기입니다. 발생할 확률이 낮을수록(즉, 의외성이 클수록) 더 많은 정보를 가집니다. 단위는 $\text{bit}$를 사용합니다.
평균 정보량 (엔트로피, Entropy, $H(X)$): 확률 변수 내 모든 가능한 사건들에 대하여 개별 정보량과 발생 확률을 곱해 합산한 기댓값(평균)입니다. 시스템의 불확실성을 나타냅니다.
전달 정보량 (Transmitted Information, $T(X;Y)$): 입력 자극($X$)과 출력 반응($Y$) 사이에서 실질적으로 오류 없이 인간 또는 수신측에 제대로 전달된 유효 정보량의 기댓값입니다.

공식

1. 단일 사건의 자가 정보량 ($I(x)$)

사건 $x$의 발생 확률을 $P(x)$라 할 때, 자가 정보량 $I(x)$는 확률의 역수에 상용로그 또는 자연로그 대신 이진로그($\log_2$)를 적용하여 정의합니다.

I(x) = \log_2 \left( \frac{1}{P(x)} \right) = -\log_2 P(x)\ \text{(bit)}

로그 변환 계산법 (공학용 계산기 입력 기준):

일반 계산기에는 $\log_2$ 버튼이 없는 경우가 많으므로 아래의 밑 변환 공식을 사용합니다.

\log_2(A) = \frac{\log_{10}(A)}{\log_{10}(2)} \approx \frac{\ln(A)}{0.69315}

2. 동일한 발생 확률을 가진 $N$가지 대안의 정보량 ($I$)

모든 대안의 발생 확률이 $P(x) = \frac{1}{N}$로 일정할 때, 전체 시스템의 총 정보량(자가 정보량)은 다음과 같습니다.

I = \log_2(N)\ \text{(bit)}

3. 평균 정보량 (엔트로피, $H(X)$)

여러 대안이 각각 다른 확률 $P(x_i)$로 존재할 때의 평균 정보량 기댓값입니다.

H(X) = \sum_{i=1}^{n} P(x_i) \cdot I(x_i) = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i)\ \text{(bit)}

4. 자극-반응 간 전달 정보량 기댓값 ($T(X;Y)$)

입력 자극 $X$와 출력 반응 $Y$가 주어졌을 때, 참 정보 전송량은 입력 엔트로피 $H(X)$와 출력 엔트로피 $H(Y)$를 더한 값에서 결합 엔트로피 $H(X,Y)$를 차감하여 계산합니다.

T(X;Y) = H(X) + H(Y) – H(X,Y)\ \text{(bit)}

입력 엔트로피 ($H(X)$): 입력 자극 $x_i$의 주변확률 $P(x_i)$ 기준 엔트로피.

H(X) = -\sum P(x_i) \log_2 P(x_i)

출력 엔트로피 ($H(Y)$): 출력 반응 $y_j$의 주변확률 $P(y_j)$ 기준 엔트로피.

H(Y) = -\sum P(y_j) \log_2 P(y_j)

결합 엔트로피 ($H(X,Y)$): 동시 확률 $P(x_i, y_j)$ 기준 엔트로피.

H(X,Y) = -\sum \sum P(x_i, y_j) \log_2 P(x_i, y_j)

적용 조건

밑수의 고정: 정보이론에서 별도의 전제가 없는 한 정보량의 단위는 비트($\text{bit}$)를 표준으로 채택하므로 로그의 밑수는 반드시 2를 적용하여야 합니다.
확률의 정합성: 모든 성분 확률의 총합은 수학적으로 반드시 1이어야 합니다 ($\sum P(x_i) = 1$). 만약 문제에서 퍼센트($\%$)나 시간 단위로 주어졌을 경우 비율값으로 먼저 환산합니다.
소수점 마감 기준: 국가기술자격 주관식 필답형 자격검정의 일반 채점 기준에 따라 특별한 지침이 주어지지 않은 경우에는 소수점 셋째 자리에서 반올림하여 소수 둘째 자리까지 작성하는 것을 규격으로 적용합니다.

풀이 순서

1단계: 문제 조건을 통해 구하려는 대상이 대안 개수 기반의 정보량인지, 서로 다른 확률 기반의 엔트로피인지, 혹은 자극-반응 행렬 기반의 전달 정보량인지 유형을 파악합니다.
2단계: 각 상태에 해당하는 발생 확률 $P(x_i)$를 계산하여 소수점 비율로 일목요연하게 표를 정리합니다.

* 3단계: 정보량 또는 엔트로피 공식에 대입한 후 공학용 계산기 밑 변환 기법(

\frac{\log_{10}(A)}{\log_{10}(2)}

)을 이용해 정확한 로그 연산을 행합니다.

4단계: 사칙연산을 정밀하게 수행한 최종 비트 수치에 대하여 반올림 규정을 적용하고 단위($\text{bit}$)를 병기하여 답안을 완성합니다.

예제 문제

문제 1

발생 확률이 모두 동일한 32가지의 대안이 있을 때 얻을 수 있는 총 정보량($\text{bit}$)을 구하시오.

문제 2

빨강, 노랑, 파랑, 초록의 4가지 색으로 구성된 안전 경고 신호등이 있다. 1시간 동안 신호등의 동작 상태를 조사한 결과 파란등은 총 30분, 빨간등은 총 15분, 노란등과 초록등은 각각 총 7.5분 동안 켜진 것으로 나타났다. 이 신호등의 평균 정보량(엔트로피, $\text{bit}$)을 계산하시오.

문제 3

자극과 반응의 실험에서 자극 A가 나타날 경우 1로 반응하고, 자극 B가 나타날 경우 2로 반응하는 실험을 100회 반복하여 다음과 같은 자극-반응 빈도 결과를 얻었다. 이 시스템에서 최종적으로 제대로 전달된 정보량($\text{bit}$)은 약 얼마인지 계산하시오. (단, 소수점 셋째 자리에서 반올림하여 소수 둘째 자리까지 나타내시오.)

자극 \ 반응	1	2
A	45	5
B	15	35

문제 4

어느 안전 점검 평가지의 문항이 8지선다형(8가지 대안 중 1가지 선택)으로 구성되어 있다. 각 문항의 선택지가 선택될 확률이 모두 동일하다고 가정할 때, 이 문제 1문항이 가질 수 있는 정보량($\text{bit}$)을 구하시오.

문제 5

어느 유해 화학물질 가스 누출 지시계가 정상(녹색), 요주의(황색), 가스 누출 정지(적색)의 3가지 작동 상태를 나타낸다. 하루 동안 측정 결과, 정상 상태일 확률은 $60\%$, 요주의 상태일 확률은 $20\%$, 정지 상태일 확률은 $20\%$였다. 이 지시계가 나타내는 하루 평균 정보량(엔트로피, $\text{bit}$)을 구하시오. (단, 소수점 셋째 자리에서 반올림하여 소수 둘째 자리까지 나타내시오.)

해설

해설 1

공식의 설정:

모든 대안의 발생 확률이 균일한 상태이므로 정보량 공식을 적용합니다.

I = \log_2(N) \text{ (bit)}

수치 대입 및 연산:

대안의 개수 $N = 32$를 공식에 대입합니다.

I = \log_2(32) = 5\ \text{bit}

(※ $2^5 = 32$ 이므로 정보량은 정확히 $5$가 도출됩니다.)

정답: $5\ \text{bit}$ (또는 $5$)

해설 2

각 신호별 발생 확률 ($P(x_i)$) 계산:

전체 조업 조사 시간은 1시간(60분)이므로 각 시간 배분 비율을 환산합니다.

* 파란등 ($P_1$) =

\frac{30\text{분}}{60\text{분}} = 0.5

* 빨간등 ($P_2$) =

\frac{15\text{분}}{60\text{분}} = 0.25

* 노란등 ($P_3$) =

\frac{7.5\text{분}}{60\text{분}} = 0.125

* 초록등 ($P_4$) =

\frac{7.5\text{분}}{60\text{분}} = 0.125

각 신호별 자가 정보량 ($I_i$) 계산:

I_1 = \log_2\left(\frac{1}{0.5}\right) = \log_2(2) = 1\ \text{bit}

I_2 = \log_2\left(\frac{1}{0.25}\right) = \log_2(4) = 2\ \text{bit}

I_3 = \log_2\left(\frac{1}{0.125}\right) = \log_2(8) = 3\ \text{bit}

I_4 = \log_2\left(\frac{1}{0.125}\right) = \log_2(8) = 3\ \text{bit}

평균 정보량 (엔트로피, $H$) 계산:

각 확률과 정보량을 상호 곱하여 모두 더해줍니다.

H(X) = (0.5 \times 1) + (0.25 \times 2) + (0.125 \times 3) + (0.125 \times 3)

H(X) = 0.5 + 0.5 + 0.375 + 0.375 = 1.75\ \text{bit}

정답: $1.75\ \text{bit}$

해설 3

자극($X$)과 반응($Y$)의 확률 분포 산출:

총 빈도 합산값은 $45 + 5 + 15 + 35 = 100$회입니다.

입력 자극 확률:

–

P(A) = \frac{45 + 5}{100} = 0.5

–

P(B) = \frac{15 + 35}{100} = 0.5

출력 반응 확률:

–

P(1) = \frac{45 + 15}{100} = 0.6

–

P(2) = \frac{5 + 35}{100} = 0.4

자극-반응 결합(동시) 확률:
$P(A,1) = 0.45$, $P(A,2) = 0.05$, $P(B,1) = 0.15$, $P(B,2) = 0.35$

각 엔트로피 계산:

입력 엔트로피 ($H(X)$):

H(X) = -(0.5 \log_2 0.5 + 0.5 \log_2 0.5) = -(0.5 \times (-1) + 0.5 \times (-1)) = 1.00\ \text{bit}

출력 엔트로피 ($H(Y)$):

H(Y) = -(0.6 \log_2 0.6 + 0.4 \log_2 0.4)

\log_2 0.6 \approx -0.7370, \quad \log_2 0.4 \approx -1.3219

H(Y) \approx -(0.6 \times (-0.7370) + 0.4 \times (-1.3219)) = -(-0.4422 – 0.5288) = 0.9710\ \text{bit}

결합 엔트로피 ($H(X,Y)$):

H(X,Y) = -(0.45 \log_2 0.45 + 0.05 \log_2 0.05 + 0.15 \log_2 0.15 + 0.35 \log_2 0.35)

\log_2 0.45 \approx -1.1520, \quad \log_2 0.05 \approx -4.3219, \quad \log_2 0.15 \approx -2.7370, \quad \log_2 0.35 \approx -1.5146

H(X,Y) \approx -(0.45 \times (-1.1520) + 0.05 \times (-4.3219) + 0.15 \times (-2.7370) + 0.35 \times (-1.5146))

H(X,Y) \approx -(-0.5184 – 0.2161 – 0.4106 – 0.5301) = 1.6752\ \text{bit}

전달 정보량 ($T(X;Y)$) 계산:

$$T(X;Y) = H(X) + H(Y) - H(X,Y)$$

T(X;Y) = 1.0000 + 0.9710 – 1.6752 = 0.2958\ \text{bit}

소수점 셋째 자리인 8에서 반올림하여 소수 둘째 자리까지 구하면 약 $0.30\ \text{bit}$가 됩니다.

정답: $0.30\ \text{bit}$

해설 4

공식의 설정:

동일한 확률 조건의 $N$지택일형 정보량 계산식을 적용합니다.

I = \log_2(N) \text{ (bit)}

수치 대입 및 연산:

선택지 개수 $N = 8$을 대입합니다.

I = \log_2(8) = 3\ \text{bit}

(※ $2^3 = 8$ 이므로 정보량은 정확히 $3$이 도출됩니다.)

정답: $3\ \text{bit}$ (또는 $3$)

해설 5

각 상태의 발생 확률 ($P(x_i)$) 확인:

정상 ($P_1$) = $60\% = 0.6$
요주의 ($P_2$) = $20\% = 0.2$
정지 ($P_3$) = $20\% = 0.2$

평균 정보량 (엔트로피, $H$) 계산:

각 상태의 확률을 반영하여 수식을 세웁니다.

H(X) = -(0.6 \log_2 0.6 + 0.2 \log_2 0.2 + 0.2 \log_2 0.2)

개별 로그값을 밑 변환 공식으로 연산합니다.

\log_2 0.6 = \frac{\log_{10} 0.6}{\log_{10} 2} \approx -0.7370

\log_2 0.2 = \frac{\log_{10} 0.2}{\log_{10} 2} \approx -2.3219

최종 엔트로피 식에 대입합니다.

H(X) = -(0.6 \times (-0.7370) + 0.2 \times (-2.3219) + 0.2 \times (-2.3219))

H(X) = -(-0.4422 – 0.4644 – 0.4644) = 1.3710\ \text{bit}

소수점 정리:

소수점 셋째 자리에서 반올림하여 정리합니다.

1.3710 \approx 1.37\ \text{bit}

정답: $1.37\ \text{bit}$

⚙️ 다음 테마인 ‘필답 48. 대비 계산 공식 및 VDT 화면 휘도 조도 설계’에 대해서도 이와 같이 HTML/PDF 변환에서 손상되지 않는 LaTeX 포맷과 시험에서 소수점 하한까지 완벽히 마킹할 수 있는 상세 해설 및 5개 변형 기출문제로 세팅해 드릴까요?

필답 47. 정보량 및 발생 확률에 따른 전달 정보량 기댓값 계산

목차