Multimedia_Fundamentals

Signal

• 보이지 않는 정보를 electrical waveform으로 physical하게 구체적으로 표현한 것
• All nature signal exists in the analog form --> 가공 x

Analog signal VS Digital signal

• 아날로그는 continuous-time signal로 구성되어 있고, digital은 discrete-time signal로 구성되어 있다. 

Analog signal

• 일반적으로 sin, cos로 표현 가능
• Amplitude에 거의 모든 정보를 담고 있다. 
  • Amplitude: strength of the signal --> SPL(Sound Pressure Level)

p0: 우리가 겨우 1khz 의 소리를 들을 수 있을 때 측정되는 것 

 

Frequency

• Number of repetitions of same pattern in 1 sec
• Tone signal: 단일 주파수
  
  • 음악과 단일 주파수의 차이: 음악은 여러가지의 주파수가 조화롭게 형성된 것

Digital Binary

• 증폭의 정보가 담겨있는 것이 아님
• 0,1로 대체하여 노이즈에 강인함

네트워크를 통해 시그널을 전송하면 생기는 두 가지 신호 품질이 저하되는 요인

일단 시그널을 전송하는 두 가지 방법이 있다.

1. Analog transmission

2. Digital transmission

 

1번의 경우에는

2~3km 마다 감쇠된 소리를 amplifier를 사용하여 증폭시키는데, 여기서 문제점은 noise도 같이 증폭된다는 것이다. 

 

하지만 2번의 경우에는 

digital transmission은 repeater라는 것을 사용하는데, 0과 1을 구분하여 전송하기 때문에 노이즈가 끼는 걱정을 하지 않아도 된다. 

 

따라서 네트워크를 통해 시그널을 전송하면 생기는 두 가지 문제는 노이즈와 소리 감쇠인데, 이 문제점은 digital transmission을 사용하여 해결할 수 있다. 

 

Advantage of digital signal processing 

• Allows high quality of signal processing
• Possible to setup programmable digital system
• Possible to process multimedia data
• Good security 

Weak point of DSP

• Need huge amount of digital data

Analog to Digital Conversion(ADC)

Two Steps in ADC

1. Sampling(Sample and Hold)

2. Quantization and Digitization

이 두 과정을 거치면 binary sequence를 알게 되고 이 기술을 PCM(Pulse Code Modulation) 이라고 한다. 

Sampling: 특정한 간격마다 아날로그의 시그널의 샘플을 추출한다. 

이 특정한 간격을 sampling period Ts라고 하고, Ts의 역수인 1/Ts를 sampling rate 이라 한다. 

 

Quantization: 특정한 간격마다 추출 된 아날로그의 시그널을 컴퓨터가 나타낼 수 있는 것으로 바꾼다. 

Digitization: 컴퓨터가 나타낼 수 있는 추출 된 시그널을 digital binary로 바꾼다. 

 

위의 사진에서 보이듯 quantization error를 줄이기 위해서는 비트 수를 늘려야하는데, 비트 수를 늘리면 data 용량이 많아진다는 단점이 있다. 또한 Ts, sampling period, 가 낮아야 에러가 줄어드는데 이는 sampling rate이 높다는 것을 의미한다. 

 

Nyquist-Shannon sampling theory

아날로그 시그널 x(t)를 y(t)로부터 완벽하게 복원하기 위한 최소 fs의 값. 

 

"If fs>2 * f(max), Then y(t) = x(t)" 

만약 fs= f(max), fs= Nyquist sampling rate이라고 불린다. 

Nyquist frequency: 아날로그 신호가 포함하고 있는 최고 주파수 성분 

 

만약 fs가 f(max)의 두배보다 작다면?

Aliasing이 발생: analog signal 복원 불가.

 

Aliasing이 발생하지 않게 하기 위해, anti-aliasing filter가 존재한다. 

 

ex)

사람의 평균 주파수는 4 kHz이다. 

4kHz x 2 = 8 kHz. fs를 8 kHz 로 둔다고 가정하자. 

만약 사람의 목소리가 4 kHz를 넘어간다면 aliasing이 발생할 것이다. 따라서 4 kHz가 넘는 소리를 미리 차단해주는 filter를 anti-aliasing filter라고 한다. 이것을 따로 cut-off frequency라고 한다.

 

Quantization

• 만약 quantization bits(N)이 증가한다면: 높은 해상도, 좋은 음질
• 감소한다면: 오직 작은 양의 데이터만 처리할 수 있을 것이다. 

Signal-to-Noise Ratio(SNR)

신호 대 잡음비를 의미함

SNR formula: 6*N 으로 기억

 

SNR improves 6 dB as the number of bits N increased by 1. 

Since SNR= 6N, 6N>90, N=15.

2^4=16. (binary는 2의 n승으로밖에 존재하지 않는다) 

16 bits are needed

 

Quantization Effects

만약 quantization level이 낮다면, 

 

Sound: coarse(조잡한) hiss, loss of quite passages, general fuzziness

Images: Color Banding, Posterization

Dithering: adds random patterns of pixels to improve image quality

Data Rate(Bit Rate)

Data rate = R = fs x N 

ex) 아날로그 음악을 디지털로 바꿀 때 초당 몇 비트 이상으로 재생을 해야지 아날로그 급의 음질을 유지할 수 있는지

\

Digital로 신호를 보내게 되면 왜 더 많은 data 용량이 필요할까요?

Digital modulation: the process of encoding a digital signal into the analog carrier signal

Digital modulation의 종류:

 

ASK(Amplitude Shift Keying)

비트를 한 개씩 보냄

M-array ASK: transmist more bits per carrier signal 

Data rate and BW relationship

따라서 BW의 주파수 성분이 몇 배씩 높아지기 때문에, 많은 용량을 필요로 한다. 

 

Frequency-Domain Spectrum Analysis

DTMF Telephone

• 이러한 사고나는(?) 소리는 235 Hz의 단일 주파수 성분을 가지고 있는데 이 소리를 죽이는 것은 notch filter라고 한다.

예제 문제