[CS5670] Lecture 14: Light & Perception

자료 출처: CS5670 Light & Perception

 

 

이번 강의에서 다룰 내용은 Light과 Perception입니다. 

 

Properties of light

• What is light?
• How do we measure it?
• How does light propagate?
• How does light interact with matter?

 

Radiometry

픽셀의 밝기를 결정하는 것은 무엇인가요?

 

 

 

 

What is light?

• Electromagnetic radiation (EMR) moving along rays in space
  • $R(\lambda)$ is EMR, measured in units of power (watts)
  • $\lambda$ is wavelength

 

Light field

• We can describe all of the light in the scene by specifying the radiation (or "radiance" along all light rays) arriving at every point in space and from every direction

 

The plenoptic function describes all of this light: $R(X,Y,Z,\theta, \phi, \lambda, t)$

 

 

Color perception

 

Perceiving light

• How do we convert radiation into “color”?
• What part of the spectrum do we see?

 

색을 어떻게 radiation으로 바꾸나요? 스펙트럼의 어떤 부분을 볼 수 있나요?

 

 

Visible light

 

파장 범위의 electromagnetic radiation을 봅니다.

 

 

 

 

Light spectrum

 

빛의 모습은 power spectrum에 의존합니다.

 

• 각 파장에서 얼마나 많은 power(or energy)가 있는지

 

 

우리의 시각 시스템은 light spectrum에서 color로 변환됩니다. 이건 그런데 오히려 더 복잡한 변형입니다.

 

 

The human visual system

 

 

Color perception

 

빛은 photosensitive cells을 가진 망막을 통해 들어옵니다.

*photosensitive란 어떤 물체가 햇빛에 노출되었을 때 반응하는 것을 의미합니다.

 

이 세포들은 spectrum을 작은 인산 값들로 바꿉니다.

 

 

Density of rods and cones

 

 

Rods와 Cones는 망막에 균일하게 분포되어 있지 않습니다.

 

• Rods: intensity를 담당
• Cones: color를 담당

 

– Fovea Small region (1 or 2 °°) at the center of the visual field containing the highest density of cones (and no rods).
– Less visual acuity in the periphery many rods wired to the same neuron

 

 

 

 

Brightness contract and constancy

 

저 중앙에 있는 box의 색은 모두 같습니다. 그러나 주변에 무슨 색이 있느냐에 따라 색이 달라집니다.

 

 

• brightness contrast: 일정한 색상의 영역은 주변의 강도에 따라 더 밝거나 어둡게 보이는 성질을 말합니다.
• brightness constancy: 다양한 조명 조건 아래에서 동일하게 보이는 표면의 성질을 말합니다. 

 

 

 

Light response is nonlinear

 

우리의 시각 시스템은 아주 큰 dynamic range를 가집니다. 우리는 밝고 어두운 것 모두 같은 시간에 봅니다. 색을 인식하는 하나의 메커니즘은 엄청 큰 규모에서 빛의 강도를 감지하는 것입니다.

 

또 다른 메커니즘은 적응입니다. rods와 cones는 저조도에서 더 민감하고 밝은 조명에서는 덜 민감하도록 적응합니다.

 

 

Visual dynamic range

 

흰 종이 한 장은 달이 없는 밤보다 야외 햇빛 아래서 천만배 더 밝을 수 있습니다. 그러나 주어진 조명 조건에서 빛의 인식 범위는 약 100배에 불과합니다.

 

 

 

인간도 이 전체 범위에 항상 민감했다면 일반적인 장면에서 밝기 수준을 구별할 수 없었을 것입니다.

 

시각 시스템은 현재 전체 또는 주변 조명 수준과 일치하도록 dynamic range를 제한하여 이 문제를 해결합니다.

 

 

Color perception

Cones은 3타입이 있습니다.

 

• 각자 스펙트럼의 다른 영역에서 민감하게 반응합니다.
  • region은 overlap 됩니다.
  • blue는 짧습니다.
  • green은 중간 길이입니다.
  • red는 깁니다.
• 다른 감각들: green과 red에 더 민감합니다.
• (사람마다 나이에 따라 다릅니다)
• cone의 한 가지 타입에서 적어도 하나의 color blindness가 있습니다.

 

 

• Rods와 Cone은 spectrum에서 filter 역할을 합니다.
• 필터의 출력을 얻으려면 response curve에 spectrum을 곱하고 모든 파장에 대해 적분합니다.
• 각 cone은 하나의 숫자를 생성합니다.

 

• Q: 전체 스펙트럼을 3개의 숫자로 어떻게 나타낼 수 있나요?
• A: 할 수 없습니다. 대부분의 정보가 손실됩니다.

 

결과적으로 두 개의 다른 스펙트럼이 구별할 수 없는 것처럼 보일 수 있고, 이러한 스펙트럼을 metamers라고 합니다.

 

 

Perception summary

 

perception에 대한 내용 요약입니다.

 

radiance에서 색을 인식하는 것의 mapping은 꽤 복잡합니다.

 

• 우리는 데이터의 대부분을 버리빈다.
• logarithm을 적용합니다.
• pupil size에 따라 명도에 영향 받습니다.
• 밝기 대비 및 불변 효과

 

카메라에 적용되는 것도 같습니다. 그러나 이러한 효과를 수정할 수 있는 도구가 있습니다. (computational photography)

 

 

 

Cameras also see color

Bayer filter pattern in front of sensor / What the camera sees (“raw” image) / Demosaicked image

 

일반 기술은 센서의 앞에서 color filter의 모자이크로 둡니다.

 

색상이 interpolate 되어 전체 해상도의 demosaicked 된 색상 이미지를 생성합니다.

 

 

Early color photography

 

컬러 필름이 발명되기 전 Sergey Prokudin Gorsky는 3개의 다른 color filter를 사용하여 3개의 separate exposures을 수정했습니다. 

 

 

Film has its own sensitivity

 

"… the film of Lincoln’s era was sensitive only to blue and UV light, causing cheeks to appear dark, and overly emphasizing wrinkles by filtering out skin subsurface scatter which occurs mostly in the red channel. Hence, the deep lines and sharp creases that we associate with Lincoln’s face are likely exaggerated by the photographic process of the time.” 

 

 

블라블라 솰라솰라…

 

---

Light transport

 

light → Illumination → Perception

 

 

 

Light Sources

• 기본 타입
  • point source
  • directional source
    • a point source that is infinitely far away
  • area source
    • a union of point sources
• 더 일반적인 경우
  
  • a light filed can describe any distribution of light sources
• What happens when light hits an object?

 

 

 

Modeling Image Formation

 

Track a “ray” of light all the way from light source to the sensor 

 

우리는 다음에 대해 이야기 해봐야 합니다.

• 빛이 장면과 상호 작용하는 방식
• 픽셀 값이 world Track에서 빛 에너지와 관련되는 방식

 

 

Directional Lighting

• 주요 속성: 모든 광선은 평행합니다.
• 무한히 먼 point source와 동일합니다.

 

 

Lambertian Reflectance

 

 

빛이 표면에 반사되어 우리의 눈으로 인식하게 되는 이미지가 있을 때, 그 이미지를 image intensity라고 표현한다면 이는 Surface normal(표면 법선)과 Light direction(빛의 방향)의 곱입니다. 이는 밑에 코사인 법칙으로도 설명되는데 빛이 표면에 반사될 때 만들어지는 각도를 cos이라고 합니다. 빛의 ray는 $L$(빛의 방향), 표면의 법선 $N$이 만드는 각이 cosine이라고 할 때, 이 cosine에 비례한다고 볼 수 있고 이를 Lambert's cosine law(램버트 코사인 법칙)이라 합니다.

 

 

 

 

Materials - Three Forms

 

위에서 차례대로 하나씩 설명하자면

 

첫 번째는 램버시안 반사를 의미합니다. (Lambertian surface and reflectance)

 

실제 표면 같은 경우는 빛이 비추면 그 표면은 보는 방향에 따라 밝기가 변합니다. 한 지점에서 반사하는 빛의 방향이 다 다르기 때문인데요.

 

그러나 Lambertian surface는 모든 방향으로 같은 양의 빛을 반사합니다. 따라서 보는 위치에 관계 없이 같은 밝기로 보이게 됩니다.

 

두 번째는 정반사(ideal specular)를 의미합니다.

 

정반사는 같은 각도를 갖고 표면에서 반사되는 경우를 의미합니다. 거울이 이 경우에 해당됩니다.

 

세 번째는 난반사(directional diffuse)를 의미합니다.

 

diffuse reflection은 입사광이 많은 방향으로 반사되는 경우를 의미합니다. 두 번째와 세 번째의 차이는 유광, 무광이라 볼 수 있습니다. 색을 흡수하느냐 흡수하지 못하느냐의 차이입니다.

 

 

 

Ideal Diffuse Reflection

여러 scattering materials가 있는 특성이고, 이상적인 diffuse reflection은 무광택 표면에 적절합니다.

 

 

 

Lambertian Reflectance

 

 

1. Incoming:반사된 에너지는 $L$과 $N$ 사이의 코사인 각도에 비례합니다.

2. Outcoming:측정된 intensity는 viewpoint와 독립적입니다.

 

 

 

Lambertian Reflectance: Incoming

Reflected energy is proportional to cosine of angle between L and N(위와 동일한 내용)

 

표면에 비치는 빛은 cosine에 비례합니다.

 

 

 

Lambertian appearance is view-independent

 

각도 $\theta$에 반사된 광자의 수는 cos($\theta$)에 비례합니다. 그러나 더 큰 각도에서 더 큰 pixel footprint로 인해서 모든 각도에서 모양이 동일합니다. 

 

 

 

 

 

 

 

 

Final Lambertian image formation model

 

1. Diffuse albedo : what fraction of incoming light is
• Introduce scale factor
2. Light intensity: how much light is arriving?
• Compensate with camera exposure (global scale factor)
3. Camera response function
• Assume pixel value is linearly proportional to incoming energy (perform radiometric calibration if not)

 

 

*Albedo

알베도는 천체의 외부에서 온 입사광에 대한 반사광의 비율이다. 반사능, 반사율이라도 한다. (출처: 과학문화포털 사이언스올)

 

• Objects can have varying albedo and albedo varies with wavelength

 

A Single Image: Shape from shading

 

 

normal과 light source 사이의 각도를 측정할 수 있습니다. 그러나 표면 모양을 연산하기에 정보는 충분하지 않습니다. 그래서 추가 정보를 모을 수 있는데 예를 들면,

 

• 실루엣 같은 몇 가지 normal이 알려져 있다고 가정합니다
• 통합성(integrability)를 위한 주변 법선에 제약을 줍니다.
• smoothness (부드러움)

 

실제로 잘 수행하는 것은 어렵습니다. 덧붙여서 얼마나 많은 실제 objects가 일정한 albedo를 가질지도 마찬가지입니다. 그러나 이건 딥러닝이 도와준다고 합니다.

 

 

Application: Detecting composite photos

 

Fake photo

Real photo

 

 

해당 강의의 내용은 여러 가지 개념이 나왔는데 가장 중요한 건 Rrambertian reflectance에 따른 consine law와 그에 따른 개념인 것 같습니다.

 

아까 강의 내용을 정리하기 전에 있었던 질문을 다시 살펴보겠습니다.

 

• What is light?
• How do we measure it?
• How does light propagate?
• How does light interact with matter?

 

빛이란 무엇이고 어떻게 측정하며 빛이 어떻게 전파되는지, 물질에서 빛이 어떻게 반응(상호작용)하는지였습니다.

 

강의 정리 내용에 잘못된 부분이 있으면 댓글로 지적 부탁드립니다. 감사합니다!