소리가 얇은 표면에 남긴 진동을 초고속 영상으로 읽은 실험. 움직이지 않는 듯 보이는 과자 봉지가 소리의 기록이 된다.
본문
방음 유리 너머에 놓인 과자 봉지를 카메라가 바라본다. 봉지 옆에서 사람이 말을 하지만 카메라에는 소리가 녹음되지 않는다. 그런데 촬영한 화면을 분석하자 알아들을 수 있는 말소리가 되살아난다. MIT와 마이크로소프트, 어도비 연구진이 2014년 발표한 ‘비주얼 마이크로폰’ 실험이다. 봉지에 마이크를 숨긴 것이 아니라 표면이 흔들리는 모습을 읽었다.
소리는 공기의 압력이 변하며 전해진다. 이 변화가 물체에 닿으면 표면도 아주 조금 움직인다. 보통은 눈에 보이지 않을 만큼 작지만, 얇고 가벼운 물체는 소리에 따라 흔들린다. 연구진은 그 움직임이 영상에 남아 있다면 거꾸로 원래의 소리를 짐작할 수 있다고 봤다. 과자 봉지뿐 아니라 식물의 잎과 알루미늄 포일도 실험에 등장한다.
방법의 핵심은 물체가 크게 움직이는 순간을 찾는 데 있지 않다. 화면 속 같은 위치를 프레임마다 비교해 미세한 변화를 모은다. 영상의 한 화소보다 작은 움직임도 색과 밝기의 변화에 영향을 줄 수 있다. 경계에 걸친 색이 조금씩 달라지는 모습을 분석하면 표면이 어느 방향으로 움직였는지 추정할 단서가 된다.
연구진은 이렇게 얻은 진동을 시간 순서로 정리하고 소리 신호로 바꿨다. 방음 유리 뒤의 과자 봉지에서 말을 복원한 실험에는 초고속 카메라가 쓰였다. 소리의 빠른 변화를 따라가려면 그보다 충분히 촘촘하게 움직임을 기록해야 하기 때문이다. 그냥 찍어둔 아무 영상에서 대화를 꺼낼 수 있다는 뜻은 아니다.
물체의 재료도 결과를 바꾼다. 쉽게 흔들리는 얇은 표면과 단단하고 무거운 표면은 같은 소리에 다르게 반응한다. 카메라와 물체 사이의 거리, 조명, 촬영 속도, 주변의 다른 움직임도 영향을 준다. 복원된 소리에는 잡음과 왜곡이 남을 수 있고, 원래 신호의 일부만 알아낼 수도 있다. 연구진이 여러 사물을 바꿔 가며 촬영한 이유다.
이 실험은 소리가 물체에 남긴 물리적인 흔적을 영상으로 측정한 연구다. 이미 발표된 실험 영상에는 원래 소리와 복원한 소리를 비교하는 장면도 담겨 있다. 움직이지 않는 것처럼 보이던 과자 봉지의 주름이, 카메라에는 작은 진동의 기록으로 남아 있었다.
관련 영상: The Visual Microphone: Passive Recovery of Sound from Video
제작: Abe Davis's Research
https://www.youtube.com/watch?v=FKXOucXB4a8
이미지 설명: 과자 봉지의 미세한 진동으로 소리를 복원하는 연구를 표현한 MIT 삽화
이미지 출처: Christine Daniloff / MIT · 연구 소개 삽화
https://news.mit.edu/2014/algorithm-recovers-speech-from-vibrations-0804
확인 자료
news.mit.edu
https://news.mit.edu/2014/algorithm-recovers-speech-from-vibrations-0804
people.csail.mit.edu
https://people.csail.mit.edu/mrub/VisualMic/
Abe Davis's Research · The Visual Microphone: Passive Recovery of Sound from Video
https://www.youtube.com/watch?v=FKXOucXB4a8
영상 제작 채널 · Abe Davis's Research
https://www.youtube.com/@AbeDavisResearch
편집: 사실은 위 자료를 대조해 확인했으며, 해석은 MUADAILY의 편집 관점입니다. 이미지: Christine Daniloff / MIT · 연구 소개 삽화.
사진 자료
Christine Daniloff / MIT · 연구 소개 삽화
https://news.mit.edu/2014/algorithm-recovers-speech-from-vibrations-0804
이미지 설명: 과자 봉지의 미세한 진동으로 소리를 복원하는 연구를 표현한 MIT 삽화
이용 조건: https://creativecommons.org/licenses/by-nc-nd/3.0/
원본 비율 유지 · 크기·형식만 웹용으로 변환
소리는 공기의 압력이 변하며 전해진다. 이 변화가 물체에 닿으면 표면도 아주 조금 움직인다. 보통은 눈에 보이지 않을 만큼 작지만, 얇고 가벼운 물체는 소리에 따라 흔들린다. 연구진은 그 움직임이 영상에 남아 있다면 거꾸로 원래의 소리를 짐작할 수 있다고 봤다. 과자 봉지뿐 아니라 식물의 잎과 알루미늄 포일도 실험에 등장한다.
방법의 핵심은 물체가 크게 움직이는 순간을 찾는 데 있지 않다. 화면 속 같은 위치를 프레임마다 비교해 미세한 변화를 모은다. 영상의 한 화소보다 작은 움직임도 색과 밝기의 변화에 영향을 줄 수 있다. 경계에 걸친 색이 조금씩 달라지는 모습을 분석하면 표면이 어느 방향으로 움직였는지 추정할 단서가 된다.
연구진은 이렇게 얻은 진동을 시간 순서로 정리하고 소리 신호로 바꿨다. 방음 유리 뒤의 과자 봉지에서 말을 복원한 실험에는 초고속 카메라가 쓰였다. 소리의 빠른 변화를 따라가려면 그보다 충분히 촘촘하게 움직임을 기록해야 하기 때문이다. 그냥 찍어둔 아무 영상에서 대화를 꺼낼 수 있다는 뜻은 아니다.
물체의 재료도 결과를 바꾼다. 쉽게 흔들리는 얇은 표면과 단단하고 무거운 표면은 같은 소리에 다르게 반응한다. 카메라와 물체 사이의 거리, 조명, 촬영 속도, 주변의 다른 움직임도 영향을 준다. 복원된 소리에는 잡음과 왜곡이 남을 수 있고, 원래 신호의 일부만 알아낼 수도 있다. 연구진이 여러 사물을 바꿔 가며 촬영한 이유다.
이 실험은 소리가 물체에 남긴 물리적인 흔적을 영상으로 측정한 연구다. 이미 발표된 실험 영상에는 원래 소리와 복원한 소리를 비교하는 장면도 담겨 있다. 움직이지 않는 것처럼 보이던 과자 봉지의 주름이, 카메라에는 작은 진동의 기록으로 남아 있었다.
관련 영상: The Visual Microphone: Passive Recovery of Sound from Video
제작: Abe Davis's Research
https://www.youtube.com/watch?v=FKXOucXB4a8
이미지 설명: 과자 봉지의 미세한 진동으로 소리를 복원하는 연구를 표현한 MIT 삽화
이미지 출처: Christine Daniloff / MIT · 연구 소개 삽화
https://news.mit.edu/2014/algorithm-recovers-speech-from-vibrations-0804
확인 자료
news.mit.edu
https://news.mit.edu/2014/algorithm-recovers-speech-from-vibrations-0804
people.csail.mit.edu
https://people.csail.mit.edu/mrub/VisualMic/
Abe Davis's Research · The Visual Microphone: Passive Recovery of Sound from Video
https://www.youtube.com/watch?v=FKXOucXB4a8
영상 제작 채널 · Abe Davis's Research
https://www.youtube.com/@AbeDavisResearch
편집: 사실은 위 자료를 대조해 확인했으며, 해석은 MUADAILY의 편집 관점입니다. 이미지: Christine Daniloff / MIT · 연구 소개 삽화.
사진 자료
Christine Daniloff / MIT · 연구 소개 삽화
https://news.mit.edu/2014/algorithm-recovers-speech-from-vibrations-0804
이미지 설명: 과자 봉지의 미세한 진동으로 소리를 복원하는 연구를 표현한 MIT 삽화
이용 조건: https://creativecommons.org/licenses/by-nc-nd/3.0/
원본 비율 유지 · 크기·형식만 웹용으로 변환
편집 안내
본문의 출처 링크는 새 창으로 열립니다.
