1. No category

KSAE 2011 Annual Conference
Copyright ⓒ 2011 KSAE / KSAE11-A0241
도심지역 적용을 위한 uv-disparity 기반 장애물 검출 개선 방안
1)
*2)
서재규 ·정호기
1)
2)
한양대학교 자동차전자제어연구소 ·한양대학교 기계공학부
Enhancement of uv-disparity-based obstacle detection in urban environments
Jae Kyu Suhr1)·Ho Gi Jung *2)
1)
Research Institute of Automotive Electronics and Control, Hanyang University, 222 Wangsimni-ro, Seongdong-gu, Seoul 133-791,
Korea
*2)
School of Mechanical Engineering, Hanyang University, 222 Wangsimni-ro, Seongdong-gu, Seoul 133-791, Korea
Abstract : Obstacle detection based on v-disparity is one of the popular methods for detecting obstacles using a stereo camera.
However, when applying this method to urban environments, v-disparity can severely be affected by buildings beside the roads.
Therefore, this paper proposes a method to remove building surfaces from uv-disparity for enhancing the performance of vdisparity-based obstacle detection in urban environments. The proposed method first finds pixels consisting road surface and
detects lanes to estimate the location of vanishing point. Then, u-disparity is divided into left and right parts according to the
location of the vanishing point. Finally, building surfaces are detected and eliminated by estimating lines in each part of udisparity by using Hough transformation. Experimental results reveal that the uv-disparity with the proposed method more
clearly shows obstacle regions compared to the uv-disparity without it.
Key words : Obstacle detection(장애물 검출), uv-disparity(uv-변위), stereo vision(스테레오 비전), urban environment (도
심 지역)
1. 서 론
지능형 자동차 연구에서 장애물을 검출하는 것
은 매우 중요한 주제 중 하나이다. 이러한 연구에
서 2차원 영상 정보와 3차원 거리 정보를 함께 사
용 가능한 스테레오 카메라 기반 방법이 널리 연
구되고 있다. 이와 같은 스테레오 비전을 사용한
방법은 크게 disparity map 기반1), inverse
perspective mapping (IPM) 기반2), v-disparity
기반3) 분류될 수 있다. 이들 중 disparity map의
세로축 좌표 히스토그램을 구하여 이로부터 지표
면과 그 위에 존재하는 장애물을 검출하는 vdisparity 기반 방식은 도로 면에 대한 online
calibration과 장애물 검출을 동시에 수행할 수 있
다는 장점을 갖기 때문에 유용하게 사용되고 있다.
하지만 이러한 v-disparity 기반 방식을 도심 지
역에 적용할 경우에는 도로 양측 건물 면에서 생성
된 disparity map의 값들이 v-disparity에 다수 반
영되어 주로 관심이 되는 전방 차량 등의 장애물을
검출하는데 혼란을 주게 된다. Fig. 1은 이러한 상
황의 예를 보여준다. Fig. 1(a)는 세로 방향 에지
의 disparity map을 보여주고, (b)는 (a)로부터 생
성된 v-disparity를 보여준다. 이 그림을 통해서
도심지역에서 건물이 존재하는 경우에는 vdisparity에 전방 차량에 해당하는 장애물이 부각
되어 나타나지 않는 것을 확인 할 수 있다.
(a)
(b)
Fig. 1 Difficulties in v-disparity-based obstacle detection in
urban environments.
따라서 본 논문에서는 도심 지역에서 vdisparity 기반 장애물 검출 방법을 적용할 경우
의 성능을 향상시키기 위해서 u-disparity 기반
건물 검출 및 제거 방법을 제안하였다. 제안된 방
법은 Fig. 2에 나타난 순서도와 같이 진행된다.
1) 스테레오 카메라로부터 획득된 두 영상 각각에
서 수직방향 에지 픽셀들을 추출한다. 2) 주변 픽
셀과의 차이를 코드화하는 픽셀 분류를 통해 고속
으로 스테레오 매칭을 실시함으로써 disparity
map을 생성한다. 3) 획득된 disparity map의 가로
축과 세로축 누적을 통해 uv-disparity 생성한다.
4) v-disparity를 사용하여 도로 면을 추출하고
도로 면을 이루는 픽셀들을 사용하여 차선을 검출
하여 소실점의 위치를 계산한다. 5) 소실점의 위
치를 기준으로 u-disparity를 좌우 두 영역으로
구분한 후, 각각의 영역에서 직선을 추출함으로써
도로 주변의 건물 면들을 추출한다. 6) 건물 면과
도로 면에 해당하는 픽셀을 disparity map에서 삭
제한 후 uv-disparity 생성하여 장애물 검출을 실
시한다.
본 논문은 다음과 같이 구성된다. 2장에서는 스
테레오 영상을 사용한 disparity map 생성에 대하
여 설명하고, 3장에서는 v-disparity 생성과 이를
사용한 바닥 면 추정에 대하여 소개한다. 4장에서
는 u-disparity 생성과 이를 사용한 건물 면 추정
에 대하여 설명하고, 5장에서는 uv-disparity 기
반 장애물 검출 방법을 기술한다. 마지막으로 6장
에서는 실험 결과를 보이고, 7장에서는 논문의 결
론을 맺는다.
Fig. 2 Flowchart of the proposed method.
2. Disparity Map 생성
자동차 응용의 경우, 빠른 연산을 위해서 전체
영상에 대해 조밀한 disparity map을 생성하기보다
는 수직 에지에 대한 disparity map만을 생성하는
것이 일반적이다.4) 따라서 본 논문에서도 수직 에
지 픽셀들만을 사용하여 주위 픽셀과의 밝기 차이
를 기반으로 픽셀을 분류한 후 분류된 코드를 사용
하여 스테레오 매칭을 실시하는 방법을 사용하였
다.4)
픽셀 분류를 위해서 픽셀의 밝기값과 이의 상하
좌우 네 픽셀들의 밝기값들을 비교하여 임계치 이
상으로 밝은지 여부와 임계치 이하로 어두운지 여
부를 각각 1bit로 표현한다. 주위 네 픽셀과의 비
교 결과를 표현하기 위해서는 8bit의 코드가 사용
된다. 다시 말해, 왼쪽, 위쪽, 오른쪽, 아래쪽 픽
셀과의 비교 결과 2bit씩을 차례로 나열하여 코드
를 만든다. 예를 들어, 좌측 픽셀이 임계치 이상으
로 더 밝고 우측 픽셀이 임계치 이하로 더 어두운
경우에, 해당 pixel에 이진수 10000100을 코드로
부여한다. 이러한 픽셀 분류 방법은 최근 여러 패
턴인식 문제에서 우수한 성능이 보고된 Local
Binary Pattern(LBP)과 유사한 형태를 가지고 있다
고 할 수 있겠다.5) 좌측과 우측 영상에서 이렇게
코들을 생성한 후 코드가 같으면서 같은 수평선 위
에 존재하는 점을 대응되는 점으로 설정함으로써
스테레오 매칭을 실시하게 된다. Fig. 3은 이러한
(a)
(a)
(b)
Fig. 4 Generation of v-disparity by accumulating the pixels with
the same disparity values at the same vertical location. (a) disparity
(b)
map (b) generated v-disparity.
(a)
(b)
(c)
Fig. 5 Estimation of ground plane using Hough transform-based
(c)
Fig. 3 Generation of disparity map. (a) stereo image pair (b)
coded vertical edge pixels (c) generated disparity map.
방식으로 생성된 disparity map을 보여준다. 이
그림에서 (a)는 스테레오 영상 쌍을 보여주며,
(b)는 (a)의 수직 에지를 추출한 후 픽셀 분류를
실시한 결과를 보여준다. 마지막으로 (c)는 픽셀
분류 결과를 바탕으로 생성된 disparity map을 보
여준다.
3. v-disparity 기반 바닥 면 추정
3.1 절 v-disparity 생성
v-disparity란 disparity map에서 같은 세로축
위치에 존재하면서 같은 disparity 값을 갖는 픽
셀들을 누적시킴으로써 획득된다.3) Fig. 4(a)는
line estimation in v-disparity. (a) v-disparity (b) line estimation
result (c) disparity map of detected ground plane.
disparity map을 보여준다. 이 disparity map에서
같은 세로축에 위치하면서 동시에 같은 disparity
값을 가지는 픽셀들은 v-disparity의 동일 세로축
에 누적되며, 누적되는 가로축 위치는 픽셀의
disparity 값이 된다. Fig.4(b)는 이러한 방식으로
생성된 v-disparity를 보여준다.
3.2 절 바닥 면 추정
바닥 면이 평면을 이루고 있으며 영상의 가로축
과 바닥 면이 평행하도록 카메라를 설치하였다고
가정한다면, 바닥 면을 이루는 픽셀들은 vdisparity에서 직선을 이루게 된다. Fig. 5(a)은
v-disparity 상에서 직선으로 나타나게 되는 바닥
면을 이루는 픽셀들을 표시한 것이다. 따라서
(a)
(b)
(a)
(b)
(c)
Fig. 6 Generation of u-disparity by accumulating the pixels
with the same disparity values at the same horizontal location. (a)
disparity map (b) generated u-disparity.
바닥 면을 검출하기 위해서는 v-disparity로부터
가장 우세한 직선을 추정하면 된다. 하지만 vdisparity에는 바닥 면을 이루는 직선 상의 점들
뿐만 아니라 다른 물체들을 이루는 점들 또한 다
수 존재하기 때문에 단순히 least square 추정법
을 사용할 수 없게 된다. 따라서 본 논문에서는
outlier에 강인한 파라미터 추정법인 Hough
transform 기반 직선 추정방법을 사용하였다.6)
Fig. 5(b)는 v-disparity에 Hough transform을 적
용하여 추정한 직선을 보여주고, (c)는 직선 추정
결과를 기반으로 disparity map에서 바닥 면을 이
루는 픽셀들만을 추출하여 그려준 결과를 보여준
다.
4. u-disparity 기반 건물 면 추정
4.1 절 u-disparity 생성
u-disparity를 생성하는 방법은 누적을 실시하
는 방향이 가로축이라는 것을 제외하고는 v disparity를 생성하는 방법과 동일하다. 7) Fig.
6(a)는 disparity map을 보여준다. 이 disparity
map에서 같은 가로축에 위치하면서 동시에 같은
disparity 값을 가지는 픽셀들은 u-disparity의
동일 가로축에 누적되며, 누적되는 세로축 위치는
픽셀의 disparity 값이 된다. Fig. 6(b)는 이러한
Fig. 7 Estimation of building surfaces using Hough transformbased line estimation in u-disparity. (a) u-disparity (b) line
estimation result (c) disparity map of detected building surfaces.
방식으로 생성된 u-disparity를 보여준다.
4.2 절 건물 면 추정
일반적으로 도심지역에서는 건물들이 도로를
기준으로 좌우 측에 존재하며 도로에 인접한 건물
면은 대부분 평면으로 이루어져 있게 된다. 이러한
가정 하에 건물 면들은 u-disparity 상에서 도로를
기준으로 좌측 건물 면을 이루는 하나의 직선과 우
측 건물 면을 이루는 또 하나의 직선으로 나타나게
된다. Fig. 7(a)은 u-disparity 상에서 두 개의 직
선으로 나타나는 양측 건물 면을 이루는 픽셀들을
표시한 것이다.
u-disparity 상에 나타나는 두 직선을 검출하기
위하여 먼저 Fig. 5(c)에서 보여지는 바닥 면의
disparity map 정보를 사용하여 차선을 검출8)한 후
두 차선이 교차하는 소실점 위치의 가로축 좌표를
도로의 좌/우측을 구분하는 기준으로 설정하였다.
그 후 좌측에 해당하는 u-disparity에 Hough
transform을 적용하여 도로 좌측 건물 면에 해당하
는 직선을 검출하였고, 우측에 해당하는 udisparity에도 동일한 동작을 수행하여 도로 우측
건물 면에 해당하는 직선을 검출하였다. Fig. 5(b)
는 검출된 두 직선을 보여준다. Fig. 5(c)의 좌우
영상은 각각 추출된 도로 좌측과 우측에 존재하는
건물 면들의 disparity map을 보여준다.
(a)
Fig. 8 Obstacle detection using the proposed uv-disparity-based
method.
5. uv-disparity 기반 장애물 검출
앞서 설명된 도로 면 검출과 건물 면 검출을
실시한 후에는 uv-disparity 상에서 안정적으로
장애물을 검출하기 위하여 목표 장애물이 아닌 도
로와 건물을 이루는 픽셀들을 제거해 준다. Fig.
8은 제안된 uv-disparity 기반 방식을 사용하여
도로면과 건물면을 제거한 후 보정된 disparity
map과 그로부터 획득된 uv-disparity를 보여준다.
본 그림은 통해 제안된 방법을 사용한 경우에 uvdisparity 상에서 지표면 위에 존재하는 장애물
(전방 차량)의 영역이 선분으로 명확히 나타나게
됨을 알 수 있다.
6. 실험 및 결과 비교
제안된 방법은 실제 차량에 설치된 스테레오 카메
라에서 주행 중에 취득된 두 가지 상황의 영상에
적용되었다. Fig. 9와 10은 제안된 건물 면 제거
방법을 사용하였을 경우와 이를 사용하지 않았을
경우에 생성된 uv-disparity의 결과를 비교한 그
림을 보여준다. 두 상황에서 살펴 볼 수 있듯이
제안된 방법을 통해 건물 면들을 제거한 후 획득
한 uv-disparity에서는 그렇지 않은 경우에 비해
장애물에 해당하는 수직과 수평 방향 선분들이 더
욱 명확히 나타남을 알 수 있다. 이는 제안된 방
법을 사용하였을 경우가 그렇지 않은 경우에
(b)
Fig. 9 Comparison of uv-disparity (a) with and (b) without the
proposed method.
비하여 uv-disparity를 사용한 장애물 검출이 유리
하다는 것을 보여준다. 특히 두 경우 모두 건물 면
을 제거하지 않았을 경우에는 v-disparity 에 건물
면들에 해당하는 잡음성분이 다수 첨가되어 장애물
에 해당하는 선분을 추출하기 매우 힘든 형태가 됨
을 확인할 수 있다. 제안된 방법을 사용하였을 경
우가 그렇지 않은 경우에 비하여 uv-disparity를
사용한 장애물 검출이 유리하다는 것을 보여준다.
특히, 두 경우 모두 건물 면을 제거하지 않았을 경
우에는 v-disparity 에 건물 면들에 해당하는 잡음
성분이 다수 첨가되어 장애물에 해당하는 선분을
추출하기 매우 힘든 형태가 됨을 확인할 수 있다.
를 적용하지 않은 경우에 비해서 장애물 검출에 유
리한 uv-disparity를 획득할 수 있음을 확인할 수
있었다.
References
1) Z. Sun, G. Bebis, and R. Miller, “On-Road
Vehicle
Detection:
A
Review,”
IEEE
Transactions on Pattern Analysis and Machine
Intelligence, Vol. 28, No. 5, pp. 1-18, 2006.
2) C. Gao, “Vehicle Detection,” Lecture Material
of Advanced Topics in Mobile Robotics: The
DARPA
(a)
Urban
Challenge
(CSE398-012/498-012),
LEHIGH University, 2007.
3) R. Labayrade, D. Aubert, J.-P. Tarel,“Real
Time Obstacle Detection in Stereovision on Non
Flat
Road
Geometry
Through
disparityRepresentation,”IEEE
V-
Intelligent
Vehicles Symposium, pp. 646-651, 2002.
4) U. Franke, and I. Kutzbch, “Fast stereo based
object detection for stop & go traffic.” IEEE
Intelligent Vehicles Symposium, pp. 339−344,
1996.
5)
T.
Ojala,
M.
Pietikäinen,
“Multiresolution
Gray-Scale
T.
Mäenpää,
and
Rotation
Invariant Texture Classification with Local
(b)
Binary
Fig. 10 Comparison of uv-disparity (a) with and (b) without the
Patterns,”
IEEE
Transactions
on
Pattern Analysis and Machine Intelligence, Vol.
proposed method.
24, No. 7, pp. 971-987, 2002.
6)
P.V.C.
Hough,
Recognizing
4. 결 론
“Method
Complex
and
Means
Patterns,”U.S.
for
Patent
3,069,654, 1962.
본 논문은 uv-disparity 기반 장애물 검출 방법
을 도심지역에 적용할 경우에 발생하는 도로 주변
건물들에 의한 문제를 해결하는 방법을 제안하였
다. 제안된 방법은 v-disparity에서 바닥에 해당
하는 픽셀들을 알아내고 이들로부터 차선을 검출
하여 소실점의 위치를 추정한 후 이를 기준으로
u-disparity를 좌우 두 영역으로 나누어 각각의
영역 에서 건물 면에 해당하는 직선들을 검출하여
제거함으로써 장애물 검출에 유리한 uv-disparity
를 획득하는 순서로 진행된다. 제안된 방법을 실
제 주행 상황에서 취득한 영상에 적용한 결과 이
7)
Z.
Hu,
efficient
scene
K.
Uchimura,
algorithm
"U-V-disparity:
for
analysis,"
stereovision
Intelligent
an
based
Vehicles
Symposium, pp. 48-54, 2005.
8) H. G. JUNG, Y. H. LEE, H. J. KANG, J. Kim,
“SENSOR
LKS+ACC
FUSION-BASED
SYSTEM,”
LANE
DETECTION
International
Journal
FOR
of
Automotive Technology, Vol. 10, No. 2, pp.
219-228, 2009.