Search

This paper presents a new approach to simultaneous detection and tracking of vehicles moving through an intersection in aerial images acquired by an unmanned aerial vehicle (UAV). Detailed analysis of spatial and temporal utilization of an intersection is an important step for its design evaluation and further traffic inspection. Traffic flow at intersections is typically very dynamic and requires continuous and accurate monitoring systems. Conventional traffic surveillance relies on a set of fixed cameras or other detectors, requiring a high density of the said devices in order to monitor the intersection in its entirety and to provide data in sufficient quality. Alternatively, a UAV can be converted to a very agile and responsive mobile sensing platform for data collection from such large areas. However, manual vehicle annotation in aerial images would involve tremendous effort. In this paper, the proposed combination of vehicle detection and tracking aims to tackle the problem of automatic traffic analysis at an intersection from visual data. The presented method has been evaluated in several real-life scenarios., Článek představuje nový přístup k detekování vozidel a sledování jejich trajektorie při pohybu v křižovatce pomocí snímků pořízených bezpilotním letounem. Prostorové a časové využití křižovatky je klíčové pro budoucí přístupy v návrhu křižovatek.

Tato diplomová práce se zabývá návrhem a implementací systému pro extrakci trajektorií vozidel z leteckých videí. Navržený systém analyzuje po sobě jdoucí letecké snímky dopravní křižovatky, které byly pořízeny kamerou z výšky přibližně 150 metrů pomocí autonomně létajícího stroje. Každý snímek je geo-registrovaný na základě vizuálních klíčových bodů ORB. Pro detekci vozidel v obraze byl využit kaskádový klasifikátor a příznaky MB-LBP. Oblast detekce vozidel byla omezena pomocí algoritmů pro detekci pohybu a s využitím informace o geometrii sledované křižovatky. Samotné sledování detekovaných vozidel je postaveno na částicovém filtru, který při evaluaci částic kombinuje výstup z detektoru vozidel a vizuální i pohybový model sledovaného vozidla. Systém byl otestovaný na třech ručně anotovaných video sekvencích, přičemž 92 % odhadnutých trajektorií koresponduje s realitou. Systém našel svoje uplatnění ve výzkumné činnosti dopravních analytiků, kde se využívá pro pokročilejší analýzy chování účastníků provozu v oblasti dopravních křižovatek a jejich vzájemné interakce., This thesis proposes a system for extraction of vehicle trajectories from aerial video data for traffic analysis. The system is designed to analyse video sequence of a single traffic scene captured by an action camera mounted on an arbitrary UAV flying at the altitudes of approximately 150 m. Each video frame is geo-registered using visual correspondence of extracted ORB features. For the detection of vehicles, MB-LBP classifier cascade is deployed, with additional step of pre-filtering of detection candidates based on movement and scene context. Multi-object tracking is achieved by Bayesian bootstrap filter with an aid of the detection algorithm. The performance of the system was evaluated on three extensively annotated datasets. The results show that on the average, 92% of all extracted trajectories are corresponding to the reality. The system is already being used in the research to aid the process of design and analysis of road infrastructures.

Tato práce je věnována problému pasivní stereovize v moderní robotice. Práce zahrnuje návrh a implementaci autonomního systému pasivní binokulární stereovize pro navigaci mobilního robota. Třídimenzionální hloubková mapa je vytvářena pomocí agregace oblaků bodů vytvořených reprojekcí dvojic snímků zachycených stereokamerou. Tyto jsou reprojektovány pomocí mapy disparity, která je vypočítaná aplikací algoritmů typu Block Matching. Lokální mapa je reprezentována voxelovou mřížkou uchovávanou v oktálovém stromě a umožňuje detekci pohybujících se překážek pomocí principu vrhání paprsků. Vizuální odometrie je vykonávána sledováním reprojektovaných párů význačných bodů v sériích za sebou jdoucích dvojic snímků. Systém umožňuje uživatelovi volbu různých způsobů při řešení problémů, poskytuje grafické uživatelské rozhraní a je nazávislý na softwarové a hardwarové platformě., This thesis is dedicated to the subject of passive stereo vision in modern robotics. The work includes the design and implementation of autonomous passive binocular stereo vision system for mobile robot navigation. A three-dimensional local map is built up by aggregation of point clouds created by reprojection of the image pairs taken with stereocamera. The image pairs are reprojected using disparity map obtained with application of block matching algorithms on the image pairs. The local map is represented by voxel grid stored in an octree and it supports detection of moving obstacles on ray-casting principle. Visual odometry is calculated by tracking reprojected paired image features detected in series of image pairs. The system allows user to choose different approaches to the problem solving, it is platform and hardware-independent and provides graphic user interface.

Tato diplomová práce se zabývá návrhem a implementací systému pro extrakci trajektorií vozidel z leteckých videí. Navržený systém analyzuje po sobě jdoucí letecké snímky dopravní křižovatky, které byly pořízeny kamerou z výšky přibližně 150 metrů pomocí autonomně létajícího stroje. Každý snímek je geo-registrovaný na základě vizuálních klíčových bodů ORB. Pro detekci vozidel v obraze byl využit kaskádový klasifikátor a příznaky MB-LBP. Oblast detekce vozidel byla omezena pomocí algoritmů pro detekci pohybu a s využitím informace o geometrii sledované křižovatky. Samotné sledování detekovaných vozidel je postaveno na částicovém filtru, který při evaluaci částic kombinuje výstup z detektoru vozidel a vizuální i pohybový model sledovaného vozidla. Systém byl otestovaný na třech ručně anotovaných video sekvencích, přičemž 92 % odhadnutých trajektorií koresponduje s realitou. Systém našel svoje uplatnění ve výzkumné činnosti dopravních analytiků, kde se využívá pro pokročilejší analýzy chování účastníků provozu v oblasti dopravních křižovatek a jejich vzájemné interakce., This thesis proposes a system for extraction of vehicle trajectories from aerial video data for traffic analysis. The system is designed to analyse video sequence of a single traffic scene captured by an action camera mounted on an arbitrary UAV flying at the altitudes of approximately 150 m. Each video frame is geo-registered using visual correspondence of extracted ORB features. For the detection of vehicles, MB-LBP classifier cascade is deployed, with additional step of pre-filtering of detection candidates based on movement and scene context. Multi-object tracking is achieved by Bayesian bootstrap filter with an aid of the detection algorithm. The performance of the system was evaluated on three extensively annotated datasets. The results show that on the average, 92% of all extracted trajectories are corresponding to the reality. The system is already being used in the research to aid the process of design and analysis of road infrastructures.

Tato práce je věnována problému pasivní stereovize v moderní robotice. Práce zahrnuje návrh a implementaci autonomního systému pasivní binokulární stereovize pro navigaci mobilního robota. Třídimenzionální hloubková mapa je vytvářena pomocí agregace oblaků bodů vytvořených reprojekcí dvojic snímků zachycených stereokamerou. Tyto jsou reprojektovány pomocí mapy disparity, která je vypočítaná aplikací algoritmů typu Block Matching. Lokální mapa je reprezentována voxelovou mřížkou uchovávanou v oktálovém stromě a umožňuje detekci pohybujících se překážek pomocí principu vrhání paprsků. Vizuální odometrie je vykonávána sledováním reprojektovaných párů význačných bodů v sériích za sebou jdoucích dvojic snímků. Systém umožňuje uživatelovi volbu různých způsobů při řešení problémů, poskytuje grafické uživatelské rozhraní a je nazávislý na softwarové a hardwarové platformě., This thesis is dedicated to the subject of passive stereo vision in modern robotics. The work includes the design and implementation of autonomous passive binocular stereo vision system for mobile robot navigation. A three-dimensional local map is built up by aggregation of point clouds created by reprojection of the image pairs taken with stereocamera. The image pairs are reprojected using disparity map obtained with application of block matching algorithms on the image pairs. The local map is represented by voxel grid stored in an octree and it supports detection of moving obstacles on ray-casting principle. Visual odometry is calculated by tracking reprojected paired image features detected in series of image pairs. The system allows user to choose different approaches to the problem solving, it is platform and hardware-independent and provides graphic user interface.

Tato práce je věnována problému pasivní stereovize v moderní robotice. Práce zahrnuje návrh a implementaci autonomního systému pasivní binokulární stereovize pro navigaci mobilního robota. Třídimenzionální hloubková mapa je vytvářena pomocí agregace oblaků bodů vytvořených reprojekcí dvojic snímků zachycených stereokamerou. Tyto jsou reprojektovány pomocí mapy disparity, která je vypočítaná aplikací algoritmů typu Block Matching. Lokální mapa je reprezentována voxelovou mřížkou uchovávanou v oktálovém stromě a umožňuje detekci pohybujících se překážek pomocí principu vrhání paprsků. Vizuální odometrie je vykonávána sledováním reprojektovaných párů význačných bodů v sériích za sebou jdoucích dvojic snímků. Systém umožňuje uživatelovi volbu různých způsobů při řešení problémů, poskytuje grafické uživatelské rozhraní a je nazávislý na softwarové a hardwarové platformě., This thesis is dedicated to the subject of passive stereo vision in modern robotics. The work includes the design and implementation of autonomous passive binocular stereo vision system for mobile robot navigation. A three-dimensional local map is built up by aggregation of point clouds created by reprojection of the image pairs taken with stereocamera. The image pairs are reprojected using disparity map obtained with application of block matching algorithms on the image pairs. The local map is represented by voxel grid stored in an octree and it supports detection of moving obstacles on ray-casting principle. Visual odometry is calculated by tracking reprojected paired image features detected in series of image pairs. The system allows user to choose different approaches to the problem solving, it is platform and hardware-independent and provides graphic user interface.

Tato diplomová práce se zabývá návrhem a implementací systému pro extrakci trajektorií vozidel z leteckých videí. Navržený systém analyzuje po sobě jdoucí letecké snímky dopravní křižovatky, které byly pořízeny kamerou z výšky přibližně 150 metrů pomocí autonomně létajícího stroje. Každý snímek je geo-registrovaný na základě vizuálních klíčových bodů ORB. Pro detekci vozidel v obraze byl využit kaskádový klasifikátor a příznaky MB-LBP. Oblast detekce vozidel byla omezena pomocí algoritmů pro detekci pohybu a s využitím informace o geometrii sledované křižovatky. Samotné sledování detekovaných vozidel je postaveno na částicovém filtru, který při evaluaci částic kombinuje výstup z detektoru vozidel a vizuální i pohybový model sledovaného vozidla. Systém byl otestovaný na třech ručně anotovaných video sekvencích, přičemž 92 % odhadnutých trajektorií koresponduje s realitou. Systém našel svoje uplatnění ve výzkumné činnosti dopravních analytiků, kde se využívá pro pokročilejší analýzy chování účastníků provozu v oblasti dopravních křižovatek a jejich vzájemné interakce., This thesis proposes a system for extraction of vehicle trajectories from aerial video data for traffic analysis. The system is designed to analyse video sequence of a single traffic scene captured by an action camera mounted on an arbitrary UAV flying at the altitudes of approximately 150 m. Each video frame is geo-registered using visual correspondence of extracted ORB features. For the detection of vehicles, MB-LBP classifier cascade is deployed, with additional step of pre-filtering of detection candidates based on movement and scene context. Multi-object tracking is achieved by Bayesian bootstrap filter with an aid of the detection algorithm. The performance of the system was evaluated on three extensively annotated datasets. The results show that on the average, 92% of all extracted trajectories are corresponding to the reality. The system is already being used in the research to aid the process of design and analysis of road infrastructures.

Tato diplomová práce se zabývá návrhem a implementací systému pro extrakci trajektorií vozidel z leteckých videí. Navržený systém analyzuje po sobě jdoucí letecké snímky dopravní křižovatky, které byly pořízeny kamerou z výšky přibližně 150 metrů pomocí autonomně létajícího stroje. Každý snímek je geo-registrovaný na základě vizuálních klíčových bodů ORB. Pro detekci vozidel v obraze byl využit kaskádový klasifikátor a příznaky MB-LBP. Oblast detekce vozidel byla omezena pomocí algoritmů pro detekci pohybu a s využitím informace o geometrii sledované křižovatky. Samotné sledování detekovaných vozidel je postaveno na částicovém filtru, který při evaluaci částic kombinuje výstup z detektoru vozidel a vizuální i pohybový model sledovaného vozidla. Systém byl otestovaný na třech ručně anotovaných video sekvencích, přičemž 92 % odhadnutých trajektorií koresponduje s realitou. Systém našel svoje uplatnění ve výzkumné činnosti dopravních analytiků, kde se využívá pro pokročilejší analýzy chování účastníků provozu v oblasti dopravních křižovatek a jejich vzájemné interakce., This thesis proposes a system for extraction of vehicle trajectories from aerial video data for traffic analysis. The system is designed to analyse video sequence of a single traffic scene captured by an action camera mounted on an arbitrary UAV flying at the altitudes of approximately 150 m. Each video frame is geo-registered using visual correspondence of extracted ORB features. For the detection of vehicles, MB-LBP classifier cascade is deployed, with additional step of pre-filtering of detection candidates based on movement and scene context. Multi-object tracking is achieved by Bayesian bootstrap filter with an aid of the detection algorithm. The performance of the system was evaluated on three extensively annotated datasets. The results show that on the average, 92% of all extracted trajectories are corresponding to the reality. The system is already being used in the research to aid the process of design and analysis of road infrastructures.