Search

Your search keyword '"Wilcox, Albert"' showing total 21 results
Start Over Author "Wilcox, Albert"
21 results on '"Wilcox, Albert"'

1. QueST: Self-Supervised Skill Abstractions for Learning Continuous Control

Author

Mete, Atharva, Xue, Haotian, Wilcox, Albert, Chen, Yongxin, and Garg, Animesh

Subjects
Computer Science - Robotics
Abstract

Generalization capabilities, or rather a lack thereof, is one of the most important unsolved problems in the field of robot learning, and while several large scale efforts have set out to tackle this problem, unsolved it remains. In this paper, we hypothesize that learning temporal action abstractions using latent variable models (LVMs), which learn to map data to a compressed latent space and back, is a promising direction towards low-level skills that can readily be used for new tasks. Although several works have attempted to show this, they have generally been limited by architectures that do not faithfully capture shareable representations. To address this we present Quantized Skill Transformer (QueST), which learns a larger and more flexible latent encoding that is more capable of modeling the breadth of low-level skills necessary for a variety of tasks. To make use of this extra flexibility, QueST imparts causal inductive bias from the action sequence data into the latent space, leading to more semantically useful and transferable representations. We compare to state-of-the-art imitation learning and LVM baselines and see that QueST's architecture leads to strong performance on several multitask and few-shot learning benchmarks. Further results and videos are available at https://quest-model.github.io/, Comment: Keywords: Behavior Clonning, Action Quantization, Self Supervised Skill Abstraction, Few-shot Imitation Learning

Published
2024

2. Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations

Author

Wilcox, Albert, Balakrishna, Ashwin, Dedieu, Jules, Benslimane, Wyame, Brown, Daniel S., and Goldberg, Ken

Subjects
Computer Science - Machine Learning, Computer Science - Artificial Intelligence
Abstract

Providing densely shaped reward functions for RL algorithms is often exceedingly challenging, motivating the development of RL algorithms that can learn from easier-to-specify sparse reward functions. This sparsity poses new exploration challenges. One common way to address this problem is using demonstrations to provide initial signal about regions of the state space with high rewards. However, prior RL from demonstrations algorithms introduce significant complexity and many hyperparameters, making them hard to implement and tune. We introduce Monte Carlo Augmented Actor Critic (MCAC), a parameter free modification to standard actor-critic algorithms which initializes the replay buffer with demonstrations and computes a modified $Q$-value by taking the maximum of the standard temporal distance (TD) target and a Monte Carlo estimate of the reward-to-go. This encourages exploration in the neighborhood of high-performing trajectories by encouraging high $Q$-values in corresponding regions of the state space. Experiments across $5$ continuous control domains suggest that MCAC can be used to significantly increase learning efficiency across $6$ commonly used RL and RL-from-demonstrations algorithms. See https://sites.google.com/view/mcac-rl for code and supplementary material., Comment: To be published in the 36th Conference on Neural Information Processing Systems (NeurIPS 2022). 19 pages. 11 figures

Published
2022

3. Self-Supervised Visuo-Tactile Pretraining to Locate and Follow Garment Features

Author

Kerr, Justin, Huang, Huang, Wilcox, Albert, Hoque, Ryan, Ichnowski, Jeffrey, Calandra, Roberto, and Goldberg, Ken

Subjects
Computer Science - Robotics
Abstract

Humans make extensive use of vision and touch as complementary senses, with vision providing global information about the scene and touch measuring local information during manipulation without suffering from occlusions. While prior work demonstrates the efficacy of tactile sensing for precise manipulation of deformables, they typically rely on supervised, human-labeled datasets. We propose Self-Supervised Visuo-Tactile Pretraining (SSVTP), a framework for learning multi-task visuo-tactile representations in a self-supervised manner through cross-modal supervision. We design a mechanism that enables a robot to autonomously collect precisely spatially-aligned visual and tactile image pairs, then train visual and tactile encoders to embed these pairs into a shared latent space using cross-modal contrastive loss. We apply this latent space to downstream perception and control of deformable garments on flat surfaces, and evaluate the flexibility of the learned representations without fine-tuning on 5 tasks: feature classification, contact localization, anomaly detection, feature search from a visual query (e.g., garment feature localization under occlusion), and edge following along cloth edges. The pretrained representations achieve a 73-100% success rate on these 5 tasks., Comment: RSS 2023, site: https://sites.google.com/berkeley.edu/ssvtp

Published
2022

4. Learning to Localize, Grasp, and Hand Over Unmodified Surgical Needles

Author

Wilcox, Albert, Kerr, Justin, Thananjeyan, Brijen, Ichnowski, Jeffrey, Hwang, Minho, Paradis, Samuel, Fer, Danyal, and Goldberg, Ken

Subjects
Computer Science - Robotics
Abstract

Robotic Surgical Assistants (RSAs) are commonly used to perform minimally invasive surgeries by expert surgeons. However, long procedures filled with tedious and repetitive tasks such as suturing can lead to surgeon fatigue, motivating the automation of suturing. As visual tracking of a thin reflective needle is extremely challenging, prior work has modified the needle with nonreflective contrasting paint. As a step towards automation of a suturing subtask without modifying the needle, we propose HOUSTON: Handoff of Unmodified, Surgical, Tool-Obstructed Needles, a problem and algorithm that uses a learned active sensing policy with a stereo camera to localize and align the needle into a visible and accessible pose for the other arm. To compensate for robot positioning and needle perception errors, the algorithm then executes a high-precision grasping motion that uses multiple cameras. In physical experiments using the da Vinci Research Kit (dVRK), HOUSTON successfully passes unmodified surgical needles with a success rate of 96.7% and is able to perform handover sequentially between the arms 32.4 times on average before failure. On needles unseen in training, HOUSTON achieves a success rate of 75 - 92.9%. To our knowledge, this work is the first to study handover of unmodified surgical needles. See https://tinyurl.com/houston-surgery for additional materials., Comment: 8 pages, 7 figures. First two authors contributed equally

Published
2021

5. ThriftyDAgger: Budget-Aware Novelty and Risk Gating for Interactive Imitation Learning

Author

Hoque, Ryan, Balakrishna, Ashwin, Novoseller, Ellen, Wilcox, Albert, Brown, Daniel S., and Goldberg, Ken

Subjects
Computer Science - Robotics, Computer Science - Artificial Intelligence
Abstract

Effective robot learning often requires online human feedback and interventions that can cost significant human time, giving rise to the central challenge in interactive imitation learning: is it possible to control the timing and length of interventions to both facilitate learning and limit burden on the human supervisor? This paper presents ThriftyDAgger, an algorithm for actively querying a human supervisor given a desired budget of human interventions. ThriftyDAgger uses a learned switching policy to solicit interventions only at states that are sufficiently (1) novel, where the robot policy has no reference behavior to imitate, or (2) risky, where the robot has low confidence in task completion. To detect the latter, we introduce a novel metric for estimating risk under the current robot policy. Experiments in simulation and on a physical cable routing experiment suggest that ThriftyDAgger's intervention criteria balances task performance and supervisor burden more effectively than prior algorithms. ThriftyDAgger can also be applied at execution time, where it achieves a 100% success rate on both the simulation and physical tasks. A user study (N=10) in which users control a three-robot fleet while also performing a concentration task suggests that ThriftyDAgger increases human and robot performance by 58% and 80% respectively compared to the next best algorithm while reducing supervisor burden., Comment: CoRL 2021 Oral

Published
2021

6. LS3: Latent Space Safe Sets for Long-Horizon Visuomotor Control of Sparse Reward Iterative Tasks

Author

Wilcox, Albert, Balakrishna, Ashwin, Thananjeyan, Brijen, Gonzalez, Joseph E., and Goldberg, Ken

Subjects
Computer Science - Machine Learning, Computer Science - Artificial Intelligence, Computer Science - Robotics
Abstract

Reinforcement learning (RL) has shown impressive success in exploring high-dimensional environments to learn complex tasks, but can often exhibit unsafe behaviors and require extensive environment interaction when exploration is unconstrained. A promising strategy for learning in dynamically uncertain environments is requiring that the agent can robustly return to learned safe sets, where task success (and therefore safety) can be guaranteed. While this approach has been successful in low-dimensions, enforcing this constraint in environments with visual observations is exceedingly challenging. We present a novel continuous representation for safe sets by framing it as a binary classification problem in a learned latent space, which flexibly scales to image observations. We then present a new algorithm, Latent Space Safe Sets (LS3), which uses this representation for long-horizon tasks with sparse rewards. We evaluate LS3 on 4 domains, including a challenging sequential pushing task in simulation and a physical cable routing task. We find that LS3 can use prior task successes to restrict exploration and learn more efficiently than prior algorithms while satisfying constraints. See https://tinyurl.com/latent-ss for code and supplementary material., Comment: Conference on Robot Learning (CoRL) 2021. First two authors contributed equally

Published
2021

7. Learning Accurate Long-term Dynamics for Model-based Reinforcement Learning

Author

Lambert, Nathan O., Wilcox, Albert, Zhang, Howard, Pister, Kristofer S. J., and Calandra, Roberto

Subjects
Computer Science - Machine Learning, Computer Science - Robotics
Abstract

Accurately predicting the dynamics of robotic systems is crucial for model-based control and reinforcement learning. The most common way to estimate dynamics is by fitting a one-step ahead prediction model and using it to recursively propagate the predicted state distribution over long horizons. Unfortunately, this approach is known to compound even small prediction errors, making long-term predictions inaccurate. In this paper, we propose a new parametrization to supervised learning on state-action data to stably predict at longer horizons -- that we call a trajectory-based model. This trajectory-based model takes an initial state, a future time index, and control parameters as inputs, and directly predicts the state at the future time index. Experimental results in simulated and real-world robotic tasks show that trajectory-based models yield significantly more accurate long term predictions, improved sample efficiency, and the ability to predict task reward. With these improved prediction properties, we conclude with a demonstration of methods for using the trajectory-based model for control., Comment: 8 pages, +4 pages appendix

Published
2020

10. Learning Self-Supervised Representations from Vision and Touch for Active Sliding Perception of Deformable Surfaces

Author

Kerr, Justin, Huang, Huang, Wilcox, Albert, Hoque, Ryan, Ichnowski, Jeffrey, Calandra, Roberto, and Goldberg, Ken

Subjects
FOS: Computer and information sciences, Computer Science - Robotics, Robotics (cs.RO)
Abstract

Humans make extensive use of vision and touch as complementary senses, with vision providing global information about the scene and touch measuring local information during manipulation without suffering from occlusions. In this work, we propose a novel framework for learning multi-task visuo-tactile representations in a self-supervised manner. We design a mechanism which enables a robot to autonomously collect spatially aligned visual and tactile data, a key property for downstream tasks. We then train visual and tactile encoders to embed these paired sensory inputs into a shared latent space using cross-modal contrastive loss. The learned representations are evaluated without fine-tuning on 5 perception and control tasks involving deformable surfaces: tactile classification, contact localization, anomaly detection (e.g., surgical phantom tumor palpation), tactile search from a visual query (e.g., garment feature localization under occlusion), and tactile servoing along cloth edges and cables. The learned representations achieve an 80% success rate on towel feature classification, a 73% average success rate on anomaly detection in surgical materials, a 100% average success rate on vision-guided tactile search, and 87.8% average servo distance along cables and garment seams. These results suggest the flexibility of the learned representations and pose a step toward task-agnostic visuo-tactile representation learning for robot control.

Published
2022

11. [Cały film] ▷ 'Dziewczyny z Dubaju (2021) — Oglądaj Onlne! [Lektor PL] Dubbing po Polsku

Author

Wilcox, Albert C.

Subjects
[Cały film] ▷ "Dziewczyny z Dubaju (2021) — Oglądaj Onlne! [Lektor PL] Dubbing po Polsku
Abstract

Oglądaj online zalukaj cały film Dziewczyny z Dubaju (2021) na naszej stronie zalukaj online. Dziewczyny z Dubaju (2021) - Związek Tessy i Hardina przeszedł tyle prób, że wydaje się trwalszy i silniejszy niż kiedykolwiek. Oglądaj cały film Dziewczyny z Dubaju online w jakości cda hd! Film dostępny w wersji z lektorem pl. OBEJRZYJ ONLINE!. Gdzie obejrzeć cały film After 4 CDA online? - Film z lektorem lub napisami. Oglądaj film online bez limitu i bez reklam. ◉ 🎬 Ogladaj Online ➤➤ Dziewczyny z Dubaju (2021) ◀️ ◉ 🎬 Ogladaj Film ➤➤ Dziewczyny z Dubaju (2021) ◀️ Dziewczyny z Dubaju (2021) Obejrzyj Cały Film Online Już Teraz! Oparty na serii książek Anny Todd, Dziewczyny z Dubaju jest czwartym filmem z niezwykle popularnej serii i będzie kontynuacją After. Ocal mnie W tym filmie Hardin odkrył, kim jest jego prawdziwy ojciec – i nie przyjął tego dobrze. Po tym, jak After. Ocal mnie skończyliśmy z mnóstwem wątków pobocznych, nadchodzący film najprawdopodobniej odpowie na wszystkie pytania, które zadawali fani. Od przeprowadzki Tessy do Seattle po relacje Hardina z jego biologicznym ojcem, w Dziewczyny z Dubaju cda online jest wiele rzeczy do wyjasnienia. Poza tym filmy After są oparte na serii książek o tym samym tytule autorstwa Anny Todd, więc istnieje szansa, że materiał źródłowy będzie wymagał pewnych wskazówek. Dziewczyny z Dubaju cda online zalukaj Gdy wyłania się szokująca prawda o każdej z ich rodzin, staje się jasne, że dwoje kochanków nie różni się od siebie tak bardzo. Tessa nie jest już słodką, prostą, dobrą dziewczyną, którą była, gdy poznała Hardina – nie bardziej niż okrutnym, kapryśnym chłopcem, w którym tak bardzo się zakochała. Tessa rozumie wszystkie niepokojące emocje kryjące się pod powierzchnią Hardina i wie, że tylko ona może go uspokoić, gdy wybuchnie. On jej potrzebuje. Ale im więcej warstw jego przeszłości wychodzi na jaw, tym ciemniejszy staje się i tym mocniej odpycha Tessę i wszystkich innych w jego życiu. Tessa nie jest pewna, czy naprawdę może go uratować – nie bez poświęcenia się. Nie chce odejść bez walki. Ale dla kogo ona walczy — dla Hardina czy dla siebie? Czy związek Tessy i Hardina przetrwa? Oglądaj cały film Dziewczyny z Dubaju cda Dziewczyny z Dubaju cały film dla ciebie O czym jest Dziewczyny z Dubaju film online? Jakie przygody tym razem czekają bohaterów? Dlaczego opłaca się używać opcji online do oglądania tej produkcji? Dziewczyny z Dubaju za darmo to kolejna część przygód Tessy i Hardina, tym razem skupiająca się na rodzinie chłopaka (a szczególnie jego ojcu). Prawda na temat stosunków w niej panujących przytłacza bohatera, który zaczyna odreagowywać wszystkie stresy także na swojej ukochanej. W tej sytuacji Tessa zaczyna zastanawiać się, czy jest w stanie to wszystko znieść i czy miłość może pokonać wszystkie przeciwności… Do tej pory ukochani zawsze odnajdywali siebie nawzajem, jak więc skończą się ich perypetie tym razem? Film Dziewczyny z Dubaju jest dobrą, skrojoną na miarę widza historią, w której każdy z oglądających może odnaleźć odrobinę siebie. Dzięki temu film niesie za sobą pewne uniwersalne treści oraz nauki, nie tylko czystą rozrywkę romantycznej historii, jaką bez wątpienia są perypetie głównych bohaterów. Gdzie obejrzeć Dziewczyny z Dubaju? Dziewczyny z Dubaju online jest dostępne dla każdego widza zainteresowanego seansem. Co to oznacza w praktyce? Będąc na tej stronie już wiemy, że masz dostęp do internetu. Czyni cię to potencjalnym użytkownikiem tego serwisu, który wymaga połączenia z siecią. Jedynym wymogiem do zobaczenia Dziewczyny z Dubaju online jest bowiem internet. Jeśli możesz połączyć swoje urządzenie (wielkość ekranu nie ma znaczenia), możesz także użyć Dziewczyny z Dubaju VOD. Dlaczego to takie proste? Cała procedura jest tak łatwa ponieważ video on demand zostało stworzone w ten sposób – by było łatwe w użyciu dla każdego. Tutaj cały plus serwisu polega na tym, że pomijasz krok związany z gigantami branży, takimi jak np HBO. Cała technologiczna strona pozostaje jednak taka sama – seans Dziewczyny z Dubaju VOD jest ogólnodostępny i bajecznie łatwy w obsłudze, możesz włączyć film nawet jednym palcem! Jak opcja Dziewczyny z Dubaju online działa w praktyce? Najpierw musisz mieć czas na oglądanie – bo choć włączenie filmu zajmuje tylko chwilę, cały film jest dość długi. Jeśli jednak masz czas, Dziewczyny z Dubaju online pl może być przez ciebie włączony o dowolnej porze dnia i nocy. Co więcej – zawsze dostaniesz go w najwyższej jakości! Dotyczy to zarówno obrazu, jak i dźwięku. Co jednak z wersją językową? Dziewczyny z Dubaju lektor pl jest dostępne dla każdego Opcja Dziewczyny z Dubaju lektor pl to domyślne ustawienie do oglądania Dziewczyny z Dubaju online. Nie każdy chce lub lubi czytać napisy i właśnie dla takich ludzi udostępniono Dziewczyny z Dubaju lektor online. Jakie są zalety opcji Dziewczyny z Dubaju online pl? Dziewczyny z Dubaju lektor online ma wiele zalet. Jest ogólnodostępny i łatwy w użyciu, a także pozwala ci się skupić na tym, co najważniejsze, czyli na filmie. Raz użyty dostęp Dziewczyny z Dubaju lektor online może tak bardzo nauczyć cię komfortu, że już nie będziesz chciał oglądać innych filmów inaczej! Dlaczego może się tak stać? Statystyki serwisu pokazują, że po jednym seansie wielu widzów decyduje się potem na ponowne użycie strony. także ty możesz postanowić poszukać także innych tytułów w wielkiej bibliotece mediów dostępnej dla każdego. Ciężko jednak znaleźć lepszą stronę z filmami, więc jest to absolutnie zrozumiałe. Po prostu zobacz Dziewczyny z Dubaju za darmo Już wiesz, gdzie obejrzeć Dziewczyny z Dubaju, następny ruch należy już więc wyłącznie do ciebie. Jakie wrażenia będziesz mieć po seansie? Dziewczyny z Dubaju Dziewczyny z Dubaju 2021 zwiastun Dziewczyny z Dubaju 2021 Dziewczyny z Dubaju 2021 cda Dziewczyny z Dubaju pdf Dziewczyny z Dubaju cda Dziewczyny z Dubaju premiera Dziewczyny z Dubaju 2021 vider Dziewczyny z Dubaju online Dziewczyny z Dubaju cały film Dziewczyny z Dubaju 2021 online Dziewczyny z Dubaju akordy Dziewczyny z Dubaju audiobook Dziewczyny z Dubaju auto Dziewczyny z Dubaju angiel Dziewczyny z Dubaju anna todd Dziewczyny z Dubaju ąż Dziewczyny z Dubaju biegnie Dziewczyny z Dubaju bieg Dziewczyny z Dubaju blog Dziewczyny z Dubaju bilet Dziewczyny z Dubaju ćwic Dziewczyny z Dubaju pdf doci Dziewczyny z Dubaju pdf docer Dziewczyny z Dubaju pdf za darmo Dziewczyny z Dubaju email Dziewczyny z Dubaju egzamin Dziewczyny z Dubaju english Dziewczyny z Dubaju el Dziewczyny z Dubaju ebook Dziewczyny z Dubaju ebook za darmo Dziewczyny z Dubaju ęd Dziewczyny z Dubaju film Dziewczyny z Dubaju film Dziewczyny z Dubaju gdzie obejrzeć Dziewczyny z Dubaju hotel Dziewczyny z Dubaju he Dziewczyny z Dubaju horror Dziewczyny z Dubaju her Dziewczyny z Dubaju hor Dziewczyny z Dubaju instagram Dziewczyny z Dubaju ig Dziewczyny z Dubaju imdb Dziewczyny z Dubaju jutro Dziewczyny z Dubaju ja Dziewczyny z Dubaju jak Dziewczyny z Dubaju juz Dziewczyny z Dubaju jak się kończy Dziewczyny z Dubaju karaoke Dziewczyny z Dubaju kiedy Dziewczyny z Dubaju krzyżówka Dziewczyny z Dubaju książka Dziewczyny z Dubaju kontakt Dziewczyny z Dubaju kiedy film Dziewczyny z Dubaju kończy Dziewczyny z Dubaju list Dziewczyny z Dubaju lyrics Dziewczyny z Dubaju los Dziewczyny z Dubaju live Dziewczyny z Dubaju lat Dziewczyny z Dubaju łódź Dziewczyny z Dubaju łóż Dziewczyny z Dubaju mi Dziewczyny z Dubaju mp3 Dziewczyny z Dubaju mnie Dziewczyny z Dubaju mail Dziewczyny z Dubaju mobi Dziewczyny z Dubaju netflix Dziewczyny z Dubaju nic Dziewczyny z Dubaju nas Dziewczyny z Dubaju noc Dziewczyny z Dubaju na Dziewczyny z Dubaju 2021 obsada Dziewczyny z Dubaju ów Dziewczyny z Dubaju ósem Dziewczyny z Dubaju óc Dziewczyny z Dubaju razem Dziewczyny z Dubaju rok Dziewczyny z Dubaju recenz Dziewczyny z Dubaju remix Dziewczyny z Dubaju streszczenie Dziewczyny z Dubaju świat Dziewczyny z Dubaju śmi Dziewczyny z Dubaju śmier Dziewczyny z Dubaju tekst Dziewczyny z Dubaju tak Dziewczyny z Dubaju test Dziewczyny z Dubaju ten Dziewczyny z Dubaju ten dzień Dziewczyny z Dubaju todd Dziewczyny z Dubaju ulub Dziewczyny z Dubaju wakacje Dziewczyny z Dubaju wszystko Dziewczyny z Dubaju wody Dziewczyny z Dubaju wattpad Dziewczyny z Dubaju youtube Dziewczyny z Dubaju zwiastun Dziewczyny z Dubaju zakończenie Dziewczyny z Dubaju życie Dziewczyny z Dubaju żyć Dziewczyny z Dubaju życzenia Dziewczyny z Dubaju że Dziewczyny z Dubaju ży Dziewczyny z Dubaju 02 Dziewczyny z Dubaju 01 Dziewczyny z Dubaju 2021 od ilu lat Dziewczyny z Dubaju 2021 zwiastun Dziewczyny z Dubaju 5

Published
2022
Full Text
View/download PDF

Catalog

Books, media, physical & digital resources
See catalog results