Search

Submitted by Marcilio Francisco de Oliveira Neto (marciliofoneto@gmail.com) on 2022-04-01T14:42:35Z No. of bitstreams: 1 Dissertação_Defesa_Marcilio_Corrigido.pdf: 2844090 bytes, checksum: bcdaeb49a04037d6c7a17e73dfaf7129 (MD5) Approved for entry into archive by Adriana Ap. Puerta Buzzá (dripuerta@rc.unesp.br) on 2022-04-04T17:48:22Z (GMT) No. of bitstreams: 1 oliveira-neto_mf_me_rcla.pdf: 2844090 bytes, checksum: bcdaeb49a04037d6c7a17e73dfaf7129 (MD5) Made available in DSpace on 2022-04-04T17:48:22Z (GMT). No. of bitstreams: 1 oliveira-neto_mf_me_rcla.pdf: 2844090 bytes, checksum: bcdaeb49a04037d6c7a17e73dfaf7129 (MD5) Previous issue date: 2022-03-02 A área de Segurança e Saúde Ocupacional evolui ao passo que as tecnologias aplicadas nas indústrias evoluem devido aos avanços da Indústria 4.0. Dessa forma, dentro do cenário industrial, com a Interação Humano-Máquina (IHM) presente, novos cenários de riscos são apresentados. Sendo assim, a demanda de análise e identificação desses riscos em ambientes compartilhados, os quais envolvem seres humanos e máquinas, aumentou e, com isso, identificar, classificar e monitorar novos riscos passou a demandar abordagens que utilizam sistemas computacionais com tecnologias avançadas de sistemas de informação, compartilhamento de dados, web semântica e ontologias, garantindo melhor cooperação e exploração das capacidades das máquinas em conjunto com os seres humanos, e portanto, um ambiente mais seguro. Porém, abordagens que utilizam ontologias para descrever o contexto de riscos não englobam a descrição do contexto de IHM, sendo que a recíproca também é válida. Além disso, a avaliação de riscos no contexto de IHM não utiliza, em sua maioria, tecnologias semânticas. Desse modo, com o intuito de propor uma ontologia capaz de descrever o contexto de análise de riscos em ambientes de IHM, o presente trabalho propõe a ontologia OAR-IHM, bem como uma aplicação semântica para validar a ontologia em cenários de IHM simulados, através do uso de simulador CoppeliaSim. A ontologia OAR-IHM reutiliza uma ontologia do contexto de riscos, a Hazardous Situation, e uma ontologia do contexto de máquinas e sensores, a Semantic Sensor Network, bem como demais requisitos que visam a segurança do colaborador em um cenário de IHM, para oferecer descrição suficiente desse contexto a fim de possibilitar a avaliação do risco presente em diferentes cenários simulados de IHM. Dessa forma, uma vez criada a ontologia, ela é utilizada para definir um modelo conceitual inicial do contexto presente no cenário simulador, o qual é criado no simulador CoppeliaSim. Sendo assim, com o modelo conceitual inicial criado e a simulação confeccionada, tais etapas servem como entrada para uma aplicação semântica, a qual é capaz de, em tempo de execução, instanciar todos os individuos presentes no cenário de IHM simulado, bem como todas as suas respectivas relações, possibilitando a consulta do potencial risco presente no cenário, baseado na distância entre colaborador e maquinários presentes no ambiente. Com isso, foram confeccionados quatro diferentes cenários simulados de IHM, e, através da ontologia OAR-IHM e da aplicação semântica, a proposta se mostrou suficiente na descrição dos contextos apresentados nesses cenários, bem como ofereceu formas de avaliar o risco presente nos cenários, levando em consideração a distância entre colaboradores e maquinários. The Occupational Safety and Health area evolves while the technologies applied in the industries evolve due to the advances of Industry 4.0. Thus, within the industrial scenario, with Human-Machine Interaction (HMI) present, new risk scenarios are presented. Thus, the demand for analysis and identification of these risks in collaborative environments, which involve humans and machines, has increased and, with that, identifying, classifying, and monitoring new risks has started to demand approaches that use computer systems with advanced technologies of systems of information, data sharing, semantic web, and ontologies, ensuring better cooperation and exploitation of the capabilities of machines together with humans, and therefore, a safer environment. However, approaches that use ontologies to describe the risk context do not encompass the description of the HMI context, and the converse is also valid. In addition, risk assessment in the context of HMI does not use, for the most part, semantic technologies. Thus, to propose an ontology capable of describing the context of risk analysis in HMI environments, the present work proposes the OAR-HMI ontology, as well as a semantic application to validate the ontology in simulated HMI scenarios, through using CoppeliaSim simulator. The OAR-IHM ontology reuses a risk context ontology, the Hazardous Situation, and a machine and sensor context ontology, the Semantic Sensor Network, as well as other requirements aimed at employee safety in an HMI scenario, to offer sufficient description of this context to make it possible to assess the risk present in different simulated HMI scenarios. Thus, once the ontology is created, it is used to define an initial conceptual model of the context present in the simulator scenario, which is created in the CoppeliaSim simulator. Thus, with the initial conceptual model created and the simulation made, these steps serve as input to a semantic application, which is capable, at runtime, of instantiating all the individuals present in the simulated HMI scenario, as well as all their respective relationships, making it possible to consult the potential risk present in the scenario, based on the distance between the employee and machinery present in the environment. With this, four different simulated HMI scenarios were created, and, through the OAR-IHM ontology and the semantic application, the proposal proved to be sufficient in the description of the contexts presented in these scenarios, as well as offering ways to assess the risk present in the scenarios, considering the distance between employees and machinery.

Orientador: Maria Cecilia Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Existem diversos meios que viabilizam o processo de comunicação, sejam eles na forma escrita, sonora, pela imagem ou multimídia, com o computador. Os computadores aliados à Internet têm o potencial de mediar a comunicação, ampliando o acesso à informação e a colaboração entre as pessoas. O aprendizado colaborativo a distância começa a estar cada vez mais acessível a todos devido à popularização da Internet. Assim, pessoas dispersas geograficamente podem compartilhar conhecimentos e metas, obter informações sobre assuntos de interesse, interagir em grupos na construção de novos conhecimentos e realizar atividades colaborativas. Este trabalho envolve o estudo e o design de interfaces de ambientes que permitem a colaboração síncrona a distância entre estudantes, através da Internet, seguindo os princípios que regem a Interação Humano Computador, o CSCL (Computer Supported Collaborative Learning) e a educação inclusiva. Serviu de contexto para este trabalho o Caleidoscópio, um projeto de educação inclusiva, sobre o qual idealizamos o ambiente de aprendizado proposto. O Desenho-Mania foi construído tendo como base a ferramenta Papo-Mania um chat desenvolvido com o objetivo de adicionar características facilitadoras à comunicação. O processo de design do Papo-Mania, centrado na participação do usuário, é considerado parte essencial do trabalho e fundamental para a criação do Desenho-Mania. Os dados obtidos da observação de uso do Papo-Mania por alunos portadores da Síndrome de Down, serviram de base para o design de uma nova ferramenta contendo as mesmas características de sincronicidade da comunicação e ainda inserindo o trabalho colaborativo Os resultados concretizados com este trabalho encorajam a prosseguir nesta linha buscando novas funcionalidades que possam ser agregadas a ambientes computacionais que apresentem características facilitadoras da comunicação, expressão e crescimento de todos os estudantes, inclusive crianças com necessidades educativas especiais. Abstract: Several media enable the process of communication, through for example the writing, the sound, the image or the computer. Computers, allied to the Internet, have the potential of mediating the communication, enhancing the access to the information and the collaboration among people. The collaborative learning begins to be more and more accessible to everyone due to the popularization of the Internet. Thus, people geographically distant can share knowledge and goals, obtain information on subjects of interest, interact in groups to construct new knowledge and to accomplish collaborative activities This work involves the study and the design of interfaces to allow synchronous collaboration among students, through the Internet, based on principles of Human-Computer Interaction, CSCL (Computer Supported Collaborative Learning) and the educational inclusion The context for this work was the Caleidoscópio: a project grounded on the educational inclusion, on which we idealized the proposed learning environment. The Desenho-Mania built based on the tool Papo-Mania a chat developed with the aim of faciliting the communication. The design process of Papo-Mania, centered in user's participation, is considered an essencial part of the work and the basis for creation of Desenho-Mania. The data resulted from observing the use of Papo-Mania by Down Syndrome students, were the foundations for the design of a new tool having the same communication characteristics with the addition of enabling collaborative work. Papo-Mania is a chat, developed with the aim of facilitating the children's communication, includes the Papo-Mania and adds to it new functionalities, that allow the students, to participate in collaborative activities using resources as voting, drawing, sorting, writing and cooperating to the execution of the goal initially established by the group The results of the activities are stored automatically in web pages at the end of each session and they represent the memory of the group for the activity. The results obtained with this work encourage the continuation, looking for new functionalities that could be added to computer environments that facilitate the communication, expression and students' growth, including children with special educational needs. Mestrado Mestre em Ciência da Computação

Orientadores Eleri Cardozo, Diogo Coutinho Soriano Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Os potenciais evocados visuais de estado em regime permanente (SSVEP) são uma resposta cerebral medida ao capturar sinais cerebrais através de Eletroencefalograma (EEG) usando-se uma touca com eletrodos posicionados no escalpo mediante estimulação visual externa. Um sistema que detecta a resposta SSVEP gerada em um sujeito estimulado com fontes de luz (LEDs) piscando a frequências diferentes foi desenvolvido nesta dissertação com o intuito de criar uma interface homen-máquina. Para tanto, foram usados quatro estímulos visuais codificando quatro possíveis comandos, mais o estado de repouso, a serem classificados e identificados a partir da resposta observada no EEG de um sujeito e da devida análise espectral deste sinal. As características que determinam se a resposta SSVEP está presente foram estudadas através de diferentes heurísticas para a seleção de descritores (coeficientes associados a densidade espectral de potência), os quais foram posteriormente passados para um classificador linear para a determinação do comando associado ao estímulo. Para a seleção de características, o índice Davies Bouldin (DB) foi utilizado. No que concerne a análise de frequência realizado para os três sujeitos estudados foi possível observar a presença da resposta SSVEP nas frequências de estimulação, mas tal como esperado, com forte presença de ruído e com grande variabilidade entre os sujeitos. Apesar da variabilidade das características selecionadas pela estratégia adotada, obteve-se aqui resultados de classificação próximos a 90% de acerto para cada classe. Estes resultados de classificação indicaram que esta metodologia de processamento pode ser usada num sistema de BCI em tempo real, dado que o atual sistema foi projetado para operar somente com dados que foram gravados off-line Abstract: Steady State Visual Evoked Potentials (SSVEP) is a brain response measured by capturing brain signals generated by external visual stimulation, through electroencephalogram (EEG) using a cap with electrodes placed on the scalp. A system for detection SSVEP response generated in a subject stimulated with light sources (LEDs) flashing at different frequencies has been developed in this dissertation in order to implement a human machine interface. Thus, we used four visual stimuli encoding four possible commands, besides idle state, to be classified and identified from the response observed in the EEG of a subject through the spectral analysis of this signal. The characteristics that determine if a SSVEP response is present were studied through different heuristics for selecting descriptors (coefficients associated with power spectral density), which were then passed to a linear classifier for the determination of the stimulus associated command. Davies Bouldin (DB) index was the method used for the selection of features. From the frequency analysis carried out for three subjects it was observed the presence of SSVEP response on the stimulation frequencies, but in some cases, as expected, was blurred by noise, which differ among individuals. Despite the variability of the features selected by the strategy adopted, it was obtained classification results with accuracy nearly 90\% for each class. These classification results indicated that this processing methodology could be used in a BCI system in real time, as the current system was designed to operate only with data that were recorded off-line Mestrado Engenharia de Computação Mestra em Engenharia Elétrica

Orientador: Maria Cecilia Calani Baranauskas Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Acessibilidade é um requisito contemporâneo à qualidade no uso de sistemas interativos. O World Wide Web Consortium (W3C), há anos, fomenta discussões em torno do conceito de acessibilidade e propõe recomendações para a criação de conteúdo web-acessível, de ferramentas de autoria e de navegadores que promovam a acessibilidade do conteúdo da web. Embora as recomendações de acessibilidade do W3C sejam necessárias ao conhecimento de design acessível na web, entendemos também ser essencial promover o desenvolvimento de soluções sóciotécnicas com participação do usuário final no processo de design, incluindo pessoas com deficiência, e abordar o reconhecimento e respeito às diferenças na educação de designers. Existem métodos, técnicas, recomendações, tecnologias e ferramentas para apoiar o design e a avaliação de páginas web que sejam acessíveis aos seus usuários; entretanto, não encontramos na literatura processos de design de sistemas de informação na web que considerem amplamente e abordem explicitamente as diferenças entre as pessoas e as atividades que realizam em ambientes sociais inclusivos. Torna-se cada vez mais necessário criar estratégias para abordar inclusão e acessibilidade tanto no produto de software quanto em seu processo de design. As diferenças físicas, sensoriais e cognitivas do usuário, entre outras, também precisam ser reconhecidas e consideradas no processo de design para que se consiga configurar ambientes nos quais a participação das partes interessadas seja genuína. O objetivo central desta pesquisa é investigar e propor mecanismos para o design de sistemas web que atendam às demandas atuais de configuração de uma sociedade mais flexível e aberta às diferenças, denominada sociedade inclusiva. Também é objetivo investigar e compreender como a Semiótica Organizacional e o Design Participativo, juntos, podem agregar valor ao design de sistemas de informação adequados aos interesses e às necessidades de uma sociedade inclusiva. Do ponto de vista conceitual, as principais contribuições desta tese envolvem a proposição de princípios relacionados ao design inclusivo de sistemas de informação na web e de técnicas de design participativo, alinhadas a esses princípios. Do ponto de vista prático, são contribuições as transformações decorrentes do estudo de casos nos respectivos contextos, a organização, a divulgação e a disseminação de boas práticas em design inclusivo para a web Abstract: Accessibility is a contemporary requirement to the quality in use of interactive systems. The World Wide Web Consortium has been fomenting discussions regarding accessibility, and proposes guidelines to the development of web-accessible content, authoring tools and user agents that promotes accessibility on the web content. Although the W3C accessibility guidelines are necessary to enhance the knowledge about web accessible design, it is also essential to promote the development of socio-technical solutions with the end user participation during the overall design process, including people with disability, and approach acknowledge and respect the differences in the designers¿ education. There are methods, techniques, guidelines, technologies and tools to support the design and evaluation of web pages accessible to their users; nevertheless, we didn¿t find in literature web information systems design process which widely considers and explicitly deals with the differences among people and their activities in inclusive social environments. It is more and more necessary to create strategies to approach inclusion and accessibility in both software product and design process. The physical, sensorial and cognitive differences of users, among others, shall also be acknowledge and considered in the design process to configure environments in which the stakeholders¿ participation is genuine. This research aims at investigating and proposing mechanisms to the design of web systems which respond to the contemporary demands in configuring a more flexible society, open to the differences, known as an inclusive society. It is also an objective to investigate and understand how Organizational Semiotic and Participatory Design, together, aggregate value to the design of information systems adequate to the interests and the needs of an inclusive society. From the conceptual perspective, the main contributions of this thesis are the proposition of principles related to the design of inclusive web information systems, and some participatory design techniques aligned to these principles. From the practical perspective, the changes resulted from the cases studied in each context, as well as the organization, the publication and dissemination of best practices in inclusive design for the web Doutorado Metodologia e Técnicas da Computação Doutor em Ciência da Computação

Orientador: Heloisa Vieira da Rocha Dissertação (mestrado profissional) - Universidade Estadual de Campinas, Instituto de Computação Resumo: O paradigma da computação ubíqua e pervasiva vem sendo viabilizado pelo desenvolvimento das tecnologias móveis. A comunicação sem fio torna nosso cotidiano cada dia mais permeado por aparelhos de informação e tecnologias nômades como laptops, PDAs e celulares. Entretanto, a tecnologia móvel encontra-se longe de atingir seu potencial de uso e estudos são unânimes em apontar a experiência negativa do usuário como maior obstáculo à sua expansão. Por meio do presente estudo, que revê o estado da arte da usabilidade móvel e tem foco particular em PDAs, pretendemos contribuir para a superação dos problemas de usabilidade que impedem o alcance de uma melhor experiência para o usuário e, conseqüentemente, contribuir também para o sucesso da tecnologia móvel. Em suma, ao considerar a usabilidade móvel, pretendemos auxiliar a tecnologia móvel a ampliar ainda mais as possibilidades do homem comum ao prover suporte eficiente às várias esferas do seu cotidiano, em qualquer lugar, a qualquer hora Abstract: Ubiquitous and pervasive computing paradigm has been turned into reality by mobile technology. Wireless communication makes our daily activities more and more pervaded by information appliances and nomad technologies such as laptops, PDAs and mobile phones. However, mobile technology is far from reaching its potential of use and studies are unanimous to point a poor user experience as the main obstacle to its further expansion. By means of this study, which reviews the state of art of mobile usability and focuses particularly in PDAs, we intend to contribute to overcome the problems that hinder a better user experience and, consequently, contribute as well to mobile technology success. In summary, by considering mobile usability, we intend to help mobile technology to broaden people possibilities as it provides effective support to the several aspects of their everyday life, anytime, anywhere Mestrado Engenharia de Computação Mestre Profissional em Computação

Orientadores: Artemis Maria Francelin Sanches Moroni, Hermes Renato Hildebrand Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Artes Resumo: Este trabalho apresenta um estudo sobre a multisemiose e a interatividade na web arte. Neste estudo observamos os usos desses conceitos em algumas obras brasileiras concebidas especificamente para a internet. O corpo da dissertação possui a seguinte estrutura: primeiramente, refletimos sobre como a descentralização da produção e distribuição de conteúdos na internet trouxe novas discussões para o campo das mídias e das artes, e sobre como a multisemiose e a interatividade são aspectos característicos do hipertexto relevantes neste novo contexto. Apresentamos cada um desses termos separadamente, listando as referências teóricas que utilizamos em relação a cada um deles. Em seguida refletimos sobre os usos desses conceitos em obras de web arte criadas por artistas brasileiros. Analisamos o uso da multisemiose e da interatividade na obra de web arte Imaterial, de Marília Coelho e Bruno Kurru, sob a Teoria Semiótica de Charles Peirce. Por fim, apresentamos as reflexões que desenvolvemos com base nos estudos realizados Abstract: This work presents a study about multisemiosis and interactivity in web art. In this study we observed the uses of these concepts in some brazilian artworks specifically designed for the internet. The dissertation has the following structure: first, we reflected on how the decentralization of production and distribution on the internet opens a new debate in the media and arts area, and on how multisemiosis and interactivity are important characteristics of hypertext in this new context. We presented each of these terms, listing the theoretical references that we utilized in each case. Then, we reflected about the uses of these concepts in brazilian artworks. We analyzed the usage of multisemiosis and interactivity in the artwork of web art Immaterial, designed by Marília Coelho and Bruno Kurru, through the Semiotic Theory of Charles Peirce. Finally, we show the reflections that we developed with base on our studies Mestrado Artes Visuais Mestra em Artes

Orientador: Heloisa Vieira da Rocha Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Com a miniaturização dos componentes digitais e o vasto desenvolvimento tecnológico dos últimos anos, a sociedade tem presenciado a redefinição dos "computadores pessoais" pelo advento dos dispositivos móveis. Além da inovação, eles introduziram o desafio do design multi-dispositivo para as aplicações desktop. Enquanto algumas abordagens criaram interfaces móveis sem aproveitar qualquer modelo, outras buscaram adaptações automáticas visando reduzir a sobrecarga de designo Em ambas, o foco do design deixou de ser o usuário, tornando as interfaces tão diferentes ao ponto de comprometerem a usabilidade na realização de uma mesma tarefa em vários dispositivos. Esta tese afirma que não existe uma abordagem de design multi-dispositivo capaz de garantir boa usabilidade em todos os contextos porque o usuário pode escolher apenas uma forma de acesso à aplicação ou alternar seu uso por meio de vários dispositivos. No primeiro caso, o usuário aprende a usar a interface para realizar suas tarefas, sendo relevante uma abordagem que aproveite os recursos do dispositivo e trate suas limitações. No segundo, o usuário já conhece uma das interfaces, o que gera uma expectativa no uso das demais. Logo, é necessário combinar abordagens com objetivos diferentes para atender ao usuário de acordo com o seu contexto de uso. Neste sentido, propõe-se o design multi-dispositivo por meio da preservação de uma hierarquia de prioridades de consistência definida em três níveis. Enquanto os dois primeiros dão suporte à expectativa do usuário em contextos de uso alternado (propensos à execução de tarefas em dispositivos diferentes) e migração de tarefas (iniciando tarefas com um dispositivo e concluindo com outro), o terceiro nível garante a personalização das tarefas de maior interesse visando eficiência e satisfação de uso em um dispositivo específico. A avaliação desta metodologia foi feita por meio de um experimento com três interfaces de pocket PC construídas a partir de uma aplicação desktop do domínio de Educação a Distância: a primeira delas era uma réplica da original (Migração Direta), a segunda não mantinha consistência de layout e era baseada em um processo de design personalizado adequado ao dispositivo (Linear) e a terceira aplicava apenas os dois primeiros níveis da hierarquia de prioridades (Overview). Os resultados da avaliação subjetiva mostraram que a abordagem Overview foi capaz de manter o modelo mental do usuário com maior precisão por preservar os atributos de facilidade, eficiência e segurança de uso na interação inter-dispositivo. Além disso, os resultados medidos para a eficácia (exatidão das respostas) e eficiênciá (tempo médio de execução das tarefas) foram iguais ou melhores com essa abordagem. Por outro lado, os usuários revelaram uma preferência pela personalização de tarefas presente na abordagem Linear. Este resultado dá suporte à proposta desta tese, mostrando que a eficácia gerada pelos dois primeiros níveis da hierarquia de prioridades (percepção e execução das tarefas) deve ser combinada com o terceiro nível de personalização. Para isso, sugere-se a disponibilização de padrões de interface criados pelo designer para escolha do usuário durante a interação. Essa combinação deve garantir usabilidade no acesso a uma aplicação feito sempre por um mesmo dispositivo ou em contextos de uso alternado e migração de tarefas Abstract: With the miniaturization of digital components and the vast technological development of the past years, society has remarked the redefinition of "personal computers" by the advent of modern mobile devices. Besides the innovation, these handhelds also introduced the challenge to develop multi-device interfaces for today's desktop applications. While some created mobile interfaces from scratch to get the best from the devices, others looked for automatic adaptations to reduce the load imposed to the designeI. In both cases, the user wasn't the focus anymore, which resulted interfaces so different from each other to the point of compromising usability when peHorming one task on many devices. This thesis claims that there is no multi-device approach capable to provi de full usability in every context because the user may choose only one interface to access the application or interchange its use via many devices. In the first case, the user learns to perform tasks with the given device, which makes relevant an approach that takes advantage of its resources and solves its limitations. In the second, the user already knows one of the available interfaces, which generates an expectation for the others. Therefore, it is necessary to combine approaches with different goals and suit the user according to the appropriate context. In this sense, we propose multi-device design via maintenance of a consistency priorities hierarchy defined in three levels. The first two levels give support to the user's expectation in contexts of interchange (prone to task execution with different devices) and task migration (starting tasks with one device and finishing with other). On the other side, the third level provides task personalization according to the user's interest towards higher efficiency and satisfaction of use with a specific device. The evaluation of this methodology was conducted by an experiment with three pocket PC interfaces designed from an e-learning desktop application: the first interface was an exact replica of the original desktop version (Direct Migration), the second didn't maintain layout consistency and was based in a personalized design process adequate to the device (Linear) while the third applied only the first two levels of the consistency priorities hierarchy (Overview). The subjective evaluation results pointed the Overview approach as the best to maintain the user's mental model by preserving easiness, efficiency and safety of use on inter-device interaction. Additionally, both measured efficacy (task result accuracy) and efficiency (task execution mean time) were the same or even better with this approach. On the other hand, users revealed their preference for the task personalization present in the Linear approach. This result gives support to our proposal, corroborating that the efficacy generated by the first two levels of the consistency priorities hierarchy (task perception and execution) should be combined with the third level of personalization. This could be done by letting designers create interface patterns and make them available to users during interaction. Such combination should guarantee usability while constantly accessing one application through the same device or in contexts of alternated use and task migration Doutorado Doutor em Ciência da Computação

Orientador: Siome Klein Goldenstein Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Nesta dissertação de mestrado, é mostrada uma comparação entre três algoritmos de reconhecimento de face no contexto de acessibilidade para o projeto Microsoft com parceria com a FAPESP, para o módulo de reconhecimento de pessoas utilizando o Microsoft Kinect e substituição sensorial. O algoritmo k-Nearest Neighbours, junto do descritor Histograma de Gradientes Orientados, foi utilizado como base por ser uma abordagem simples e de baixo custo computacional. Os algoritmos Eigenfaces e Local Binary Pattern Histogram foram comparados com o anterior em quatro experimentos. Inicialmente, é descrito o Projeto Vision for the Blind e seus diversos módulos. Este projeto foi desenvolvido por uma equipe aqui no Brasil, que obteve bons resultados para os módulos de navegação e reconhecimento de face, sempre com a ideia de usar o áudio 3D para passar a informação desejada ao usuário. Em seguida, é apresentada uma revisão do estado da arte com projetos no contexto de acessibilidade e substituição sensorial, apontando suas limitações. Logo após é feita uma revisão sobre os três algoritmos de reconhecimento facial utilizados e, então, como foi construída o banco de imagens deste projeto. Foram obtidos bons resultados com os três algoritmos, apesar de haver diferenças significativas entre eles. O Eigenfaces e o Local Binary Pattern Histogram, por serem técnicas mais complexas que o k-Nearest Neighbours, atingiram taxas de reconhecimento com metade dos recursos que este último utiliza para chegar próximo dos valores, sendo o Eigenfaces mais rápido, porém demorado na parte de aprendizagem. Ainda assim, por ser uma técnica simples, vale notar o quão bem o k-NN executa a mesma tarefa e pode ser utilizado para o módulo do projeto Abstract: In this master dissertation is shown a comparison between three face recognition algorithms within the context of accessibility to the Microsoft project in partnership with FAPESP for the people recognition module using Microsoft Kinect and sensory substitution. The k-Nearest Neighbours algorithm, with Histogram of Oriented Gradients, was employed as a basis for being a simple and low computational cost. The Eigenfaces and Local Binary Patter Histogram algorithms were compared with the previous one in four experiments. Initially, the Project Vision for the Blind and its different modules is described. This project was developed by a team in Brazil which achieved good results for navigation and face recognition modules, always with the idea of using audio 3D to convey the desired information to the user. It will next be shown a review of the state of art with projects within the context of accessibility e sensory substitution, pointing out its limitations. Immediately after it is done a review about the three face recognition algorithms used and then how the image database from this project was created. Good results were achieved with the three algorithms although there are significant differences among them. Eigenfaces and Local Binary Pattern Histogram, for being more complex techniques than k-Nearest Neighbours, reached recognition rates with half of the resources than the last one use to get close to the result values, with Eigenfaces being the fastest. Nonetheless, for being a simple technique, it is worth take note how good k-NN executes the same task and could be used in the project module Mestrado Ciência da Computação Mestre em Ciência da Computação CAPES FAPESP

Orientador: Sergio Tonini Button Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecanica Resumo: Propõe-se neste trabalho uma nova ferramenta metodológica para avaliação de usabilidade de produtos, aplicada numa técnica de teste em eletrodomésticos. A atenção a aspectos de usabilidade vem aumentando recentemente no mercado, enfatizando eficiência, efetividade no uso e qualidade de interação como estratégias competitivas, mas também como fatores de inclusão para a população portadora de deficiência e sua participação na sociedade. Foram reunidos conceitos e princípios de acessibilidade arquitetônica e digital, ergonomia, cognição e design universal para compreender a natureza de uma interação homem-produto, organizados em uma ferramenta de quatro etapas que exemplificam aspectos perceptivos, cognitivos, motores e de uso, respectivamente, de uma interação típica. Os resultados deste trabalho mostram quantitativamente as taxas e tipos de exclusão em produtos de uso diário, recomendações do que pode ser resolvido com um projeto voltado ao usuário final, respeitoso à diversidade humana, aos ambientes tecnológicos e aos contextos de uso, para a plena integração de pessoas com deficiência e satisfação de uso da população em geral Abstract: This investigation proposes a new methodological tool for products usability, applied in an evaluation testing with household devices. During recent years, the attention to usability has increased, and efficiency, effectiveness and satisfaction for interaction quality are being emphasized and becoming an important competitiveness strategy. But also usability is a key factor for social inclusion of disable people. Several concepts including hardware and software techniques for user interfaces, physical and digital accessibility standards application, cognitive ergonomics and universal design helps to reach a technical understanding of the nature of human-environment interaction. It is presented an instrumental, four-step human interaction evaluation, which are directly related to the user¿s sensory, cognitive, motor and using capabilities. With quantitative data it is possible to measure rates of usability deficiency and types/degrees of exclusion. It is also suggested what can be done by user-centered design, by respecting the dimensions of diversity intrinsic in human capabilities, technological environments and contexts of use for an inclusive products design and for all users¿ satisfaction Mestrado Materiais e Processos de Fabricação Mestre em Engenharia Mecânica

Orientador: Hans K. E. Liesenberg Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matematica, Estatistica e Ciencia da Computação Resumo: Existem várias técnicas para especificação e implementação do controle de interfaces homem-computador, i.e., técnicas para descrição e implementação da sintaxe permitida das ações do usuário, das reações do computador e como o diálogo (entre homem e computador) evolui ao longo do tempo. As técnicas, contudo, ainda apresentam inconvenientes. Este trabalho concentra-se na representação e implementação desta sintaxe. Estadogramas (statechart, neologismo já usado em outros trabalhos) apresentam indícios de serem adequados para descreverem este comportamento. São diagramas que estendem os diagramas de transição de estados convencionais e eliminam inconvenientes dos últimos. O uso dos Estadogramas no desenvolvimento de uma interface real permitiu identificar mudanças que tornam estes diagramas mais apropriados para este emprego específico. O uso mostrou que Estadogramas precisam de recursos para tratamento da apresentação de uma interface e de outras adaptações sugeridas. A observação do código gerado por uma ferramenta, que implementa Estadogramas, ainda permitiu identificar elementos desejáveis quanto a estrutura do código a ser produzida. Abstract: A variety of techniques exists for the specification and the implementation of human-computer interface control, i.e., techniques to describe and implement the sintax of user's actions, of the reactions of a computer and of how the dialogue between a user and a computer evolves along a period of time. These techniques, however, present some drawbacks. This work concentrates on representation and implementation of a dialogue sintax based on the statechart notation. A statechart seems suitable to describe this kind of behaviour. It extends state transition diagrams and overcomes some of the shortcomings of the later. The use of the statechart notation in the development of a realistic interface led to improvements wich have been made ill order to apply it specifically in this context. This use showed the need of some kind of supprted at the presentation level and some of changes of notation. The observation of the code generated by an already existing tool to implement statechart behaviour give us some insights as well about desired elements in relation to the structure of the generated code. Mestrado Mestre em Ciência da Computação

Orientador : Maria Cecilia Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Mestrado

Orientador: Heloisa Vieira da Rocha Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: A transmissão digital trouxe uma nova gama de possibilidades à televisão. Com a redução da largura de banda utilizada em relação ao sistema de transmissão analógico, o sinal excedente pode ser aproveitado para oferecer serviços, como Vídeo sob demanda, TV de alta definição, voz sobre IP e TV Interativa, entre outros. Em vários países, a tecnologia já está em funcionamento. Entretanto, por se tratar de uma tecnologia em desenvolvimento, ela ainda comporta várias pesquisas sobre os assuntos que abrange. Neste trabalho, faz-se uma análise da TV Interativa sob a ótica de Interfaces Humano-Computador, mapeando sua gênese, seus caminhos e sua situação atual, além de abordar alguns cuidados a serem tomados no desenvolvimento de aplicações para esta nova mídia Abstract: The digital transmission brought a new array of possibilities to the television. With the reduction of the necessary bandwidth compared to the analogical transmission system, the exceeding signal can be used to offer services, such as Video on Demand, High Definition TV, Voice over IP and Interactive TV, among others. In many countries, the technology is already in use. However, since it is still in a underdevelopment stage, much research can be done in the field. In this work, it is proposed an analysis of the Interactive TV under the optics of Human-Computer Interfaces, mapping its beginning, its paths and its current situation, in addition to approach some good practices to be used in the development of applications for this new media Mestrado Engenharia de Computação Mestre em Computação

Orientador: Fabio Violaro Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: A síntese de fala a partir de texto é o principal objeto de estudo desse trabalho. As dificuldades principais do processo de conversão texto-fala são colocadas em questão e uma estratégia de implementação de um sistema de conversão texto-fala para o português do Brasil é apresentada. Esse sistema, baseado no método de síntese concatenativa, utiliza um inventário de 2.450 segmentos de fala pré-gravados e é capaz de empregar duas técnicas de síntese distintas: TD-PSOLA e síntese híbrida. A adoção de critérios lingüísticos cuidadosos, principalmente na etapa de transcrição fonética e na elaboração do inventário de unidades constitui o ponto chave deste trabalho. A notação fonética utilizada diferencia dois tipos de segmentos fonéticos (plenos e reduzidos), que se distinguem no grau pelo qual estão sujeitos a fenômenos de coarticulação. O inventário de unidades foi constituído de forma a preservar segmentos reduzidos e encontros vocálicos. No intuito de reduzir o tamanho do inventário, alguns cortes no interior de segmentos reduzidos foram efetuados. Mas uma vez, nesse caso, utilizaram-se critérios lingüísticos cuidadosos, a fim de minimizar descontinuidades espectrais após a concatenação Abstract: Text-to-speech synthesis is the main subject treated in this work. Most of the difficulties related to this task are discussed, and an implementation of Brazilian Portuguese text-to-speech concatenative synthesis system is presented. The system uses an inventory of 2,450 pre-recorded speech segments, and is able to employ two distinct synthesis techniques: TD-PSOLA and hybrid synthesis. The use of carefully chosen linguistic criteria, mainly during phonetic transcription and also during the creation of the speech segments inventory, is the main contribution of this work. The phonetic notation employed here distinguishes two kinds of phonetic segments (full and reduced), on the basis of the extension of coarticulation phenomena. The main criterion underlying the building of the speech segments inventory was to preserve reduced segments and vowel clusters. Nevertheless, some of the reduced segments were split, aiming at reducing the size of the inventory. Once again, in this case, specific linguistic criteria were employed, in order to minimize spectral discontinuities after concatenation Mestrado Mestre em Engenharia Elétrica

Orientador: Wu Shin-Ting Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Os sucessivos avanços tecnológicos dos computadores têm feito de sistemas interativos 3D ferramentas cada vez mais comuns em várias áreas de aplicação. Para auxiliar o desenvolvimento de aplicações com capacidade de visualização e manipulação de dados tridimensionais, foram propostas algumas arquiteturas para sistemas de desenvolvimento de interfaces 3D. Apesar destes esforços, tais arquiteturas ainda apresentam limitações, como a alta complexidade de programação, baixa reusabilidade ou grau de interatividade e flexibilidade limitados. O objetivo deste trabalho é apresentar uma arquitutetura que permita a construção de interfaces com manipulações diretas 3D. A arquitetura provê elementos básicos de interação, a partir dos quais é possível criar mecanismos de manipulação direta 3D sofisticados. Tais mecanismos de manipulação direta podem ser facilmente reutilizados, devido ao desacoplamento entre a interface e o modelo específico da aplicação. ...Observação: O resumo, na íntegra, poderá ser visualizado no texto completo da tese digital Abstract: Recent technological advance in computers have made interactive 3D systems valuable tools in a variety of areas. In order to facilitate the development of 3D interactive graphics applications, several architectures for 3D interface development systems were proposed. In spite of these efforts, these architectures still present some limitations, such as high programming complexity, low reusability, low interactivity, and limited flexibility. This work aims at presenting a framework which allows the construction of 3D direct manipulation interfaces. The framework provides basic interaction elements, which can be used to create more sophisticated 3D direct interaction metaphors. Such metaphors can also be easily re-used in several applications, due to the decoupling between the application-independent interface components and the application dependet mode. ...Note: The complete abstract is available with the full electronic digital thesis or dissertations Mestrado Mestre em Engenharia Elétrica

Orientador: Heloisa Vieira da Rocha Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Mestrado

Orientador: Maria Cecilia Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Software para modelagem tem sido tradicionalmente digirido a profissionais experientes... Abstract: Modeling tools have been directed to expert users, with formal competence in mathematics... Mestrado Mestre em Ciência da Computação

Orientadores: Luis Gimeno Latre, Maria Teresa Moreira Rodrigues Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: O trabalho realizado objetiva o desenvolvimentode um sistema interativo de scheduling em sistemas de produção aplicados a plantas operando em batelada na indústria de processos. Esta tese mostra que os problemas de scheduling reais têm características multicritério. Neste trabalho a abordagem utilizada foi de desenvolver um sistema interativo com uma função de custo de objetivo único, competindo ao usuário a obtenção de uma solução "boa" do ponto de vista multicritério. o modeloutilizadona técnica de otimização baseia-sena representação STN (Rede Estado Tarefa) e na formulação apresentada em [Kondili et ai, 1993J . Utiliza-seum algoritmo de otimização MILP (Problema Linear Inteiro Misto) implementado em linguagem GAMS o sistema interativo desenvolvido em linguagem VISUALBASIC tem por função, entre outras facilidades, permitir a interação entre o usuário e o algoritmo de otimização. A idéia é que, mesmo que o sistema seja extremamente complexo e disponha de muitos recursos tecnológicos , o Homem deverá estar sempre presente porque muitos problemas podem ser melhor percebidos através da interação humana, face a face aos acontecimentos da vida real no sistema de produção. O sistema interativo permite que o usuário crie diferentes cenários o que permite fazer simulações do tipo" What Jf' , por exemplo a análise de cartas de Gantt resultantes de uma redução na oferta de recursos compartilhados. ...Observação: O resumo, na íntegra, poderá ser visualizado no texto completo da tese digital Abstract: This thesis presents the development of a scheduling interactive for multipurpose batch plants. Real scheduling problems have multiobjective characteristics. In this work the interactive system uses a single objective cost unction and leaves the user responsible for obtaining a good compromise between comfliting objectives.The model used in the optimization technique is based on the STN (State Task Network) representation and the formulation presented in [Kondili et ai, 1993J . A MILP (Mixed Integer Linear Problem) optimization algorithm is implemented in GAMS language. The interactive system developed in VISUAL BASIC allows the user to interact with the optimization algorithm. The main idea is, even if the system being extremely complex with many technological resource, the an should always interact to the dynamic events of the production systems. The interactive system allows the user to create different sceneries that allows him to simulate " What If" conditions, for example the analysis of letters of Gantt resulting on a reduction in the offer of shared resources. The choice of VISUAL BASIC as programming language as the base of the interactive system search, was made in order to facilitate the implementation of the functionalities previously mentioned, and to allow the development and implementation of different scheduling techniques on another languages through mechanisms of DLL (Dynamic Link Library) type Mestrado Mestre em Engenharia Elétrica

Orientador: Maria Cecilia Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Vivenciamos, no mundo, uma evolução das tecnologias da Internet. Cada vez mais percebemos sua presença nas tarefas mais variadas de nosso dia-a-dia. Por meio dessas tecnologias, sem sair de nossas casas, podemos, por exemplo, efetuar compras, pagar contas, conversar com pessoas geograficamente distantes, etc. Como usuários dessas tecnologias encontramos pessoas com diferentes idades e interesses: adultos, crianças, jovens e idosos. Estas pessoas, cada vez mais familiarizadas com a informática, impõem exigências maiores com relação à adequação do software às suas características e necessidades pessoais. As Escolas reconhecem a importância das tecnologias da Internet para auxiliar na formação de seus alunos. Entretanto, para que a informática possa contribuir para esta formação integral do aluno, são necessários ambientes computacionais apropriados ao uso com alunos, em idade escolar. Desta maneira, o contexto educacional gera novas demandas para profissionais envolvidos com desenvolvimento de software e exige destes profissionais, conhecimentos além do desenvolvimento de software propriamente dito. Faz-se necessário o entendimento do contexto escolar e de seus processos, como um todo. Dentre os processos existentes na Escola, estudamos o processo de trabalho em grupo, realizado por alunos, para podermos recriá-lo em um ambiente computacional. Para possibilitar o entendimento deste processo, a participação dos alunos foi fundamental, pois eles são os atores principais no contexto educacional. As metodologias utilizadas no processo de desenvolvimento de software apresentam avanços significativos, mas será que essas metodologias atendem às necessidades específicas de desenvolvimento de aplicações para crianças em idade e contexto escolar? Como são desenvolvidos os softwares para esse público alvo? Eles atendem às suas necessidades? São fáceis de usar? Que métodos poderiam ser utilizados para se adaptar um portal infantil ao trabalho de grupos? Haveria a possibilidade de participação conjunta de alunos e designers no processo de design de interfaces de um sistema computacional desenvolvido para o trabalho em grupo? Neste trabalho desenvolvemos um estudo de caso em uma Escola de Campinas, com a participação de alunos em uma faixa etária de 10 a 15 anos. O estudo de caso utilizou uma abordagem semiótica e participativa, como forma de contribuir para o entendimento das questões acima citadas. Utilizamos o Design Participativo e a Semiótica Organizacional como referencial para tratar a customização de um portal infantil ao trabalho escolar de grupos. Este estudo de caso, descrito e discutido nesta dissertação, envolveu atividades participativas com alunos em uma Escola privada, de Campinas. Tivemos a oportunidade de verificar, com os resultados obtidos, a viabilidade da utilização da abordagem proposta. Como um dos produtos deste trabalho tivemos a implementação do sistema ¿CaleidoGrupos¿ que possibilita aos alunos em contexto escolar o trabalho em grupo via uma aplicação na Web Abstract: We have experienced, in the world, an evolution in the technologies of Internet. We perceived each time more their presence in a variety of our day-by-day activities. Through these technologies, without leaving home, we can, for example, go shopping, pay bills, talk to people that are geographically distant. Users of these technologies are people with different ages and interests, children and adults. These people each time more familiarized themselves with informatics impose requirements related to the adaptation of the software to their specific needs. The schools recognize the importance of the Internet technologies to help them in the children¿s knowledge construction process and in their process of communicating ideas. Meanwhile, it is necessary appropriate computational environments to support the use with students, at intermediate school level, to informatics contributes to the whole background of the students. So, the educational context produces new demands to the professionals involved with software development. It¿s necessary to understand the entire educational context and its process. From all process that exists at school, we studied the process of group work, to develop it at computational environment. The students¿ participation, as main actors of the educational context, was essential to allow our understanding about this process. Regarding software development methodologies, we can notice that it has had significant progress, but do these methodologies satisfy application development¿s specific needs for children in school ages and context? How are the software developed for them? Do they satisfy their needs? Are they easy to use? What methods would be used to adapt a portal for children for group work? Would it be possible for designers and children work together in the interface design process of a computational system developed for work group? As a way to contribute to the understanding of these questions, amongst others, and to propose solutions, we developed this work in a case study format, involving students¿ participation from 10 to 15 ages, applying the Semiotics and Participatory approach. We applyed the Participatory Design and Organisational Semiotics as theoretic and methodological referential to customize the portal for children work in group. The case study, described and discussed in this dissertation, involved participatory activities with children in private School, in Campinas. With this work we had the opportunity to verify the viability of proposed approach, allowing getting results and proposals to consolidate and to extend the use of this referential. The ¿CaleidoGrupos¿ system was implemented as a product of this work. The system allows children work in group using a Web application, inside school context Mestrado Mestre em Ciência da Computação

Orientador: Maria Cecilia Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: A quantidade de informação disponível atualmente na Internet é tão vasta que localizar uma informação desejada em tal depósito toma-se uma tarefa quase impossível. Ferramentas conhecidas como mecanismos de busca retomam, a partir de palavras-chave fomecidas pelo usuário, uma lista de documentos que, supostamente, contêm a informação desejada, relacionada com as palavras-chave fomecidas. Entretanto, multiplicidade semântica das palavras-chave, jargões, entre outros problemas, fazem com que uma grande quantidade de documentos recuperados não tenham de modo algum relação com aquilo que se deseja obter. Para contornar este problema, novas abordagens têm sido introduzidas: categorização dos resultados dos mecanismos de busca, emprego de análise de aglomerados nos documentos etc. Este trabalho utiliza técnicas de Visualização de Informação para propor uma representação que auxilie o usuário a identificar visualmente, dentre os itens tidos como resposta, quais deles realmente têm possibilidade de sanar suas necessidades. Após uma pesquisa que visou identificar o perfil e os hábitos dos usuários de mecanismos de busca, desenvolvemos um sistema que incorpora vários princípios de Visualização de Informação. O sistema ReVEL - Representação Visual de Elementos de Lista - provê uma camada de representação gráfica sobre a lista de respostas obtida pelo usuário à consulta feita a mecanismos de busca. Testes de Usabilidade conduzidos com o sistema proposto mostraram sua efetividade comparativamente a sistemas similares e sugeriram novos elementos para continuidade de pesquisa Abstract: The amount of information available in the Internet is so vast that fmding the desired information in such an unstructured repository easily becomes almost impossible. Search engipes were developed and made available to help people locate documents in the Web. These tools collect keywords ITom the user and return a document list that, supposedly, brings the desired information. A problem arise when ambiguous words are used as keywords: their multiple meanings make the search engine return lots of documents unrelated to the given keywords. New techniques were used to distinguish useful ITom ordinary documents: categorization of the search results itens, cluster analisys in the documents etc. This work applies Information Visualization techniques in order to aid the user identifY, in a visual way, the needed documents among all the others ITom the query. We ran a small survey aiming to acquire some information about the search engine user and his/her behavior. Then, we developed a system that makes uses of Information Visualization principIes expecting this to be an aid for the user. The system named Re VEL - Representação Visual de Elementos de Lista (Visual Representation ofList Elements) - provides a graphical representation layer over the result list returned to the user by the search engine. Usability tests realized with this proposed system show its effectiveness in comparation to similar systems. The results of these user tests also suggest directions for future work Mestrado Mestre em Ciência da Computação

Orientador: Beatriz Mascia Daltrini Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Resumo: Avaliar a interface de um software, antes de entregá-Io ao usuário final, é muito importante. O uso de ferramentas CASE construtoras de interface para auxílio ao designer de interface não é condição suficiente para garantir uma interface consistente. Essas ferramentas, no máximo, conseguem garantir a disponibilização de widgets através de uma toolkit pré-definida. Em outras palavras, incorporam somente conceitos da Engenharia de Software (ES), ignorando conceitos de Interação Humano-Computador (IHC). Como esses conceitos de IHC não são incorporados na fase de desenvolvimento da interface, através de ferramentas CASE construtoras de interface, essa dissertação pretende disponibilizá-Ios para que sejam incorporados em ferramentas CASE para avaliação de interface, oferecendo uma base de métricas. Mais especificamente, o objetivo dessa dissertação é explorar a relação entre as grandes áreas de ES e IHC, através da geração de uma base de métricas objetivas, cuja meta é favorecer (não necessariamente garantir) a usabilidade do produto final que chegará às mãos do usuário. Palavras-Chave: Engenharia de Software, Interação Humano-Computador, ferramentas CASE, interface, métricas. ...Observação: O resumo, na íntegra, poderá ser visualizado no texto completo da tese digital Abstract: Evaluating the software interface before delivering it to the end user is very important. Using interface builders CASE tools for helping interface designer is not a sufficient condition to guarantee a consistent interface. These tools, at most, guarantee widgets available through a pre-Ciefinedtoolkit. In other words, it incorporates only software engineering (SE) concepts, ignoring human-computer interaction (HCI) concepts. As the HCI concepts are not incorporated in interface development phase in interface builders CASE tools, this thesis intends to let them available, 50that they can be incorporated in interface evaluation CASE tools, offering a metrics repository. More specifically, the thesis goal is to exploit the relation between SE and HCI areas, by the generation of a repository of objective metrics. Its intention is to favour (not necessarily guarantee) the final product usability that will be given to the end user. Keywords: Software Engineering, Human-Computer Interaction, CASE tools, interface, metrics. ...Note: The complete abstract is available with the full electronic digital thesis or dissertations Mestrado Mestre em Engenharia Elétrica

Orientador: Maria Cecilia Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matematica, Estatistica e Ciencia da Computação Resumo: Arquiteturas de sistemas baseados em simulação variam entre dois extremos de um espectro, onde temos desde sistemas exploratórios abertos a sistemas instrucionais (tutores). No primeiro extremo, a exploração não estruturada pode levar o usuário a se sentir "perdido" na interação com o sistema. No segundo extremo, a abordagem diretiva pode levar o usuário a se sentir "tolhido" na liberdade de explorar elementos de seu interesse no sistema. Uma tarefa crítica no design de ambientes baseados em simulação é como encontrar um equilíbrio entre "instrução" e "liberdade", para o usuário do sistema. Apesar dos desenvolvimentos recentes e do número de simulações computacionais usadas no contexto educacional, existe muito pouco na literatura a respeito de como fornecer suporte a usuários em ambientes exploratórios. Nossa proposta de trabalho objetiva contribuir nessa direção, abordando a problemática envolvida no design de aplicações baseadas em simulação, no contexto dos processos de ensino/aprendizado. Mais especificamente, estamos propondo uma arquitetura para ambientes de aprendizado baseados em simulação, dentro da abordagem exploratória não diretiva. A exemplificação de tal arquitetura foi feita através do desenvolvimento de um protótipo de sistema, no domínio da Física relacionado aos conceitos de movimento Abstract: Simulation-based leaming environments usually have an embedded architecture which varies from open exploratory systems to instructional systems (tutors). At the first extreme of the spectrum, the system exploration, usually not structured, can lead the user to feel "lost" during the interaction. In the second extreme, the directive approach can lead the user to feel limited in the opportunity to explore freely the elements of his/her interest in the system. According to our view, a critical task in the design of lean1ing environments based on simulation, is how to find equilibrium between "freedom" and "instruction" for the user of the system. This thesis addresses itself to some problems involved in the design of simulation-based leaming environments. We are proposing an architecture for a simulation-based system which considers a non-directive exploratory approach. A prototype for the proposed architecture developed for the domain of the physics of motion is illustrated Mestrado Mestre em Ciência da Computação

Orientador: Maria Cecilia Calani Baranauskas Dissertação (mestrado profissional) - Universidade Estadual de Campinas, Instituto de Computação Resumo: A exclusão digital tem sido medida por mais um índice que se junta aos vários indicadores sociais de pobreza do Brasil. Entenda-se por excluído digital aquele cidadão ou cidadã que não tem acesso a um computador ou quando tem acesso não tem conhecimento para utilizar a tecnologia. Hoje em dia já temos números que medem o nível de exclusão digital no mundo. No Brasil somente 12,46 % da população têm acesso a um computador em seus domicílios e 8,31 têm acesso à Internet. Novamente vemos que mais um abismo se forma entre pessoas que têm oportunidades e outras que não têm. A era da informaçãojá chegou e quem não tiver conhecimentos tecnológicos será mais um excluído da nossa sociedade. Tendo em vista essa dura realidade, como democratizar o acesso a tecnologia e conseqüentemente à informação? O incentivo a esse debate é importante para que possamos juntos criar formas alternativas e criativas para tentar amenizar esse problema. Invariavelmente concatenado a esse debate está a questão de licenciamento de software. Como democratizar o acesso à tecnologia, considerando a realidade de preços altos para licenciamento de software? O software livre seria uma alternativa? Nesse trabalho comparamos a usabilidade de dois sistemas operacionais: Windows 98 e Conectiva Linux 7.0, em um contexto de sala de aula de ensino básico de informática. O público alvo foi constituído por excluídos digitais. Os dois sistemas foram selecionados por critérios técnicos de velocidade, pois os computadores das escolas populares de informática são obsoletos, com pouca capacidade de processamento e pouca memória. O objetivo do estudo foi avaliar a usabilidade dos sistemas operacionais e identificar possibilidades de melhorias para tomar o aprendizado de informática mais acessível para o público em questão. Além do trabalho em sala de aula analisamos a instalação de 4 sistemas operacionais Linux e do Windows 98 de modo a identificar uma instalação adequada ao contexto de escolas de informática populares onde a maioria dos voluntários não são especialistas em informática. Pudemos identificar que as interfaces dos sistemas operacionais Linux ainda precisam se desenvolver mais para atender aos requisitos do contexto em questão. Embora o Linux não tenha se mostrado no mesmo nível de usabilidade das interfaces do Windows 98, já existem versões que podem ser utilizadas para as mesmas atividades que o Windows 98 suporta hoje. Dois exemplos de sistemas operacionais Linux que analisamos nesse estudo e que podem ser implementados para aprendizado de informática básica nas escolas populares de informática são o Conectiva Linux 7.0 e o Kurumin 1.4 Abstract: The digital exclusion has been measured by an index that is coming to join the several other social indexes of poverty in Brazil. The digitally excluded is a citizen who does not have access to a computer or does not have knowledge to use the technology. Nowadays we have already numbers that measure the digital exclusion in the world. In Brazil only 12,6% of the population have access to a computer in their home and 8,31 % have access to the Internet. Again we can see a gap that is being built between people who have opportunities and others who do not have them. The information era has arrived and someone who does not have technological knowledge will be one more excluded of our society. With this reality in mind how to share the access to technology and consequently to the information for all people? We need to motivate this discussion because it is important to create alternatives and creative ways to fight against this problem. Together in this issue is a discussion about software license. How to share technology if a software license is so expensive? W ould the free software be a solution? In this work we compare the usability of 2 operational systems: Windows 98 and Conectiva Linux 7.0 in a course about basic informatics. The subjects who took part in the study are part of socially excluded people. The two systems were selected according to technical characteristics of speed because the computers of popular schools of informatics are usually old, with little capacity ofprocessing and memory. The goal of this study was to evaluate the usability of the operational systems and to identify possibilities of improvement to facilitate the learning of informatics to the excIuded people. Besides the work with the students in a class we analyzed the installation of 4 Linux operational systems and Windows 98 to identify an installation adequate to the informatics schools, where most of the volunteer teachers are not experts in computing. We could identify that the interfaces of the Linux operational systems need more development to attend the requirements of the studied context. Although Linux is not in the same usability leveI of Windows, there are versions that can be used to do the same activities that Windows 98 supports today. Two examples ofLinux operational systems that we analyzed and can be implemented to the learning of basic informatics in the popular informatics school are the Conectiva Linux 7.0 and the Kurumin 1.4 Mestrado Engenharia de Computação Mestre em Computação

Orientador: Maria Cecilia Calani Baranauskas Dissertação (mestrado profissional) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Ao longo dos anos, a Internet tem sido utilizada como meio de comunicação, divulgação, repositório de informação e, mais recentemente, para e-leaming. Todos estes usos basicamente ocorrem por meio de sites, um conjunto de páginas estáticas ou dinâmicas, organizadas em uma estrutura chamada de World Wide Web. Desta forma, a web assume um papel crucial na sociedade da informação em que vivemos pois é um meio de comunicação onde qualquer pessoa pode se expressar por meio de um site. Entretanto aqueles que não detêm o conhecimento técnico para criar e manter um site dependem obrigatoriamente de terceiros. Os gerenciadores de conteúdo são sistemas computacionais que dinamizaram e facilitaram a tarefa de criar e manter um site. Contudo sua complexidade é tal que seu uso se mantém restrito a usuários com conhecimentos avançados em informática. O objetivo deste trabalho é estudar aspectos de usabilidade e propor um gerenciador de conteúdos - GECON - que possa ser manipulado por pessoas com conhecimentos básicos em informática, estendendo a esse grupo a possibilidade de criar e manter um site sem a dependência de especialistas na área. Inspeções de usabilidade realizadas durante o desenvolvimento do GECON mostraram-se um método eficaz para o levantamento de problemas de usabilidade, que puderam ser tratados em iterações seguintes do ciclo de desenvolvimento. O teste piloto realizado com os primeiros usuários do GECON mostrou que o sistema é eficiente e tem potencial para permitir o uso por pessoas com poucos conhecimentos da tecnologia web Abstract: Since early years, Internet has been used as a communication and diffusion medium, as an information repository and more recently as a tool for e-learning. Sites, a set of dynamic or static pages, are used to allow these uses. A World Wide Web is the framework in which these pages exist Web assumes a crucial role in the information society where we live. The Web is a communication medium through which everyone can express himself/herself using a site. However, people who do not get technical knowledge to create or to maintain a site, obligatorily depend on another ones. Content management systems (CMS) are computational systems that improve and facilitate the task of creating and maintaining a site. Nevertheless its complexity is so high that its use is restrict to users with advanced knowledge in Informatics. The objective of this work is to study usability aspects and to propose a new CMS GECON - directed to people with basic knowledge in Informatics. This CMS proposal is to allow groups of people to create and maintain a site without help of experts. U stability inspections carried during the development of GECON showed to be an effective method to identify usability problems. These problems were corrected in the following iterations of the development life cyc1e. Pilot tests accomplished with first users of GECON showed that the system is efficient and has potential to be used by people with short knowledge in the web technology Mestrado Engenharia de Computação Mestre Profissional em Computação

Orientador : Beatriz Mascia Daltrini Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação Doutorado

Orientador: Vani Moreira Kenski Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Educação Doutorado

Orientador: Maria Cecília Calani Baranauskas Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Assistir televisão (TV) sempre foi uma atividade social. As pessoas reunidas assistem TV em suas salas de estar, restaurantes ou consultórios. Fora de suas casas, elas falam sobre o futebol ou sobre o último episódio de novela, ou até mesmo recomendam um programa de TV interessante. A TV Digital Interativa (TVDi) e os avanços da Web 2.0 e das Tecnologias de Informação e Comunicação abriram uma variedade de possibilidades para a televisão, tais como o uso da TV em conjunto com dispositivos móveis, como um portal de acesso a informação via Internet ou mesmo para o gerenciamento de redes domésticas. No entanto, tanto no Brasil quanto em outros países, a TVDi enfrenta problemas que são inerentes ao seu desenvolvimento (e.g., falta de experiência dos usuários para interagir com o conteúdo de televisão, passividade do usuário herdada da TV analógica e as limitações do controle remoto). Além disso, sofre com a falta de referenciais (e.g., aplicações exemplo, processos, mecanismos de avaliação e guias de boas práticas) que auxiliem o processo de desenvolvimento de qualquer artefato físico ou de software. Por ser uma mídia sociotécnica, deve atender a existência de um amplo conjunto de fatores que abrange desde aspectos motivacionais, emocionais e afetivos, de sociabilidade e valores humanos, mas também questões técnicas de segurança, escalabilidade e desempenho. Por estar dentro de um ecossistema de mídias, também sofre com a concorrência e colaboração de outros dispositivos, que podem ter suas potencialidades e restrições exploradas em conjunto com a mídia televisiva. Enquanto algumas emissoras precisam produzir conteúdo interativo, desenvolver uma aplicação de TVDi não é uma realidade que está presente em sua cadeia de produção. Além disso, o desenvolvimento de aplicações para TVDi é diferente de um sistema de software tradicional (e.g., Web), e dificilmente pode ser apoiada por uma metodologia de software existente. Concomitantemente, desconsiderar aspectos de interação humano-computador pode gerar aplicações destinadas ao fracasso, visto o forte apelo interacional que tais aplicações devem ter. Esse contexto sugere a necessidade de se criar um processo de design para aplicações de TVDi que agregue tanto as necessidades dinâmicas da uma cadeia de produção televisiva, quanto os fundamentos de um processo de software, bem como aspectos de interação humano-computador. Nesse sentido, essa tese propõe um modelo de processo que tem como base teórica a Computação Socialmente Consciente, que se baseia na Semiótica Organizacional e Design Participativo. O modelo também emprega referenciais teóricos como Padrões de Projeto e Design Persuasivo. Artefatos e métodos foram adaptados ou criados para suportar diferentes estágios do processo de design. O modelo foi instanciado e experimentado em um cenário real de uma emissora de TV para entender a realidade sociotécnica da emissora e projetar uma aplicação de TVDi para esse cenário. Os resultados refletem a viabilidade e os benefícios do modelo em uma situação prática Abstract: Watching Television (TV) has always been a social activity. People watch TV together in social spaces such as living rooms, restaurants, and offices. Outside their homes, they talk about football or the latest soap opera episode, and even recommend TV shows to others. Interactive digital TV (iDTV) and advances in both Web 2.0 and information and communication technologies have opened up a variety of possibilities for TV, such as TV on mobile devices, using the TV as a portal to access information via the Internet, or even for the management of home networks. However, both in Brazil and in other countries, iDTV faces problems that are inherent to its development (e.g., lack of user experience interacting with television content, user passivity inherited from analog TV and remote control limitations). In addition, it suffers from a lack of references (e.g., sample applications, processes, evaluation mechanisms, and best practice guides) that would otherwise aid the development process of any physical or software-based artifacts. To serve as a sociotechnical medium, iDTV developers must consider a wide range of factors, such as motivational, emotional, and relational issues, sociability, and human values, as well as technical issues involving security, scalability, and performance. Because iDTV operates within a media ecosystem, it must also compete and collaborate with other devices, which may have their own potential and constraints brought to light when combined with TV as a medium. While some TV channels need to produce interactive content, developing an iDTV application is not a reality in their production chain. In addition, the development of iDTV applications is different from that of traditional software systems (e.g., the Web), and it is difficult for this development to rely on an existing software methodology. At the same time, disregarding for Human-Computer Interaction can generate applications destined for failure, given the strong interactional appeal that these applications are required to have. This situation reveals the need to create a specific design process for iDTV applications that considers both the dynamic needs of a television production chain and the fundamentals of a software process while involving aspects of Human-Computer Interaction. This doctoral thesis proposes a conceptual model process that is founded on the theories of Socially Aware Computing, a design approach supported by Organizational Semiotics and Participatory Design. The model also employs theoretical references such as design patterns and persuasive design. Artifacts and methods were adapted or created to support different design process stages. The model was instantiated and experienced in a real broadcasting company in order to understand the company's sociotechnical reality, and to design an iDTV application for this scenario. Results reflect the viability and benefits of the model in a practical setting Doutorado Ciência da Computação CNPQ 142113/2013-1; 165430/2013-3 CAPES

Orientador: Rodolfo Jardim de Azevedo Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: O modelo do Aprendizado Ativo defende uma maior participação, motivação e colaboração entre os alunos no ambiente de ensino e aprendizagem. Usualmente o Aprendizado Ativo é suportado através de elementos tecnológicos, como os sistemas de resposta em sala de aula. Neste ambiente, o professor propõe aos alunos questões de múltipla escolha, que são respondidas através de clickers, sendo os dados organizados por um software gerenciado pelo professor. Ocorre que, apesar do crescente desenvolvimento da tecnologia, este suporte ainda é limitado, não considerando variáveis importantes do contexto, histórico e ambiente de ensino e aprendizagem, apresentando ainda problemas em sua aplicação, como a distração dos alunos. Nesta tese é proposta uma Arquitetura Ubíqua de Suporte ao Aprendizado Ativo (AUSAA), em que é desenvolvido um framework para promoção do Aprendizado Ativo através do uso de dispositivos móveis. A AUSAA incorpora elementos da Computação Ubíqua, como sensibilidade ao contexto, localização e análise do histórico dos usuários, permitindo a criação de funcionalidades que se adaptam ao ambiente e necessidades dos participantes. A AUSAA suporta ainda o modelo de estilos de aprendizagem de Felder & Silverman, que afirma que cada aluno possui preferências individuais em relação à percepção, processamento e manipulação da informação. Parte da AUSAA foi implementada através de um software (LSQuiz). Nele é proposto um processo colaborativo em que o professor disponibiliza um conjunto de questões de múltipla escolha aos alunos, que podem, a qualquer instante, informar ao sistema que estão com dificuldades. A partir disso, através da análise de fatores de contexto e da localização dos estudantes, é escolhido um aluno para ser convidado a ajudar. O LSQuiz foi aplicado e avaliado em um ambiente de ensino, sendo identificados pontos de melhoria em seu design, como a necessidade de identificação automática da localização dos alunos e ajustes pontuais no algoritmo do processo colaborativo. Verificou-se que é válida a premissa de que a aplicação da Computação Ubíqua neste ambiente viabiliza de uma forma mais efetiva o modelo do Aprendizado Ativo, sendo a autonomia dos alunos um elemento positivo neste processo. Por fim, identificou-se que não é possível inferir os estilos de aprendizagem dos alunos através do seu desempenho nos questionários, sendo inviável a aplicação do modelo de Felder & Silverman neste contexto Abstract: The Active Learning model advocates greater participation, motivation and collaboration between students in the teaching and learning environment. Usually, the Active Learning is supported by technology through the classroom response systems. In this environment, the teacher asks students multiple-choice questions, which are answered trough clickers, being the data organized by a software managed by the teacher. Despite the increasing development of technology, its use is still limited, not being considered important variables related to the context, user's history and the learning environment. In addition, its application presented some problems, like the ones related to the distraction and attention loss of the students. This thesis proposes a Ubiquitous Classroom Response System (UCRS), developed as a framework to support the Active Learning using mobile devices. The UCRS incorporates elements of ubiquitous computing like context awareness, location and historical analysis of users' data, allowing the development of features that adapt to the environment and needs of the participants. The UCRS further supports the Felder and Silverman Learning Styles Model (FSM), which states that each student has individual preferences in relation to perception, processing and manipulation of information. Part of the UCRS was implemented through software (LSQuiz). The LSQuiz supports a collaborative process in which the teacher submits a multiple-choice quiz to students, who may at any time ask for the help of other students. Then, the LSQuiz analyses context factors, like the location affinity among students, verifying which student should be invited to help. The LSQuiz was implemented and evaluated in a learning environment, being identified some issues, like the need for automatic student's location and specific changes in the collaborative process algorithm. In addition, it was found valid the assumption that Ubiquitous Computing enables a more effective way to support the Active Learning model, being the student's autonomy a positive element in this process. Finally, was identified that it is not possible to assume the learning styles of students through their performance in the questionnaires. Thus, it is unfeasible the application of the FSM in this context Doutorado Ciência da Computação Doutor em Ciência da Computação FAPESP 2009/10586-7 CNPQ CAPES

Orientador: Maria Cecília Calani Baranauskas Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: No contexto escolar, em particular do Brasil, as tecnologias usualmente são desenvolvidas ou adotadas sem uma consideração efetiva das principais partes interessadas, de sua diversidade, e do que faz sentido para elas. Contar histórias é uma atividade autêntica e pessoalmente relevante, que tem mostrado ter benefícios para as crianças, como o desenvolvimento da criatividade, a imaginação, a manipulação de conceitos abstratos e, em alguns casos, o desenvolvimento do pensamento lógico. Contar histórias é também uma atividade que pode ser potencializada pelo uso de tecnologia computacional para, por exemplo, estender as capacidades de expressão e comunicação das crianças. Essas características tornam a criação e contação de estórias, uma atividade alinhada a ideias do construcionismo, tornando-se valiosa para contextos de aprendizagem. Esta tese apresenta uma contribuição ao campo da Interação Humano-Computador (IHC), especificamente no campo do Design da Interação, uma vez que apresenta um modelo para a criação de ambientes computacionais para a criação de narrativas, instanciado em tecnologias tangíveis contemporâneas. Um sistema para co-criação de narrativas foi projetado, desenvolvido e experimentado, utilizando o modelo de Design Semio-Participativo, que envolve a participação de diferentes partes interessadas em práticas realizadas ao longo do processo de desenvolvimento de sistemas interativos. O modelo proposto é usado para definir um ambiente de computação tangível, de baixo custo, para escolas inclusivas, que segue os princípios do Design para Afetibilidade e do Design Universal. No uso do ambiente, a tecnologia tem papel coadjuvante nas criações das crianças. Neste ambiente as crianças usam objetos físicos, tais como brinquedos e cartões RFID para interagir com o sistema computacional para criar e expressar suas ideias, sentimentos e emoções por meio de uma estória. A experimentação do ambiente de computação tangível com professores e crianças durante dois semestres mostrou resultados positivos em termos de aceitação, motivação, e alegria, com histórias tão diversas em temáticas como em recursos usados para criar as estórias, mostrando assim seu potencial para ser utilizado em espaços educativos Abstract: In the school context, particularly in Brazil, the technologies are typically developed or adopted without an effective consideration of the main stakeholders, their diversity, and their sense making. Storytelling is an authentic and personally relevant activity that has shown benefits for children, such as the development of creativity, imagination, manipulation of abstract concepts, and in some cases, the development of logical thinking. Storytelling is also an activity that can be enhanced by the use of computational system, for example, extending the capabilities of expression and communication of children. These features make storytelling an activity aligned with the constructionist ideas, making it a valuable for learning contexts. This thesis presents a contribution in the Human-Computer Interaction field (HCI), specifically in the Interaction Design field as it presents a model for the creation of narratives, instanced in contemporary tangible technologies. A system for the co-creation of narratives was designed, developed and tested using the Semio-Participatory model of Design, which involves the participation of different stakeholders in practices conducted along the interactive system development process. The proposed model was used to define a low cost tangible computing environment, for inclusive schools, that followed the principles of Design for Affectibility and Universal Design. In the use of the environment, technology has a support role for the creations of children. In this environment children use physical objects such as toys and RFID cards to interact with the computational system and be able to create and express their ideas, feelings and emotions through a story. The experimentation of the tangible computing environment with teachers and children during two semesters has shown positive results in terms of acceptance, motivation, and joy, with stories as diverse in theme as in resources used to create the stories, showing its potential to be used in educational spaces Doutorado Ciência da Computação Doutor em Ciência da Computação CAPES 01-P-1965/2012 CNPQ 162025/2014-9

Orientador: Heloísa Vieira da Rocha Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Ambientes de Educação a Distância (EaD) proveem ferramentas para apoiar atividades de ensino e aprendizagem de cursos presenciais, semi-presenciais e a distância, utilizando a infra-estrutura da Web para disponibilizar suas funcionalidades aos usuários. As ferramentas existentes nesses ambientes oferecem a manipulação de mídias ricas, como imagem, áudio e vídeo, possibilitando a criação e visualização de conteúdo pelos usuários; cuja interfaces de usúario foram projetadas para ter boa usabilidade em computadores convencionais, equipados com os dispositivos de entrada teclado e mouse e como dispositivo de saída um monitor de tamanho médio com alta resolução. Por utilizarem a Web como meio de acesso, os ambientes estão suscetíveis ao acesso por uma variedade de dispositivos, inclusive os móveis que possibilitam utilizar as funcionalidades do ambiente a qualquer hora e a qualquer lugar. Ressalta-se que os dispositivos móveis são equipados com telas sensíveis ao toque e/ou caneta, modalidades de entrada não existentes em um computador convencional. Portanto, os ambientes de EaD necessitam suportar diversas modalidades de interação, que serão utilizadas pelos usuários considerando o seu objetivo, o dispositivo, o contexto físico e social. Projetar uma interface específica para cada dispositivo não é uma tarefa trivial e resulta em um alto número de linhas de código que devem ser mantidos, logo propomos que o projetista deve considerar o nível de modalidades de interação ao invés do nível de dispositivo ou de periférico para usufruir dos benefícios oferecidos pelos periféricos de entrada e saída. A abordagem de pesquisa adotada contempla: (i) revisão da literatura sobre conceitos fundamentais da área de Interação Humano-Computador e multimodalidade; (ii) investigação dos problemas de interação que ocorrem ao acessar ambientes de EaD por modalidades nas quais não foram consideradas durante a especificação de sua interface; (iii) desenvolvimento de uma ferramenta que aproveite os benefícios das modalidades de entrada a caneta e multitoque; (iv) elaboração de uma arquitetura para ambientes de EaD com interação multimodal. Percebeu-se que o impacto da multimodalidade pode ir além de possibilitar acesso por diversos periféricos de interação, podendo emergir novas funcionalidades que apoiam a produção de conteúdos que antes eram de difícil, ou impossíveis, de produzir nos ambientes. Assim, denominamos Educabilidade de um ambiente de EaD a facilidade de produzir conteúdo e, consequentemente, ser adotado, em uma variedade de contextos educacionais. Conclui-se que ambientes de EaD com aspectos multimodais possuem uma maior educabilidade Abstract: e-Learning Environments provide tools to support teaching and learning activities in classroom, blended or on-line courses, by using the infrastructure of the Web to provide its functionality to users. The tools in these environments offer the handling of rich media such as image, audio and video, allowing the creation and visualization of content; their user interfaces were designed to have good usability using a desktop computer with keyboard and mouse as input devices and a high resolution medium-size display as output devices. By using the Web as a means of access, these environments are susceptible to access by a variety of devices, including mobile ones that enable users to use the environment anytime and anywhere. It is emphasized that the mobile devices are equipped with touch and/or pen input modalities, two modalities that do not availabled on conventional computer. Therefore, e-learning environments need to support different modes of interaction, which will be used by the users considering their goal, the device, and the physical and social context. Designing a particular interface for each device is not a trivial task and results in a high number of code lines that must be maintained, and then we propose that the designer must consider the level of interaction modalities instead of the level of device or peripheral to take advantage of the benefits offered by input and output peripherals. The research approach adopted contemplates: (i) literature review about fundamental concepts of Human-Computer Interaction and multimodality; (ii) investigation of the interaction problems that occur when accessing e-learning environments with modalities that have not been considered in the design process; (iii) development of a tool that take the benefits of pen input modalities and multitouch; (iv) proposal for an architecture for distance education environments with multimodal interaction. We noticed that the impact of multimodality can go besides enabling access for various peripherals interaction and may emerge new functionalities that support the production of content that were difficult before, or impossible. Thus we call learnability of an e-Learning environment the ease of producing content and, therefore, to be adopted in a variety of educational contexts. We conclude that e-learning environments with multimodality have greater learnability Doutorado Ciência da Computação Doutor em Ciência da Computação

Orientador: Maria Cecília Calani Baranauskas Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Nos últimos anos, as novas tecnologias de informação e comunicação têm modificado a natureza da interação humano-computador, quebrando os limites do contexto de trabalho para fazer parte da vida cotidiana das pessoas em todos os lugares e em qualquer momento. Assim, novos sistemas disponíveis por meio da Web e de dispositivos móveis estão ao alcance de um número cada vez maior de pessoas, aumentando a importância de se projetar interfaces para todos. Ainda, o desafio número quatro proposto pela SBC se alinha a essa necessidade de viabilizar o acesso do cidadão comum ao conhecimento de forma participativa e universal. Embora várias normas, recomendações e diretrizes tenham sido utilizados para auxiliar designers na complexa tarefa de projetar interfaces para todos, grande parte das escolhas ainda dependem muito da experiência do designer que, nesse cenário, não tem mais um público-alvo bem definido. Ao mesmo tempo, uma cultura de participação, desencadeada por ideias de crowdsourcing, computação social e computação humana, vem permitindo novas formas de colaboração para resolver problemas diversos. Esta tese propõe mecanismos que a um só tempo envolvem o cidadão comum no processo de construção do conhecimento em design e oferecem recursos que podem ser apropriados pelos designers em seu processo criativo de projetar interfaces para todos. Dessa forma, esta tese propõe, desenvolve e experimenta a abordagem GWIDO (Games With Interaction Design Objective), beneficiando-se de recursos oferecidos pela Web contemporânea, bem como do interesse das pessoas por jogos na internet. A ideia central consiste no uso de GWAPS (Games With a Purpose) para apoiar o designer na escolha de elementos de design, envolvendo nesse processo um grande número de potenciais usuários. A tese traz contribuições na interseção das áreas de pesquisa da computação humana e da computação social, mostrando um levantamento preliminar dos trabalhos relacionados, ilustrando a ideia com uma instanciação de um ambiente para designers integrado a um jogo do tipo GWAP e demonstrando a utilização da metodologia proposta de maneira prática no redesign de um sistema real Abstract: In recent years, new information and communication technologies have changed the nature of human-computer interaction, breaking the boundaries of the workplace to be part of the everyday people¿s lives in everywhere and at any time. Thus, new systems available through the Web and mobile devices can be used by a growing number of people, increasing the importance of designing interfaces for all. In addition, one of the challenges (number four) proposed by SBC is aligned to this need of improving the access of ordinary citizens to knowledge in a participatory and universal way. While several standards, recommendations and guidelines have been used to assist designers in the complex task of designing interfaces for all, most choices still rely strongly on the experience of the designer who, in this scenario, no longer has a well-defined target audience. At the same time, a culture of participation triggered by ideas of crowdsourcing, human computation and social computing has enabled new forms of collaboration to solve various problems. This thesis proposes mechanisms that involve ordinary citizens in the process of knowledge construction in design and in the same time offers resources that can be appropriated by designers in the creative process of designing interfaces for all. Thus, this thesis proposes, develops and experiences the GWIDO approach (Games With Interaction Design Objective), taking advantage of features offered by contemporary Web as well as the interest of people for games in the internet. The main idea is to use GWAPs (Games with a Purpose) to assist the designer in the choice about design elements, involving a large number of potential users. The thesis provides contributions at the intersection of research fields (human computation and social computing), showing a preliminary survey of the related work, illustrating the idea with an instantiation of an environment for designers integrated with a GWAP game and demonstrating the use of the proposed methodology in a practical way during a redesign of a real system Doutorado Ciência da Computação Doutor em Ciência da Computação

Orientadores: Maria Cecilia Calani Baranauskas, Eliane Martins Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Sistemas críticos têm sido definidos como sistemas cujo fracasso provoca conseqüências catastróficas ou inaceitáveis para a vida humana. A literatura tem relatado vários casos reais de falhas relacionadas à interação e comunicação que levaram a perdas de vidas humanas. Na aviação, muitos incidentes têm causas originadas de falha de interação de pessoas com sistemas computacionais. Este trabalho introduz a perspectiva de comunicação ao sistema crítico utilizando Semiótica e Semiótica Organizacional como bases teórico-metodológicas que sustentam esta pesquisa. Tais bases devem ser capazes de considerar o sistema (crítico) como um todo e também suas partes específicas (por exemplo, interação com o usuário), tanto em seus aspectos técnicos quanto no contexto organizacional; a comunicação está sempre presente entre as pessoas e sistemas envolvidos. O objetivo principal da tese é investigar e propor um modelo de processo de base semiótica para o desenvolvimento de sistema crítico com ênfase na interface de usuário em seus aspectos de comunicação e interação entre seres humanos e sistemas computacionais. Para verificação de aplicabilidade, partes do modelo foram experimentadas em estudos de caso de sistemas aviônicos e espaciais com resultados analisados e trabalhos futuros indicados Abstract: Critical systems are defined as systems whose failures provoke catastrophic or unacceptable consequences for human lives. Literature reported several cases of real facts regarding interaction and communication failures that led to losses of human lives. In aviation, many incidents which are originated from failures on interaction with computer systems are examples. This work introduces the communication perspective for critical systems using Semiotics and Organizational Semiotics as theoretical and methodological background. This base provides support for understanding the (critical) system as a whole and also its specific parts (e.g. user interaction), both in technical and organizational aspects; communication is always present among the people and involved systems. The main goal of this thesis is to investigate and propose a process model based on semiotics for the development of critical systems with emphasis on critical aspects of communication and interaction between humans and computer systems. To verify applicability, parts of the model were experimented in case studies in avionics and space systems with analyzed results and future work indicated Doutorado Ciência da Computação Doutor em Ciência da Computação

Orientador: Maria Beatriz Felgar de Toledo Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Um dos objetivos do governo eletrônico é possibilitar acesso a dados oficiais a todos os públicos. No entanto, não basta que os dados estejam formalmente disponíveis, é preciso que sejam compreensíveis. Essa compreensão, por sua vez, não é homogênea entre os diversos públicos. Cada indivíduo possui limitações e características próprias, que levam a diferentes expectativas de como as informações devem ser disponibilizadas. Esta Tese apresenta um framework para tratar as diferentes classificações que os dados podem ter dependendo de quem está consultando a informação. Teve como motivação uma pesquisa realizada com usuários de um importante sítio de governo eletrônico no Brasil, o Portal da Transparência. Seu aspecto inovador é permitir que as diferentes classificações sejam apresentadas de acordo com o público, possibilitando uma maior inclusão digital Abstract: One of the e-government goals is to enable public access of official information to all citizens. However, it is not enough to formally present the data, but they have to be truly understandable. This understanding, in turn, is not homogeneous for various audiences. Each individual has his own characteristics and limitations, which leads to different expectations on how information should be available. This Thesis presents a framework to address the different classifications of data that may exist depending on who is getting the information. It was based on a survey with users of an important e-government site in Brazil, the Transparency Portal1. Its novel aspect is allowing data presentation in different ways according to the classifications expected by groups of individuals to achieve a better digital inclusion Doutorado Ciência da Computação Doutor em Ciência da Computação

Orientador: Hermes Renato Hildebrand Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Artes Resumo: Esta tese tem como tema central as articulações entre a comunicação móvel e a cultura participativa e suas consequências sobre as transformações da ação social contemporânea. Para investigar essas articulações, traçamos como objetivo geral compreender as inter-relações entre o desenvolvimento das mídias digitais, o fenômeno da convergência e a emergência da sociedade participativa. A fim de efetivar esse objetivo geral, tomamos como objeto de estudos dois fenômenos típicos da cultura participativa, denominados por Jenkins (2008) como "convergência corporativa" e "convergência alternativa". Do primeiro fenômeno, analisamos a telenovela Viver a Vida, exibida pela Rede Globo de Televisão (2009-2010); do segundo, analisamos o ativismo digital ou ativismo transmídia durante a Primavera Árabe - a fim de estudar as conexões entre a comunicação móvel e a emergência de práticas de ação social, no interior de uma sociedade participativa. A discussão inicia-se com o delineamento das transformações no desenvolvimento das mídias, focalizando as mutações tecnológicas que operaram a passagem dos dispositivos fixos aos móveis. A análise da telenovela Viver a Vida evidenciou mudanças no formato tradicional desse gênero televisivo, instaurando-se uma narrativa que se desenvolve entre a televisão e o meio digital; ao mesmo tempo, transforma-se a relação entre os consumidores e a telenovela, com novas formas de se assistirem aos capítulos (que migram para o computador e os dispositivos móveis) e de interagir com a narrativa (o telespectador pode acompanhar a história que se desenrola complementarmente tanto na televisão quanto nos sites e blogs). Quanto à análise do ativismo digital durante a Primavera Árabe, salientamos sua inextricável ligação com as redes sociais digitais e analisamos os deslocamentos nas práticas de ativismo político propiciadas pelo uso de mídias móveis e do compartilhamento de fotos e textos via smartphone. A análise mostra que os ativistas conseguem burlar a censura imposta aos meios de comunicação tradicionais e dão visibilidade aos acontecimentos, denunciando crimes por meio de imagens chocantes, que expõem ao olhar do mundo as atrocidades cometidas pelos governos ditatoriais. Usando desses mesmos recursos da telefonia móvel e das redes sociais digitais, os governos ditatoriais postam imagens e textos que exaltam seus feitos e condenam as ações dos manifestantes e rebeldes, travando uma batalha materializada nas imagens e textos que circulam nas redes sociais e que dão dimensão planetária aos acontecimentos. O compartilhamento de imagens e textos, via smartphone, salienta novas práticas estabelecidas pelo uso do aplicativo Instagram, tanto em termos de recursos de tratamento das imagens, quanto no que diz respeito à instantaneidade de postagem de fotografias e textos (legendas, etiquetas) em plataformas e redes sociais digitais. O uso do Instagram está modificando a produção e circulação de textos e imagens realizadas por fotógrafos amadores, na medida em que oferece recursos para refinamento das imagens realizadas pelo smartphone, tratadas pelo aplicativo e postadas em plataformas e redes sociais. O uso desse aplicativo está modificando também as práticas de produção no campo do fotojornalismo, sendo cada vez mais utilizado por fotógrafos profissionais de agências de notícias e bancos de imagens, instalando nova estética para a produção fotográfica na imprensa. Demonstramos, assim, que na ecologia contemporânea das mídias, deslocam-se as fronteiras entre o político e o estético e a comunicação móvel se transforma em arena para novas formas de ação social Abstract: This thesis is focused on the links between mobile communication and participatory culture and their consequences on the contemporary transformations of social action. To investigate these articulations, we traced as the general objective to understand the inter-relationships between the development of digital media, the phenomenon of convergence and the emergence of participatory society. In order to accomplish this general goal, we take as the object of study two phenomena typical of participatory culture, called by Jenkins (2008) as "corporate convergence" and " alternative convergence". For the first phenomenon, we analyze the soap opera "Viver a Vida", aired by Globo Television Network (2009-2010). For the second, we investigate the digital activism or transmedia activism during the Arab Spring - to study the connections between mobile communication and the emergence of social activism within a participatory society. The discussion begins with the outlining of the changes in media development, focusing on the technological development that operated the transition from fixed to mobile devices. The analysis of the soap opera "Viver a Vida" showed changes in the traditional format of this television genre, establishing up a narrative that develops between television and digital media; while transforming the relationship between consumers and the soap opera, with new forms of watching chapters (which migrate to the computer and mobile devices) and interact with the narrative (the viewer can follow the story as it unfolds on television, complemented by the websites and blogs). As we analyze the digital activism during the Arab Spring, we emphasize its inextricable link with social networks and observe the shifts in practices of political activism enabled by the use of mobile media, by sharing photos and texts via smartphone. The analysis shows that activists can circumvent the censorship imposed on traditional media and provide visibility to events, denouncing crimes through shocking images that expose to the world the atrocities committed by dictatorial governments. Using the same mobile and social resources, dictatorial governments post images and texts that exalt their accomplishments and condemn the actions of the protesters and rebels, waging a battle materialized in texts and images circulating on social networking and giving global dimension to the events. The sharing of images and texts via smartphones highlights new practices established by using the Instagram app, both in terms of resources for processing images, as in the case of the instant posting of photos and text (captions, tags) on platforms and digital social networks. The use of Instagram is changing the production and circulation of texts and images taken by amateur photographers, as it provides image refinement features for smartphones, handled by the application and posted on social networks and platforms. The use of this application is also modifying production practices in the field of photojournalism, being increasingly used by professional photographers from news agencies and image banks, introducing new aesthetics for the photographic production in the press. We demonstrate, therefore, that the ecology of contemporary media move the boundaries between the political and the aesthetic, as mobile communication becomes arena for new forms of social action Doutorado Artes Visuais Doutora em Artes

Orientador: Heloísa Vieira da Rocha Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Observar as ações de usuários interagindo com a interface de uma aplicação computacional é a base de métodos tradicionais de avaliação de usabilidade, como os testes com usuários e a observação em campo. Apesar de populares e eficientes na descoberta de problemas, esses métodos tradicionais são considerados bastante caros, devido aos custos de envolver usuários, de preparar a infra-estrutura e especialmente da própria execução dos métodos e análise de seus resultados. A qualidade dos resultados da execução desses métodos depende da escolha dos usuários participantes da avaliação, que precisam ser representativos de todos os perfis de usuários da aplicação avaliada. Na Web, devido à diversidade e característica distribuída dos usuários, a obtenção de usuários representativos dos diversos perfis torna-se bastante difícil. Nos métodos tradicionais de avaliação, especialistas em usabilidade analisam a interação de cada usuário interagindo com a aplicação, para encontrar problemas de usabilidade. Esta análise depende do conhecimento e esforço desses especialistas para encontrar problemas na aplicação avaliada. Desse modo, os métodos tradicionais, se utilizados em grande escala de usuários, tornam-se demasiadamente caros devido a seus custos e tempo de execução. Outra característica importante das aplicações Web é sua constante evolução, o que necessita de avaliações de usabilidade periódicas e constantes, para verificar se alterações não prejudicam sua usabilidade. Da mesma forma, os métodos tradicionais de avaliação de usabilidade tornam-se demasiadamente caros, se utilizados em avaliações constantes da usabilidade de aplicações Web. Nesse contexto, esta tese buscou, na automatização do processo de avaliação de usabilidade, uma alternativa para diminuir as dificuldades mencionadas anteriormente em se avaliar a usabilidade de aplicações Web, especialmente em sua fase de manutenção. Assim, esta tese defende a hipótese de que, utilizando-se um método de avaliação de usabilidade fundamentado na captura e análise da interação de usuários de maneira remota e automatizada, é possível diminuir as dificuldades existentes nos métodos tradicionais na fase de manutenção de uma aplicação Web, possibilitando ainda: a análise da interação de usuários em campo e em grande escala de usuários; a identificação de padrões de interação dos usuários com a aplicação; uma avaliação com baixo custo de execução, favorecendo a realização de avaliações periódicas de usabilidade de uma aplicação Web. Neste sentido, esta tese apresenta o desenvolvimento do WebHint, um método remoto e automatizado de avaliação de usabilidade para aplicações Web. O método proposto nesta tese foi aplicado em três estudos de usabilidade que validaram o WebHint como uma alternativa viável para a realização de avaliações remotas e automatizadas de usabilidade de aplicações Web Abstract: Observing users interacting with user interfaces is the basis of traditional usability evaluation methods as user tests and field observation. In spite of their popularity and efficiency in finding usability problems, these traditional methods are considered expensive, due to the costs of involving users in the evaluation, preparing the infrastructure and specially, due to the costs of executing the methods and analyzing the results. The quality of the results obtained with these methods depends on the users participating of the evaluation, who need to represent all the user's profiles of the evaluated application. In the Web, due to the diversity and distributed location of the users, it is difficult to obtain representative users. In traditional methods, usability experts analyze the behavior of each user interacting with the application in order to detect usability problems. This subjective analysis depends on the knowledge and work of the expert to find the problems. This way, the traditional methods became too expensive when it is necessary to involve high number of users in the evaluation. Another important aspect of Web applications is their frequent evolvement, which requires usability evaluations performed frequently to avoid usability problems caused by changes on the applications. The same way, the traditional methods are too expensive to be performed in a regular basis. In that context, this thesis proposes an automatic method for usability evaluation, as an alternative approach to deal with the difficulties mentioned above. This way, this thesis supports the hypothesis that is possible to decrease the difficulties regarding to the traditional methods through a usability evaluation method based on the automatic capture and analysis of user's interaction. Thus, this thesis, presents the development of the WebHint, a remote and automatic usability evaluation method for Web applications. The proposed method was applied in three usability studies, and their results validated the WebHint as a feasible alternative to perform remote and automatic usability evaluations of Web applications Doutorado Ciência da Computação Doutor em Ciência da Computação

Orientadores: Maria Cecília Calani Baranauskas, Rodrigo Bonacin Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: De acordo com W3C, o valor social da Web está no fato de que ela possibilita a comunicação, o comércio, e oportunidades de troca de conhecimento. Estes benefícios deveriam estar disponíveis para todas as pessoas, com o hardware e versão do software que utilizam, sua infra-estrutura de rede, linguagem nativa, cultura, localização geográfica, habilidade física e conhecimento. Estes aspectos estão relacionados tanto a questões sociais quanto tecnológicas. Considerando a diversidade de usuários e a complexidade de situações possíveis de uso da Web, buscam-se soluções para interfaces mais flexíveis, que possibilitem sua adaptação a diferentes contextos de uso. Este trabalho apresenta uma abordagem para solucionar o problema de como desenvolver interfaces de usuário flexíveis para sistemas Web, investigando como interfaces poderiam ser adaptadas a diferentes contextos de uso, considerando o conceito de normas da Semiótica Organizacional. Tal abordagem está representada em um framework, proposto neste trabalho, para apoiar designers e desenvolvedores na construção de interfaces flexíveis. Resultados obtidos na aplicação do framework em um sistema Web real, inserido no contexto da inclusão digital e acesso universal, são apresentados e discutidos nesta obra. Tais resultados são sugestivos da viabilidade da proposta e apontam para seu aprofundamento futuro Abstract: According to W3C, the social value of the Web is in the fact that it enables communications, business and knowledge sharing opportunities. These benefits should be available for every person regardless of the person's hardware, software, network infrastructure, native language, cultural aspects, geographical location, physical and mental abilities. These aspects are related both to social and technological issues. Considering the differences among users and the complexity of possible Web usage, solutions are sought for more flexible user interfaces that allow their adaptation to different use contexts. This work presents an approach to solve the problem of developing flexible user interfaces for Web systems, investigating how interfaces can be adapted to different use contexts considering the concept of norms from Organizational Semiotics. This approach is represented by a framework, proposed on this work, that may help designers and developers to build flexible Web interfaces that may be adapted according to each use context. Results gathered when the framework was applied in a real Web system related to the context of universal access and digital inclusion are presented and discussed. Such results are suggestive of the proposal's viability and point to further improvements in future research Mestrado Interação Humano-Computador Mestre em Ciência da Computação

Orientador: Maria Cecília Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Existem muitos estudos que demonstram que o contato com programação tem um impacto positivo no desenvolvimento de habilidades cognitivas e sócio-emocionais das crianças. A programação tem sido discutida como uma forma de estimular o desenvolvimento do pensamento computacional nas crianças. No entanto, existem barreiras para a aprendizagem da programação; uma delas é o fato de a maioria das linguagens de programação existentes serem baseadas em abstrações na forma de textos e símbolos que são difíceis de entender, para elas. Uma forma potencialmente facilitada de introduzir as crianças à programação são as Interfaces Tangíveis. A abordagem das Interfaces Tangíveis propõe embutir elementos computacionais em materiais concretos, criando um recurso didático que une as vantagens da manipulação física à interação e multimídia providas pela tecnologia. Enriquecendo os materiais concretos, os recursos computacionais podem ajudar a trabalhar diversos sentidos (visão, audição, tato). No entanto, a tecnologia tangível é muitas vezes cara, delicada e difícil de customizar. Considerando o cenário exposto, nesta dissertação propomos e apresentamos o ambiente TaPrEC (Tangible Programming Environment for Children), um ambiente de programação tangível de baixo custo, criado com material resistente e de fácil customização, desenvolvido para ensinar conceitos básicos de programação. O ambiente permite às crianças criar programas tangíveis organizando blocos coloridos de madeira semelhantes a peças de quebra-cabeças. Nesta dissertação fornecemos detalhes técnicos da construção do TaPrEC, sua evolução e os principais aspectos e resultados obtidos durante o Estudo de Caso realizado para avaliá-lo, que contou com a participação de crianças e professores de ensino fundamental e foi desenvolvido ao longo de dois semestres num cenário educacional real Abstract: There are many studies that demonstrate that the contact with programming has a positive impact on the development of cognitive and socio-emotional skills in children. Programming has been discussed as a way to stimulate the development of computational thinking in children. However, there are barriers to the learning of programming; one of them is the fact that most existing programming languages are based on abstractions in the form of texts and symbols that are di?cult to understand for children. A potentially facilitated way to introduce children to programming is by Tangible Interfaces. The approach of Tangible User Interfaces (TUI) proposes to embed computing elements in concrete materials, creating an educational feature that unites the advantages of physical interaction and multimedia handling provided by technology. Enriching the concrete materials, computational resources can help stimulate the computational thinking, in addition to working several senses (sight, hearing, touch). However, the tangible technology is often expensive, delicate and di?cult to customize. In this scenario, we propose and present the TaPrEC (Tangible Programming Environment for Children), a low cost tangible programming environment created with resistant material and easy customization, developed to teach basic concepts of programming. The environment allows children to create tangible programs organizing wooden colored blocks similar to puzzle-pieces. In this dissertation we provide technical details of the construction of TaPrEC, its evolution and the main aspects and results obtained during the Case Study conducted to evaluate it with the participation of children and teachers of primary school, which was developed over two semesters in a real educational scenario Mestrado Ciência da Computação Mestra em Ciência da Computação CAPES 1225628/2013, 1406885/2014

Orientador: Franco Giuseppe Dedini Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecanica Resumo: Há uma parcela da população que, por possuir severas limitações físicas e motoras, é inapta a utilizar cadeiras de rodas convencionais, manuais ou elétricas, bem como dispositivos de interface que não consideram as suas características particulares. Deste modo, este trabalho possui foco no desenvolvimento de interfaces e sistemas de navegação para cadeiras de rodas, provendo soluções para a inclusão deste grupo de usuários. Para isto, a revisão bibliográfica envolve três aspectos: as interfaces para usuários, os sistemas de navegação e a integração entre ambos. Primeiramente localiza-se a interface como parte da relação entre usuário e tarefa, para posteriormente restringir-se a interfaces para portadores de severas limitações físicas. Reconhecendo que determinados tipos de limitações de usuários demandam sistemas de navegação, estes são descritos na forma de exemplos de implementações. A revisão bibliográfica conclui com a descrição de métodos para a integração entre interface, navegação e controle da cadeira de rodas. Com base nesta pesquisa bibliográfica, desenvolveu-se um protocolo de integração e três tipos interfaces: controle de voz, filtragem do sinal de joystick para usuários com dificuldade em posicionar a mão, e controle por contrações musculares. A interface de reconhecimento de voz permitiu obter dois protótipos: um primeiro que utiliza um software comercial e um segundo em microcontrolador. A interface de filtragem do sinal do joystick foi prototipada virtualmente, demonstrando a resposta deste filtro a diferentes distúrbios. A interface que utiliza controle por contrações musculares foi implementada em protótipo funcional, por meio de um microcontrolador, e modularizada por meio do protocolo de integração desenvolvido. Este protocolo de integração foi testado em um kit de motorização com os módulos joystick, interface por contrações musculares e sonar, permitindo alternar, remover e inserir módulos sem a necessidade de reprogramação Abstract: There is a part of population, with physical impairment, that cannot use conventional manual or powered wheelchair and kinds of interface with do not consider they own characteristics. To solve this problem, this work does a bibliographic review on wheelchair interfaces and navigation support, alloying development on solutions for inclusion of this users group. The bibliographic review embraces three aspects: interfaces and users, navigation support systems, and integration between navigation and interfaces. The first chapter, interfaces and users, localizes the interface as an medium between user and task, allowing to be more focused on next chapter: interfaces for wheelchair uses with severe impairment level. Recognizing about in some kind¿s of user impairment levels an adequate interface is not enough, navigation support systems are described. The bibliographic review concludes with a description about integration methods for interfaces, navigation support and wheelchair control. Based on this bibliographic review, an integration protocol and three interfaces have developed: voice control, joystick filtering for users with difficult on hand positioning, and muscular contraction control. The voice recognition interface allows creating two prototypes: one with commercial software, and a second using embedded microcontroller on wheelchair. The joystick filtering interface was virtually prototyped allowing response tests for different noisy sources. The muscular contraction interface has implemented as functional prototyping, by a microcontroller, and modularized by the developed modularization protocol. This protocol has tested in a wheelchair motorization kit with joystick, muscular contraction interface and auxiliary sonar modules, allowing inserting or removing then without any reprogramming needs Mestrado Mecânica dos Sólidos e Projeto Mecânico Mestre em Engenharia Mecânica

Orientador: Helder Anibal Hermini Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecanica Resumo: Como consequência da busca pela perfeição cinesiológica na tecnologia de realidade virtual em interfaces humanas, esses ambientes estão demandando cada vez mais dispositivos que tornem a interação homem-máquina a mais natural possível e isso inclui o desenvolvimento de tecnologias que relevem questões de anatomia e fisiologia, em função das tarefas que serão realizadas. Ante o exposto, nessa dissertação foi desenvolvido um dispositivo háptico de mão que será utilizado para interagir e/ou manipular objetos tridimensionais visando uma perfeita concatenação cinemática. Uma das principais características do funcionamento do protótipo está relacionada com o sistema mecânico, que é capaz de acompanhar toda a trajetória de extensão e flexão de um dedo antropomórfico. O dispositivo mecatrônico foi desenvolvido usando as tecnologias CAD e Prototipagem Rápida, sendo prototipada a partir do processo de sinterização a laser utilizando a composição de poliamida PA12, o que oferece ao produto final resistência adequada e também leveza Abstract: As a consequence of the search of the kinesthesia perfection in the technology of human virtual interfaces, this environments are each time more in need for devices that is able to turn the human-machine interaction as most natural as possible and this includes the development of technologies that reveals questions of anatomy and physiology, in order to realize the tasks that they are going to. Based in that, in this dissertation it was developed a hand haptic device the will be used to interact and/or manipulate tridimensional objects focusing on a perfect cinematic concatenation. One of the main characteristics of the prototype functioning is related with the mechanic system, which is able to follow the entire extension and flexion trajectory made by one anthropomorphic hand finger. The device was developed using CAD and Rapid Prototyping technologies, being prototyped through laser sinterization process which uses the PA12 polyamide composition which offers to the final product adequate resistance and also lightness Mestrado Mecânica dos Sólidos e Projeto Mecânico Mestre em Engenharia Mecânica

Orientador: Maria Cecília Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Com o desafio de projetar interfaces de usuários que contribuam com a promoção de uma cultura digital entre os cidadãos brasileiros, uma Rede Social Inclusiva (RSI) está sendo desenvolvida no âmbito do Projeto e-Cidadania2. Seu intuito é o de viabilizar o acesso ao conhecimento para maior número de pessoas, independentemente da sua familiaridade com as Tecnologias de Informação e Comunicação (TIC) ou do seu grau de letramento - entre outras habilidades. Os sistemas de apoio e as pesquisas conduzidas sobre os mesmos apresentam pouca preocupação com a questão da inclusão e acessibilidade, principalmente quando relacionados a redes sociais. Neste contexto, esta dissertação propõe um mecanismo de meta-comunicação cujo objetivo é apoiar os participantes de RSI na sua comunicação com o sistema no que diz respeito ao modelo conceitual das funcionalidades. A pesquisa foi realizada com base nos princípios do Design para Todos, utilizando-se dos artefatos da Semiótica Organizacional e de técnicas adaptadas do Design Participativo. As contribuições do trabalho incluem: a identificação de requisitos para ferramentas de comunicação e expressão buscando atenderàs necessidades dos cidadãos brasileiros, na sua maior extensão possível; a proposta de um mecanismo de meta-comunicação para redes sociais inclusivas e uma avaliação preliminar de tal mecanismo Abstract: In order to face the challenge of designing user interfaces that contribute to the promotion of a digital culture among Brazilian citizens, an Inclusive Social Network (ISN) is being conceived in the e-Cidadania Project3. It aims at making possible for people to access knowledge, regardless of their familiarity with Information and Communication Technologies (ICT) or their literacy skill - among other abilities. The support systems and the research lead on such systems present few concerns with the question of the inclusion and accessibility, mainly when related the social nets. In this scenario, this work proposes a mechanism for meta-communication to support participants of this ISN in all communication that are related with the conceptual model of the system's functionalities. The investigation was carried out based on the principles of the Design for All, using artifacts from Organizational Semiotics and techniques that were adapted from the Participatory Design. The work contributions include: the identification of requirements for communication and expression tools aiming at the fulfillment of Brazilian citizens' needs, in the vastest extension possible; the proposal of a meta-communication mechanism for inclusive social nets; and a preliminary evaluation of the considered mechanism Mestrado Interação Humano-Computador Mestre em Ciência da Computação

Orientadores: Maria Irma Hadler Coudry, Fernanda Maria Pereira Freire Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Estudos da Linguagem Resumo: Com o objetivo de refletir sobre o papel da tecnologia em atividades de linguagem, este estudo percorre os 4 anos do acompanhamento longitudinal de RM, criança com "dificuldades escolares", que frequentou o Centro de Convivência de Linguagens no Instituto de Estudos da Linguagem da Universidade Estadual de Campinas (CCazinho/IEL/Unicamp). A análise da relação sujeito-linguagem-tecnologia é feita a partir de um duplo olhar: fundamenta-se teórica e metodologicamente na Neurolinguística Discursiva (ND), bem como em conceitos da área de Interação Humano-Computador (IHC). Nos dados analisados, observa-se a atuação do computador enquanto mediador coadjuvante (FREIRE, 2011a) nas atividades linguísticas propostas. Focalizam-se os momentos nos quais, a partir do contato com a interface (hardware e software), RM questiona, reflete e atua com e sobre a linguagem, ou seja, realiza uma atividade epilinguística (COUDRY, 1986/1996) e, às vezes, metalinguística. Ao longo da dissertação, apresenta-se o trabalho realizado no CCazinho e os conceitos chave da ND para compreender os processos linguísticos e cognitivos da criança que estão em curso ¿ sobretudo quando realiza atividades de fala, leitura e escrita mediadas pelo uso do computador. Tais conceitos são: a concepção abrangente de linguagem (a partir de Franchi [1977], Coudry [1986/1996], Possenti [1986/2001], Geraldi [1991/2003]), o conceito de mediação de Vygotsky (1979/2007), o modelo de cérebro dinâmico de Luria (1976) e o Aparelho de Linguagem formulado por Freud (1891/2013). A partir dos conceitos da ND, transita-se brevemente pela história da IHC buscando aproximações entre a ND e a IHC na concepção de sujeito e interação. Espera-se, com este trabalho, trazer novas reflexões tanto para o professor/cuidador/investigador interessado na aquisição e uso da leitura e da escrita quanto para desenvolvedores de softwares educacionais que dizem respeito à linguagem Abstract: In order to reflect about the role of the technology in language activities, this study follows the 4 years of longitudinal support of RM, a child with "learning difficulties" in the school, who was attended by the Centro de Convivência de Linguagens (CCazinho) at the Institute of Language Studies of the Universtity of Campinas (IEL/Unicamp). The analyses of the relation between subject-language-technology are developed from two different perspectives: it is based on the Discursive Neurolinguistic (ND) theory and methodology, as well as on Human-Computer Interaction (HCI) concepts. In the analyzed data, we observe the supporting mediator role (FREIRE, 2011a) performed by the computer in the proposed linguistic activities (COUDRY, 1986/1996). We focus on the moments when, from the contact with the interface (hardware and software), RM asks, reflects, and acts with and about the language, that is, performing also an epilinguistic (and, sometimes, metalinguistic) activity. Throughout this dissertation, we present the work performed at the CCazinho and the ND key concepts in order to understand the linguistic and cognitive processes of the, overall when he/she performs speech, reading and writing activities mediated by the computer use. The used concepts are: the embracing conception of language (from Franchi [1977], Coudry [1986/1996], Possenti [1986/2001], Geraldi [1991/2003]), the Vygotsky¿s mediation concept (1979/2007), the Luria¿s dynamic brain model (1976) and the language apparatus formulated by Freud (1891/2013). Based on these concepts, we briefly present the HCI history looking for approximations between ND and HCI regarding the conception of subject and interaction. From this work we expect to bring new reflections for teachers/supporters/investigators interested in the reading and writing acquisition and use as well as for developers of educational software related with language Mestrado Lingüística Mestra em Linguística CAPES

Orientador: José Raimundo de Oliveira Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Esta tese apresenta uma nova e efetiva abordagem neuro-genética denominada MAAM-GA constituída por um algoritmo genético e uma rede neural associativa morfológica para a solução de problemas de reconhecimento de padrões. Especificamente, uma rede neural associativa morfológica é combinada com um algoritmo genético que é utilizado na construção da rede neural com a finalidade de aumentar a eficiência e robustez no reconhecimento de padrões. Um estudo detalhado do desempenho da abordagem é apresentado, utilizando imagens em níveis de cinza como padrões. Resultados numéricos e visuais da recuperação dos padrões são apresentados e o desempenho alcançado é comparado com outros modelos neurais associativos morfológicos relevantes para padrões de valor real, mostrando a eficiência e a robustez da abordagem proposta na recordação de imagens em níveis de cinza. Esta abordagem faz parte do desenvolvimento dos sistemas inteligentes que impulsionam o avanço de outras áreas. Pensando em uma potencial aplicação, a proposta neuro-genética é utilizada para resolver o problema de reconhecimento de gestos da mão. O reconhecimento de gestos é um caminho natural de interação humano-computador, e considerando a diversidade e a diferença manifestada pelo ser humano, para muitas pessoas que possuem deficiência física e sensorial, os gestos da mão são o meio principal de comunicação. Várias tecnologias têm sido propostas para trazer benefícios às pessoas com limitações de comunicação. Os ambientes inteligentes surgiram com o principal propósito de melhorar a qualidade de vida do ser humano baseados em ferramentas computacionais, facilitando o desenvolvimento de processos e ações de nosso cotidiano. O reconhecimento de gestos da mão é uma função do ambiente inteligente. Assim, para pessoas portadoras de deficiências físicas que limitem a sua comunicação oral, o reconhecimento de gestos em um ambiente inteligente poderá lhes trazer múltiplos benefícios na comunicação, interação e acessibilidade, permitindo a sua integração com o ambiente. Embora preocupados com pessoas portadoras de deficiências físicas, o sistema de reconhecimento de gestos da mão como parte de um ambiente inteligente destina-se, sobretudo a beneficiar todo e qualquer cidadão que dele tenha acesso. Assim, nesta tese é apresentado um estudo de um sistema de reconhecimento de gestos da mão baseado em visão artificial capaz de reconhecer gestos estáticos específicos da mão. Este sistema foi dividido em três módulos, módulo de detecção e segmentação, módulo de extração de características e o módulo de identificação e reconhecimento propriamente dito que utiliza a abordagem neuro-genética proposta. Métodos utilizados no pré-processamento das imagens para segmentação e caracterização também são apresentados. Resultados alcançados com a abordagem proposta são muito incentivadores e sugerem que a proposta possa ser considerada como uma ferramenta eficiente e robusta para recuperação e identificação a ser usada em diversas aplicações relacionadas à interface natural humano-computador. O ótimo desempenho do sistema é um passo para continuar na busca de novas tecnologias para criar um ambiente inteligente que dê suporte às necessidades de pessoas com deficiência visual, auditiva ou motora lhes dando certo nível de autonomia, capacidade de controle do entorno e de comunicação Abstract: This thesis presents an innovative approach to solving problems of pattern recognition using a neural-genetic combination. Specifically, a morphological associative neural network is combined with a genetic algorithm that is used in the construction of the neural network for increasing the efficiency and robustness of pattern recall. A detailed study about the performance of the approach is presented, using grayscale images as patterns. Numerical and visual results are presented and the performance achieved is compared with other morphological associative neural models showing its effectiveness and robustness in the grayscale images recall. Thinking about a potential application, the proposed approach is used to solve the problem of hand gestures recognition. The hand gestures recognition is a natural way of human-computer interaction and considering the diversity and difference manifested by the human, for many people who have physical and sensory disabilities, the hand gestures is the primary means of communication. Several technologies have been proposed to bring benefits to people with limited communication. The intelligent environments emerged with the main purpose of improving the quality of human life based in computational tools facilitating the development of processes and actions of everyday life. The hand gestures recognition is a function of intelligent environments. So, for people with physical disabilities that limit their oral communication gesture recognition in an intelligent environment can take many benefits in communication, interaction and accessibility allowing its integration with the environment. Although concerned about people with disabilities, the hand gestures recognition system is mainly intended to benefit every people who has access to the environment. Thus, this thesis presents a study of a hand gestures recognition system. The system is able to recognize static hand gestures using the proposed Neural-Genetic Approach. Methods used in the image preprocessing and characterization are also presented. Results achieved with the proposed approach are very encouraging and suggest that the proposal can be considered as an efficient and robust tool for recovery and identification to be used in various applications related to natural human-computer interface. The optimal system performance is a big step to continue the search for new technologies to create an intelligent environment that supports the needs of people with visual, hearing or motor disability Mestrado Engenharia de Computação Doutor em Engenharia Elétrica

Orientadores: Maria Cecília Calani Baranauskas, Rodrigo Bonacin Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: As Redes Sociais Online (RSOs) podem representar uma oportunidade para as pessoas não letradas digitalmente efetivamente familiarizarem-se com tecnologias da informação e comunicação. Para isso, esses sistemas deveriam prover acesso inclusivo, criando situações nas quais a diversidade cultural dos usuários fosse respeitada, e suas dificuldades de acesso minimizadas. RSOs com recursos que promovam acesso a todos, incluindo aqueles às margens da cultura digital, podem ser definidas como Redes Sociais Inclusivas (RSIs). Nestas, as pessoas devem ter a possibilidade de facilmente recuperarem informações corretas, e principalmente que façam sentido a elas. Nesse contexto, o objetivo deste trabalho é investigar a concepção de mecanismos de busca inclusivos, mais adequados ao conceito de RSI, que possam propiciar resultados de busca mais significativos e personalizados. Embora o uso de mecanismos de busca seja uma das principais alternativas para acessar informação na Web atualmente, esses mecanismos ainda são construídos principalmente através de processamento léxico-sintático da informação, resultando em barreiras para muitos usuários. O uso de técnicas de busca semântica impulsionado por tecnologias da Web Semântica (WS) apresenta novas possibilidades para o problema em destaque, mas estas ainda são fundamentadas em paradigmas e métodos limitados para a representação do conhecimento em redes sociais. Para desenvolver um mecanismo de busca inclusivo em RSI é preciso "interpretar" a semântica compartilhada pelas pessoas. Nesta direção é necessário utilizar abordagens e métodos que permitam capturar os aspectos sociais e culturais advindos da rede social, como a linguagem coloquial e as relações semânticas usadas. Desta maneira, o mecanismo de busca inclusivo proposto adota uma solução baseada em ontologias, que são construídas com base em uma nova abordagem para o design de ontologias Web. Esta abordagem é fundamentada em conceitos e métodos da Semiótica Organizacional (SO), combinados com tecnologias da WS. A concepção desta abordagem foi inspirada em resultados de um experimento com usuários reais sobre atividades de busca em um sistema de RSI. A solução proposta pode possibilitar novas estratégias de busca baseadas em ontologia, e conseqüentemente, gerar a possibilidade de promover o acesso participativo e universal ao conhecimento Abstract: Social Network Services (SNSs) may represent an opportunity for not digitally literate people to effectively familiarize themselves with information and communication technologies. For that, these systems should provide inclusive access, creating situations where users' cultural diversity is respected and their difficulties minimized. SNSs with resources that promote access for all, including those in the margin of the digital culture can be defined as Inclusive Social Network Services (ISNs). In these networks, ordinary people must have the possibility of easily recovering correct information, which makes sense to them. In this context, the objective of this work is to investigate the conception of an inclusive search mechanism more adequate to the ISN concept, which may propitiate more meaningful and personalized search results. Although the use of search mechanisms has been the main alternative to access information in the Web, such mechanisms are still built mainly through lexic-syntactical processing of information, resulting in barriers for many users. The use of semantic search techniques driven by Semantic Web (SW) technologies presents new possibilities for the highlighted problem, but it is still grounded in limited paradigms and methods for the representation of the social knowledge. In order to develop an inclusive search mechanism in ISN it is necessary to "interpret" the meanings shared by people. Approaches and methods that allow capturing the social and cultural aspects from the social network, such as their colloquial language and semantic relations, are necessary for that. Therefore, the inclusive search mechanism proposed in this work adopts an ontology-based solution that is based on a novel approach for the design of Web ontologies. Such approach is grounded on Organizational Semiotics (OS) concepts and methods, combined with SW technologies. The conception of this solution was inspired in experimental results with real users on search activities in an ISN system. This may enable novel ontology-based search strategies, and consequently generates the possibility of promoting the participatory and universal access to knowledge Mestrado Metodologia e Técnicas da Computação Mestre em Ciência da Computação

Orientador: Celmar Guimarães Da Silva Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Tecnologia Resumo: O desenvolvimento tecnológico tem permitido gerar e coletar dados de diversos tamanhos e fontes. Com isso, emergiu a necessidade crescente de extração de informações desses dados, de forma a ajudar as pessoas a tomarem melhores decisões. Entretanto, tendo em vista a dificuldade de análise desses dados, recomenda-se o uso de visualizações, cujo objetivo é auxiliar na identificação de padrões e tendências em conjuntos de dados, aliviando a carga da memória de trabalho humana. Para usufruir desses benefícios, diversas representações visuais podem ser usadas para diferentes tipos de conjuntos de dados. Em particular, a estrutura visual Heatmap Matrix é capaz de gerar visualizações que têm o potencial de auxiliar o entendimento do usuário na análise de dados multidimensionais categóricos ou ordinais. Contudo, uma de suas limitações é a ausência de recursos interativos para uma melhor exploração do conjunto de dados por ela apresentado, os quais auxiliariam na percepção de situações relevantes que poderiam estar ocultas em sua representação estática. Nesse sentido, o objetivo deste trabalho é testar a hipótese de que a adição de mecanismos interativos à estrutura visual Heatmap Matrix tende a potencializar seu uso para a análise de dados multidimensionais. Alguns desses recursos interativos são justificadamente propostos e adicionados à estrutura visual Heatmap Matrix e à sua ferramenta homônima neste trabalho. Dentre os recursos adicionados, destacam-se: mecanismos de reordenação com abordagens automatizadas; adição de filtro baseado no algoritmo de mineração de dados Apriori; adição de filtro baseado no coeficiente de correlação de Spearman; recursos de zoom; alteração no tipo de coloração dos heatmaps; e adição de métodos de discretização de dados quantitativos (Equal Width e Equal Frequency). Os recursos adicionados foram testados em situações de análise de conjuntos de dados reais e sintéticos, auxiliando a compreender características desses conjuntos de dados. Os resultados obtidos nesses testes trouxeram indícios positivos sobre a utilidade da Heatmap Matrix, em sua versão interativa, para a análise de dados Abstract: The technological development has contributed to the generation and collection of data of different sizes and sources. As a result, the growing need of information extraction from these data has emerged, in order to help people make better business decisions. However, analysing these data is not a simple task, what makes the use of visualizations strongly recommended. These graphical structures aim to assist in the identification of patterns and trends in data sets, relieving the burden of human working memory. With this, different visual representations can be used for different types of data sets to take advantage of these benefits. In particular, the Heatmap Matrix visual structure is capable of generating visualizations that have the potential to assist the user's understanding in the analysis of categorical or ordinal multidimensional data. However, one of its limitations is the absence of interactive resources for a deeper exploration of the data set displayed by the visual technique, which could assist in the perception of relevant situations that could be hidden in its static representation. In this sense, the objective of this work is to test the hypothesis that the addition of interactive mechanisms to the Heatmap Matrix visual structure tends to enhance its use for multidimensional data analysis. Some of these interactive features are justifiably proposed and added to the Heatmap Matrix visual structure and its homonymous tool in this work. Among the added features, the following stand out: reordering mechanisms with automated approaches; addition of a filter based on the Apriori data mining algorithm; addition of a filter based on Spearman's correlation coefficient; zoom features; change in the color of the heatmaps; and addition of quantitative data discretization methods (Equal Width and Equal Frequency). The added features were tested in situations of analysis of real and synthetic data sets, helping to understand the characteristics of these data sets. The results obtained in these tests brought positive indications about the usefulness of the Heatmap Matrix, in its interactive version, for data analysis Mestrado Sistemas de Informação e Comunicação Mestre em Tecnologia CAPES 001

Orientador: Paula Dornhofer Paro Costa Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A voz humana é rica em maneiras que a palavra escrita dificilmente consegue capturar. A fala pode ser transcrita mas, tipicamente, a escrita captura de maneira monótona aquilo que, na voz, é expressivo. Ainda que em muitos casos essa tradução "simplificada" entre meios não aparenta trazer em si problemas para leitores, a modulação tipográfica da escrita é uma ferramenta tecnológica capaz de apoiar os casos onde essa lacuna entre expressão na voz e monotonia na tipografia de fato imponha desafios aos leitores. Esses casos são variados, e podem incluir crianças que penam para tornar-se leitoras fluentes, imigrantes que não conseguem discernir os sons escritos em uma língua estrangeira, espectadores surdos para quem as nuances afetivas de um filme se perdem na maneira com que as closed-captions achatam as variações vocais, etc. Nesse contexto, o presente trabalho propõe um modelo inédito de modulação da tipografia a partir do processamento do sinal acústico da fala junto à transcrição temporalizada de suas sílabas. Nisso, são usadas medidas prosódicas como amplitude, pitch, e duração silábica para modular visualmente atributos tipográficos como espessura de fonte, deslocamento vertical na linha de base, letter-spacing, etc. Este documento descreve o processo de investigação e desenvolvimento desse modelo de tradução audiovisual, apresentando os resultados de três experimentos perceptuais. No primeiro experimento, avaliou-se uma versão do modelo inspirada em uma revisão de trabalhos semelhantes de outros autores. Resultados pouco claros apontaram a complexidade do problema e indicaram a necessidade de dissecar o modelo em suas partes constituintes. O segundo experimento explorou as preferências fortes por associações específicas entre certas medidas acústicas e modulações tipográficas. Os resultados desse experimento foram utilizados para desenvolver um novo modelo de tradução audiovisual, que foi avaliado em um terceiro experimento. Nesse experimento, os participantes foram capazes de identificar a expressividade na fala em 65% de suas tentativas. Esse modelo apresentou resultados robustos o suficiente para que possa ser usado no desenvolvimento e pesquisa de aplicações baseadas em cenários reais, e seu forte desempenho pode servir como uma linha de base contra a qual futuros modelos possam ser comparados Abstract: The human voice is rich in ways the written word struggles to capture. Yes, speech can be transcribed, lifelessly representing in letters what is expressive while in sound. If in many cases this "simplified" translation between mediums is not an issue for readers, typographic modulation of writing is a technological tool able to support those cases where these gaps between how expressive speech is versus how flat typography renders it indeed present challenges to readers. These cases include children struggling to become fluent readers, immigrants unable to discern the written sounds of a foreign language, deaf viewers for whom emotional nuance in movies is lost by how flatly closed-captions render speech, etc. In this context, our work proposes a new model for modulating typography based on the processing of acoustic measures in speech with the timed transcription of its syllables. We use prosodic features such as syllabic amplitude, pitch, and duration to visually modulate typographic attributes such as font-weight, baseline shift, letter-spacing, etc. In this work, we describe how we investigated and developed this audio-visual translation model, presenting the results of three perceptual experiments. In the first, we evaluated a version of the model inspired by a review of similar works from other authors. Unclear results painted the design-space as more complex than originally envisioned, showing a need for dissecting the model in its constituent parts. We did so in experiment #2, where strong preferences emerged for specific matches between acoustic measures and typographic modulations. We used these as inputs for a novel audio-visual translation model, which we evaluated in a third experiment. The new model allowed participants to discriminate between similarly sounding utterances, which they did in 65% of their attempts. This model showed robust enough results for it to be used in the development and research of real-world applications, and its performance can serve as a baseline with which to compare future models Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Maria Cecília Calani Baranauskas Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: A maneira com que as pessoas utilizam os sistemas de computação mudou. Se antes elas interagiam somente utilizando os periféricos tradicionais, como teclado, mouse e monitor, agora elas conseguem utilizar outros dispositivos para interagir com esses sistemas. Seguindo o conceito da computação ubíqua, esses dispositivos poderiam estar conectados entre si, imersos em todos os lugares, de maneira tão transparente que os usuários acabariam não percebendo a existência deles. Por outro lado, a evolução industrial tornou alguns componentes eletrônicos mais acessíveis, permitindo a construção de dispositivos. Esta dissertação procurou investigar sistemas computacionais ubíquos, construindo, para tal, cenários e artefatos que utilizassem essa tecnologia emergente e que considerassem a perspectiva do usuário. Neste trabalho, construímos quatro cenários, três no domínio da educação, e que foram experimentados por meio de estudos de caso e avaliados com professores e alunos de uma instituição de ensino; e um com relação à acessibilidade que foi avaliado em um estudo de caso com especialistas em Interação Humano-Computador. Também investigamos esses quatro cenários na perspectiva da Internet das Coisas, conceito que remete a sistemas que teriam componentes conectados entre si e à Internet, compartilhando informações. Nesse contexto, também propusemos enriquecimentos no design desses cenários, para que eles pudessem evoluir como cenários de sistemas de Internet das Coisas Abstract: The way people use computer systems has changed. If they used to interact only using traditional peripherals such as a keyboard, mouse, and monitor, they can now use other devices to interact with these systems. Following the concept of ubiquitous computing, these devices could be connected to each other, immersed everywhere, in such a transparent way that users would end up not realizing their existence. On the other hand, the industrial evolution made some electronic components more accessible, allowing the construction of devices. This dissertation pursued to investigate ubiquitous computational systems, designing scenarios and artefacts that use this emerging technology and considered the users¿ perspective. In this work, we designed four scenarios, three in the field of education, which were experimented through case studies and evaluated with teachers and students of an educational institution; and one regarding accessibility that was evaluated in a case study with Human-Computer Interaction specialists. We also investigate these four scenarios from the perspective of the Internet of Things, a concept that refers to systems that would have components connected to each other and to the Internet, sharing information. In this context, we also proposed to enrich these scenarios, so that they could evolve as scenarios of Internet of Things systems Mestrado Ciência da Computação Mestra em Ciência da Computação CNPQ 2015/16528-0 FAPESP 306272/2017-2

Orientador: Maria Cecília Calani Baranauskas Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: O meio de comunicação mais utilizado pelo ser humano ao longo de seu desenvolvimento natural é a linguagem oral. Dificuldades de comunicação por meio da fala demandam alternativas de várias naturezas, incluindo artefatos tecnológicos. A Comunicação Alternativa e Aumentativa (CAA) é a denominação para um conjunto de ferramentas e estratégias que uma pessoa pode utilizar como um complemento e/ou substituição da fala, para compensar as dificuldades de expressão oral. Quando um aluno não fala ou seu interlocutor não entende o que ele quer comunicar, é necessária a utilização de alternativas comunicacionais, tais como a CAA, que possibilitem uma interação, no ambiente escolar e fora dele, sem barreiras. Além de conseguir se expressar por meio da fala, é importante que o estudante consiga exprimir seus estados afetivos, pois esses são considerados essenciais para a relação de ensino e aprendizagem. Os "Grandes Desafios de Pesquisa em Interação Humano-Computador no Brasil" sugerem que tecnologias inovadoras sejam "utilizadas para a construção de sistemas que possam ser generalizados para múltiplos dispositivos e ao mesmo tempo especializados para os diferentes usuários com diferentes necessidades". Tecnologias de Informação e Comunicação têm potencial para desempenhar um importante papel na promoção da inclusão, aprimorando a utilização dos materiais pedagógicos e acrescentando novos recursos no âmbito socioeducacional. Contudo, as tecnologias de interação tangível têm sido ainda pouco utilizadas para suprir essas necessidades comunicacionais em ambientes inclusivos. Esta tese propõe sistemas de comunicação voltados para ambientes educacionais inclusivos, explorando e reconceitualizando o uso de tecnologias contemporâneas (ex. Radio Frequency Identification, Bluetooth, Smartphones) para interação tangível nesses ambientes. O processo de pesquisa deste trabalho envolveu atividades baseadas em Oficinas Semioparticipativas com partes interessadas, em diversas situações de design, situadas em contexto real de escola inclusiva. Nosso objetivo foi investigar o potencial dessas tecnologias computacionais para o cenário da Comunicação (Alternativa, Aumentativa e Afetiva) e propor ambientes baseados em tais tecnologias (via dispositivos tangíveis e por toque, entre outros) que possibilitem a comunicação pelas pessoas e entre pessoas em espaços educativos inclusivos. Considerando a relação intrínseca entre emoções e aprendizado, propusemos diferentes tipos de artefatos, que foram desenvolvidos e experimentados: Tan2Talk, SAMobile, SAMDesk, TangiSAM, CardSAM, SAMCurve, SAMLight. Tan2Talk é um ambiente tangível para apoio à comunicação alternativa e aumentativa, proposto como suplemento à comunicação de alunos que não se fazem entender pela fala, matriculados em escolas comuns (educação inclusiva). Os sistemas SAMobile e SAMDesk se utilizam de artefatos computacionais tangíveis (os quais denominamos TangiSAM e CardSAM) que possibilitam a autoexpressão de estados afetivos. Para compreender as experiências emocionais dos estudantes, desenvolvemos o SAMCurve, um artefato que possibilita a análise de mudanças nos estados afetivos do estudante ao longo do tempo e o SAMLight, que utiliza uma placa com LEDs como feedback visual do estado afetivo de diferentes grupos de estudantes. Por meio do uso dos sistemas nos ambientes educacionais inclusivos, constatamos que os artefatos TangiSAM e CardSAM foram efetivos em proporcionar aos estudantes a expressão de seus estados afetivos, além de promover na escola, de maneira divertida e leve, o tema da reflexão sobre os estados afetivos nos alunos e na prática dos professores. A diversificação das plataformas para uso desses artefatos via SamDesk e SAMobile proporcionam adequação às situações de infraestrutura tecnológica das escolas. Os artefatos SAMCurve e SAMLight permitiram análise e conscientização dos professores e coordenação pedagógica sobre os estados afetivos dos estudantes. Resultados da aplicação do Tan2Talk apontaram que as crianças conseguiam se comunicar por meio dos artefatos do sistema, aumentando suas habilidades de comunicação via associação de ideias e interação social. Os sistemas computacionais de interação tangível para apoio à comunicação alternativa, aumentativa e afetiva mostraram resultados positivos em termos de aceitação, motivação, divertimento e capacidade de comunicação entre os envolvidos, mostrando seu potencial para utilização em espaços educativos Abstract: The most used means of communication by human beings in their natural development is the oral language. Speech difficulties demand alternatives of different nature, including technological artifacts. Alternative and Augmentative Communication (AAC) is the denomination for a set of tools and strategies that one can use as a complement and/or replacement of speech to compensate for speech difficulties. When a student does not speak or the interlocutor does not understand what is being communicated, communication alternatives that allow a barrierless interaction inside and outside the school environment should be used, such as the AAC. In addition to being able to express themselves through speech, the students should be able to express their affective states, an essential aspect of the teaching and learning relationship. The "Grand Research Challenges in Human-Computer Interaction in Brazil" suggest that innovative technologies should be "used for the construction of systems that can be both generalized to multiple devices and at the same time specialized for different users with different needs". Information and Communication Technologies have the potential to play an important role in promoting inclusion, improving the use of pedagogical materials and adding new social-educational resources. Nevertheless, tangible interaction technologies have not yet been widely used to meet the communication needs in inclusive environments. This thesis proposes communication systems focused on inclusive educational environments, by exploring and reconceptualizing the use of contemporary technologies (e.g. Radio Frequency Identification, Bluetooth, Smartphones) for tangible interaction. The research process of this work involved activities based on Semioparticipatory Workshops with interested parties, in several design situations, including a real context of inclusive schools. Our objective was to investigate the potential of computational technologies for the Communication scenario (Alternative, Augmentative and Affective) and propose environments based on such technologies (via tangible and touch devices, among others) that enable the communication by people and between people in inclusive educational spaces. Considering the intrinsic relationship between emotions and learning, different types of artifacts were proposed, developed and experienced: Tan2Talk, SAMobile, SAMDesk, TangiSAM, CardSAM, SAMCurve, SAMLight. Tan2Talk is a tangible environment to support alternative and augmentative communication, proposed as a supplement to the communication of students who do not make themselves understood through speech and are enrolled in regular schools (inclusive education). The SAMobile and SAMDesk systems use tangible computational artifacts (named TangiSAM and CardSAM) to enable the self-expression of affective states. SAMCurve and SAMLight were developed to understand the students¿ emotional experiences along different activities. The former provides the analysis of their changes in affective states over time. The latter uses a display of LEDs as a visual feedback of the affective state of different groups of students. By using the systems in inclusive educational environments, TangiSAM and CardSAM have shown effective in providing students with the expression of their affective states. Furthermore, they led to a discussion on the students¿ affective states and a reflection on the teachers¿ practices. The diversification of the platforms supporting these artifacts, via SamDesk and SAMobile software enable the schools to adapt the solutions to their technological infrastructure. The SAMCurve and SAMLight artifacts allowed the analysis and awareness of the teachers and the pedagogical coordination regarding the students¿ affective states. The results of the implementation of Tan2Talk pointed out that the children were able to communicate through the artifacts, leading to an improvement in their communication skills via idea association and social interaction. The computational systems of tangible interaction to support alternative, augmentative and affective communication have shown positive results in terms of acceptance, arousal, fun and communication capacity among the participants. Therefore, the results show their potential to be useful in educational spaces Doutorado Ciência da Computação Doutora em Ciência da Computação

Orientador: Maria Cecília Calani Baranauskas Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Atualmente, a tecnologia computacional tornou-se cada vez mais pervasiva por meio de computadores de diferentes tamanhos, formas e capacidades. Mas avanços tecnológicos, embora necessários, não são suficientes para tornar a interação com tecnologia computacional mais transparente, como preconizado pela computação ubíqua. Sistemas computacionais atuais ainda exigem um vocabulário técnico de entradas e saídas para serem utilizados. No campo da Interação Humano-Computador (IHC), a adoção da teoria da cognição enativa pode lançar luz sobre um novo paradigma de interação que preenche a lacuna entre ação e percepção. Sistemas computacionais enativos são um promissor tema de pesquisa, mas seu design e avaliação ainda são pouco explorados. Além disso, sistemas enativos, como já proposto na literatura, carecem de consideração do contexto social. O objetivo desta tese de doutorado é contribuir para o design de tecnologia computacional dentro de uma abordagem da cognição enativa, além de também sensível à aspectos sociais. Portanto, esta tese investiga os conceitos de sistemas enativos e socioenativos por meio do co-design de arte interativa e instalações. Para atingir esse objetivo, é proposto um arcabouço teórico-metodológico chamado "Arte Factus" para apoiar o estudo e o co-design socialmente consciente de artefatos digitais. O arcabouço "Arte Factus" foi utilizado em três estudos de design relatados nesta tese: InterArt, InstInt e InsTime. Esses estudos envolveram a participação de 105 estudantes de graduação e pós-graduação em Ciência da Computação e Engenharia de Computação no co-design de 19 instalações. O processo envolveu o uso de tecnologia pervasiva do tipo Faça-Você-Mesmo ("Do-It-Yourself, DIY"), e algumas dessas instalações foram estudadas em oficinas de prática situada que ocorreram em cenários educacionais (escola e museu exploratório de ciências). O arcabouço "Arte Factus", como a principal contribuição desta tese de doutorado, mostrou-se eficaz no apoio ao co-design socialmente consciente de instalações interativas que materializam o conceito de artefatos digitais socioenativos. Além disso, através do estudo dos artefatos criados no contexto desta investigação, esta tese também contribui para a construção teórica do conceito de sistemas socioenativos Abstract: Currently, computational technology has become more and more pervasive with computers of different sizes, shapes, and capacities. But technological advancements, although necessary, are not enough to make the interaction with computational technology more transparent, as preconized by the ubiquitous computing. Current computational systems still require a technical vocabulary of inputs and outputs to be interacted with. Within the field of Human-Computer Interaction (HCI), the adoption of the enactive cognition theory can shed light on a new interaction paradigm that bridges the gap between action and perception. Enactive computational systems are a promising subject of research, but their design and evaluation are still hardly explored. Furthermore, enactive systems as already proposed in the literature lack a social context consideration. The objective of this doctoral thesis is to contribute towards the design of computational technology within an enactive approach to cognition, while also being sensitive to social aspects. Therefore, this thesis investigates the concepts of enactive and socioenactive systems by enabling the co-design of interactive art installations. To achieve this objective, a theoretical-methodological framework named "Arte Factus" is proposed to support the study and socially aware co-design of digital artifacts. The "Arte Factus" framework was used in three design studies reported in this thesis: InterArt, InstInt, and InsTime. These studies involved the participation of 105 Computer Science and Computer Engineering undergraduate and graduate students in the co-design of 19 installations. The process involved the use of pervasive "Do-It-Yourself" (DIY) technology, and some of these installations were further studied in workshops of situated practice that took place in educational scenarios (school and exploratory science museum). The "Arte Factus" framework, as the main contribution of this doctoral thesis, has shown effective in supporting the socially aware co-design of interactive installations that materialize the concept of socioenactive digital artifacts. Moreover, through the study of the artifacts created in the context of this investigation, this thesis also contributes towards the theoretical construction of the concept of socioenactive systems Doutorado Ciência da Computação Doutor em Ciência da Computação FAPESP 2017/06762-0 CAPES

Dissertação de mestrado integrado em Engenharia e Gestão Industrial, As soluções de robótica colaborativa onde humanos e robots partilham as suas tarefas têm vindo a entrar no mercado permitindo combinar as vantagens e potencialidades dos robots ao nível da precisão, velocidade e repetitividade destes com as capacidades cognitivas e flexíveis do ser humano. Esta integração para a criação de um novo sistema produtivo será tanto mais eficaz quanto mais se adequar às necessidades dos postos de trabalho e atender as necessidades tanto da produção como das pessoas que o executam. Nesse sentido, a presente dissertação analisa dois estudos de caso na secção de montagem de uma fábrica de produção de mobiliário. O objetivo passa por avaliar o impacto da instalação, em termos produtivos e ergonómicos, decorrente da implementação de um sistema colaborativo no posto da pré-montagem (Estudo de caso 1) e a potencialidade da implementação num estudo prospetivo conduzido no posto de Cold Press (Estudo de caso 2). O projeto iniciou com a análise crítica da situação atual na secção de montagem, tendo sido aplicada a ferramenta Ergonomic Value Stream Mapping (ErgoVSM) e, posteriormente, quatro tipos de análises: estudos de tempos; aplicação do método Rapid Upper Limb Assessment (RULA); e recolha das perceções das trabalhadoras sobre a robótica em meio industrial e/ou sobre a ergonomia do seu posto de trabalho. A implementação da robótica colaborativa no posto da pré-montagem, conseguida com o investimento de 90921,48€, permitiu reduzir o tempo de ciclo das referências em análise em cerca de 4,2% e 7,8% bem como a pontuação RULA ponderada em cerca de 5,0%. Relativamente à sua influência na montagem, o sistema criado permite reduzir em 7% o consumo de cola diário por palete, bem como a redução em 8,7% da pontuação RULA. No segundo estudo de caso, sendo um estudo prospetivo, analisaram-se as propostas apresentadas à empresa (incluindo a aplicação do método RULA) e estimou-se o potencial de implementação de uma célula colaborativa no posto de Cold Press, sendo este mais impactante da tarefa de alcançar e empilhar as frames/placas de HDF. Os resultados obtidos demonstraram que a robótica colaborativa assume-se como vantajosa aquando da integração em postos de tarefas manuais na melhoria da produtividade e das condições ergonómicas. A presente dissertação reforça igualmente a importância da aplicação de princípios ergonómicos e de Lean Production aquando do design e implementação depostos de trabalho com robótica colaborativa., Collaborative robotics solutions where humans and robots share their tasks have been entering the market allowing to combine the advantages and potential of robots in terms of their precision, speed and repeatability with the cognitive and flexible capabilities of human beings. This integration for the creation of a new productive system will be all the more effective as it adapts to the needs of the jobs and meets the needs of both production and the people who run it. In this sense, this dissertation analyzes two case studies in the assembly section of a furniture production factory. The objective is to evaluate the impact of the installation, in productive and ergonomic terms, resulting from the implementation of a collaborative system at the pre-assembly station (Case study 1) and the potential of the implementation in a prospective study conducted at the Cold Press station ( Case study 2). The project started with a critical analysis of the current situation in the assembly section, using the Ergonomic Value Stream Mapping (ErgoVSM) tool and, subsequently, four types of analysis: time studies; application of the Rapid Upper Limb Assessment (RULA) method; and collecting workers' perceptions of robotics in an industrial environment and / or the ergonomics of their workplace. The implementation of collaborative robotics at the pre-assembly station, achieved with an investment of 90921.48€, allowed to reduce the cycle time of the references under analysis by about 4.2% and 7.8% as well as the weighted RULA score by about 5.0%. Regarding its influence on assembly, the system created allows the daily glue consumption per pallet to be reduced by 7%, as well as the RULA score to be reduced by 8.7%. In the second case study, being a prospective study, the proposals presented to the company (including the application of the RULA method) were analyzed and the potential for implementing a collaborative cell at the Cold Press post was estimated, which is the most impactful of the task of reaching and stacking HDF frames / boards. The results obtained demonstrated that collaborative robotics assumes itself as an advantage when integrating into manual task posts in improving productivity and ergonomic conditions. This dissertation also reinforces the importance of applying ergonomic principles and Lean Production when designing and implementing workstations with collaborative robotics.

Orientador: Eric Rohmer Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O objetivo desta dissertação é desenvolver e avaliar uma interface homem-máquina denominada UPI (User-Prosthesis Interface) para o controle e atuação de próteses de mão. Usando diferentes tecnologias de visão computacional e sinais de eletromiografia, a interface permite minimizar o desgaste físico e emocional de pacientes durante o processo de aprendizagem e adaptação no controle de próteses transradiais. O sistema é implementado usando dispositivos de fácil aquisição comercialmente disponíveis. Um aplicativo desenvolvido no Android recebe a intenção do usuário enviada por uma braçadeira electromiográfica, via três contrações diferentes. O controlador no aplicativo inicializa a previsão do tipo de pegada usando o modelo de aprendizado de máquina incorporado no dispositivo, com a associação de 14 interações predefinidas indexadas às necessidades do usuário, retornando uma ordem para a prótese. Para fins de teste, se integrou a UPI com uma prótese de membro superior de código aberto, de múltiplas capturas e antropomórfica \cite {fajardo2017affordable, andrade2017hybrid}. A interface também foi avaliada com uma simulação de prótese robótica, desenvolvida em um framework chamado V-REP. Para avaliação da interface, vinte e um voluntários receberam exemplares das tecnologias para adequar a preensão da mão protética à situação vigente. A quantificação dos resultados foi feita com base no sistema de avaliação NASA TLX, uma ferramenta que avalia a quantidade de trabalho despendida para que uma tarefa seja efetuada. Essa avaliação acessa níveis de demanda mental, física, temporal, esforço, desempenho e frustração para calcular a carga de trabalho geral das tarefas. Uma tabela comparativa enfatiza as vantagens e desvantagens da interface, com outros módulos desenvolvidos em outros projetos para o mesmo propósito em um ambiente instrumentado e não instrumentado. Os resultados mostram que a interface desenvolvida neste projeto requer menos esforço cognitivo do usuário, seguido pelo fato de que seus usuários não necessitam realizar várias contrações, como ocorre em outros sistemas Abstract: The objective of this research is to develop and evaluate a Human-Machine interface named UPI (User ¿ Prosthesis Interface) for the hand¿s prosthesis control and performance. Using different computer vision technologies and electromyography signals, the interface minimizes the physical and emotional stress of the patients during the learning and adaptation process to control transradial prostheses. The system is implemented using easy to purchase and commercially available devices. An application developed on Android receives the user¿s intention sent by an electromyographic armband, via 3 different muscular contractions. The controller in the application initializes the grip¿s type prediction using the machine learning model built into the device, with the association of 14 predefined interactions indexed to the user¿s needs, returning an order to the prosthesis. For testing purposes, the UPI was integrated with an open-source, multiple-capture and anthropomorphic upper limb prosthesis [1], [2]. The interface was also evaluated with a robotic prosthesis simulation, developed in a framework called V-REP. To assess the interface, twenty-one volunteers received copies of the technologies to adapt the prosthetic hand grip to the current situation. The quantification of the results was based on the NASA TLX evaluation system, a tool that evaluates the amount of work expended for a task to be performed. This assessment accesses Mental Demand, Physical Demand, Time Demand, Effort, Performance and Frustration levels to calculate the overall workload of tasks. A comparative table emphasizes the advantages and disadvantages of the interface, with other modules developed in other projects for the same purpose in an instrumented and non-instrumented environment. The results show that the interface developed in this project requires less cognitive effort from the user, followed by the fact that its users do not need to perform several contractions, as occurs in other systems Mestrado Engenharia de Computação Mestra em Engenharia Elétrica