Quality and Usability

Dr.-Ing. Stefan Hillmann

Research Field Usability (evaluation) of spoken and multimodal dialogue systems.

Research Topics - dialog management and machine learning - automatic usability prediction - multimodal human computer interaction - modelling and simulation of user behaviour

Research Projects Since December 2018: Optimization of conversational user interface using reinforcement learning. Since April 2013: Employment in the project Universal Home Control Interface@Connected Usability. The project includes research on methods for the usability evaluation of multimodal and adaptive services in smart home environments. Stefan’s main task is the conception and implementation of the dialogue management for an adaptive spoken dialogue system.

January 2010 until July 2011: Employment in the project DFG project User Model. This project was focused on research on the automatic usability evaluation of spoken dialogue systems using methods of sociological technology studies.

Background He did his diploma in computer studies (Diplom-Informatiker) in 2006. Afterwards, he worked in a promotional program for innovative start-ups (hosted at Freie Universität Berlin). From year 2007 until end of 2009 he was employed as software developer at Novedia AG. Since 2010, he is an PhD student at the Quality and Usability Lab in the position of a research assistant. 

Contact E-Mail: stefan.hillmann@tu-berlin.de (encryption: public gpg key)

Teaching activities
Coordination MOOC Communication Acoustics

  • WS 2017/18, WS 2018/19, WS 2019/20, WS 2020/21 (with Tanja Kojic): edX courses Fundamentals of Communication Acoustics and Applications in Communication Acoustics
  • WS 2016/17 (with Christoph Hohnerlein): edX course Communication Acoustics

Seminar Quality and Usability

  • Modellbasierte Usability-Evaluierung: SS 2012 (with Klaus-Peter Engelbrecht), SS 2013 (with Klaus-Peter Engelbrecht, Matthias Schulz), SS 2014 (with Klaus-Peter Engelbrecht, Marc Halbrügge, Matthias Schulz), SS 2015 (with Klaus-Peter Engelbrecht, Marc Halbrügge)
  • Sprachdialogsysteme und Dialogsteuerung: WS 2012/2013, WS 2013/2014, WS 2014/2015 (all with Benjamin Weiss)
  • Neuronale Netze in der Sprachtechnologie: SS 2016 (with Benjamin Weiss, Marc Halbrügge)

Exercise Multimodal Interaction

  • SS 2012 (with Stefan Schaffer, Julia Seebode), SS 2013 (with Stefan Schaffer, Julia Seebode), SS 2014 (with Maija Poikela, Patrick Ehrenbrink), SS 2015 (with Robert Walter, Patrick Ehrenbrink), SS 2016 (with Patrick Ehrenbrink), SS 2017 (with Patrick Ehrenbrink)

Study projects

  • Smart Picture Frame (face recognition): WS 2014/2015
  • Put-That-There (parallel multimodal interaction): WS 2016/2017
  • Visualisierung von Richtungshören und binauralem Hören: SS 2017
  • TU Walking (Fußgängnernavigation an der TU Berlin): SS 2017, WS 2017/18
  • BC Stories (virtual reality environment, bcstories.ca)

Publikationen

2021

Hillmann, Stefan; Möller, Sebastian; Michael, Thilo
Towards Speech-Based Interactive Post Hoc Explanations in Explainable AI
Workshop Establishing An InterDisciplinary pErspective on Speech-BAsed TEchnology
Herausgeber: Magdeburg, DE (virtually)
September 2021

2020

Jansson, C. -.; Thottappillil, R.; Hillmann, Stefan; Möller, Sebastian; Hari, K. V. S.; Sundaresan, R.
Experiments in Creating Online Course Content for Signal Processing Education
ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Seite 9220–9223
Mai 2020
Hillmannn, Stefan; Himmelsbach, Tilo; Weiss, Benjamin
Vergleichende Untersuchung von Reinforcement Learning Verfahren beim Training eines Dialog Managers
Elektronische Sprachsignalverarbeitung 2020ausStudientexte zur Sprachkommunikation, Seite 249–256
Herausgeber: TUDpress, Dresden
März 2020
ISBN
978-3-95908-193-1
Weiss, Benjamin; Hillmannn, Stefan; Michael, Thilo; Himmelsbach, Tilo
Zur Automatischen Schätzung von Kostenfunktionen aus Dialogen
Elektronische Sprachsignalverarbeitung 2020ausStudientexte zur Sprachkommunikation, Seite 236–240
Herausgeber: TUDpress, Dresden
März 2020
ISBN
978-3-95908-193-1

2019

Hillmann, Stefan; Engelbrecht, Klaus-Peter; Weiss, Benjamin
Semi-Automatische Generierung Und Reinforcement Learning Basiertes Training Eines Dialogmanagers
Elektronische Sprachsignalverarbeitung 2019, Seite 34–41
Herausgeber: Dresden, Germany
März 2019

2018

Hillmann, Stefan; Weiss, Benjamin; Michael, Thilo; Möller, Sebastian
Simulation von Nutzerverhalten bei der Interaktion mit Sprachdialogsystemen mittels Künstlicher Neuronaler Netzwerke
In Berton, A. and Haiber, U. and Minker, W., Editor, Elektronische Sprachsignalverarbeitung 2018Band90ausStudientexte zur Sprachkommunikation, Seite 151–158
In Berton, A. and Haiber, U. and Minker, W., Editor
Herausgeber: TUDpress, Dresden
März 2018
ISBN
978-3-95908-128-3
Weiss, Benjamin; Michael, Thilo; Hillmann, Stefan
Kontinuierliche Schätzung von Sprechgeschwindigkeit mit einem Rekurrenten Neuronalen Netzwerk
In Berton, A. and Haiber, U. and Minker, W., Editor, 29 Konferenz Elektronische Sprachsignalverarbeitung (ESSV), UlmausStudientexte zur Sprachkommunikation, Seite 186–191
In Berton, A. and Haiber, U. and Minker, W., Editor
Herausgeber: TUDpress, Dresden
2018

2017

Möller, Sebastian; Ahrens, Jens; Altinsoy, Ercan; Buchschmid, Martin; Fels, Janina; Hillmann, Stefan; Hohnerlein, Christoph; Müller, Gerhard; Seeber, Bernhard; Vorländer, Michael; Weinzierl, Stefan; Knoth, Sebastian; Barodte, Wolfram
A Cross-University Massive Open Online Course on Communication Acoustics
, Acoustics, Proc. of the 173rd Meeting of the Acoustical Society of AmericaBand8th Forum Acusticum, Seite abstract,poster
Herausgeber: Acoustical Society of America, USA-NY
Juni 2017
Weiss, Benjamin; Wechsung, Ina; Hillmann, Stefan; Möller, Sebastian
Multimodal HCI: Exploratory Studies on Effects of First Impression and Single Modality Ratings in Retrospective Evaluation
Journal on Multimodal User Interfaces, 11 (2) :115–131
Juni 2017
Fullpaper
Herausgeber: Springer International Publishing
ISSN: 1783-8738
Michael, Thilo; Hillmann, Stefan; Weiss, Benjamin
ALEX: An Artificial Conversational Agent for Students at the TU Berlin
28th Konferenz Elektronische Sprachsignalverarbeitung (ESSV), Seite 238–245
Herausgeber: TUDpress, Dresden
2017
ISBN
978-3-95908-094-1
Ehrenbrink, Patrick; Hillmann, Stefan
Comparing Priming Effects of Visual and Textual Task Representations - Texts can Influence Users' Utterances
International Workshop on Spoken Dialogue Systems, Seite 1–10
Herausgeber: Springer International Publishing, Cham, Switzerland
2017
Hillmann, Stefan
Simulation-Based Usability Evaluation of Spoken and Multimodal Dialogue Systems
aus T-Labs Series in Telecommunication Services
Herausgeber: Springer, Heiderlberg
2017
full
ISBN
978-3-319-62517-1
Möller, Sebastian; Ahrens, Jens; Altinsoy, Ercan; Buchschmid, Martin; Fels, Janina; Hillmann, Stefan; Hohnerlein, Christoph; Müller, Gerhard; Seeber, Bernhard; Vorländer, Michael; Weinzierl, Stefan; Knoth, Sebastian; Barodte, Wolfram
TU9-MOOC Communication Acoustics: Erste Erfahrungen
Fortschritte der Akustik - DAGA 2017: Plenarvortr. u. Fachbeitr. d. 43. Dtsch. Jahrestg. f. Akust, Seite 1–4
Herausgeber: DEGA, DE-Berlin
2017
ISBN
978-3-939296-12-6

2016

Ehrenbrink, Patrick; Hillmann, Stefan; Weiss, Benjamin; Möller, Sebastian
Psychological Reactance in HCI - A Method Towards Improving Acceptance of Devices and Services
OzCHI '16:The 28th Australian Conference on Human-Computer Interaction, Seite 1–5
Herausgeber: ACM, New York, NY
2016
ISBN
978-1-4503-4618-4/16/11
Möller, Sebastian; Hillmann, Stefan; Engelbrecht, Klaus-Peter; Hinterleitner, Florian
Konzeption eines instrumentellen Evaluationsprotokolls für interaktive Sprachdienste im Kraftfahrzeug
Fortschritte der Akustik – DAGA 2016: Plenarvortr. u. Fachbeitr. d. 42. Dtsch. Jahrestg. f. Akust., Seite 1378–1381
Herausgeber: DEGA, DE-Berlin
2016
ISBN
978-3-939296-10-2
Weiss, Benjamin; Hillmann, Stefan
Feedback Matters: Applying Dialog Act Annotation to Study Social Attractiveness in Three-Party Conversations
In Harry Bunt, Editor, ACL-ISO Workshop on Interoperable Semantic Annotation, Portorož, Seite 55–58
In Harry Bunt, Editor
Herausgeber: ACL, München
2016

2015

Hillmann, Stefan; Engelbrecht, Klaus-Peter
Modelling Goal Modifications in User Simulation
Proc. of Future and Emerging Trends in Language Technology (FETLT 2015)
Herausgeber: Springer
November 2015
Möller, Sebastian; Westermann, Tilo; Hillmann, Stefan
DAGA-App: Konzeption und Nutzungsdatenanalyse der DAGA 2014
Fortschritte der Akustik – DAGA 2015: Plenarvortr. u. Fachbeitr. d. 41. Dtsch. Jahrestg. f. Akust., Seite 1043–1046
Herausgeber: DEGA, DE-Berlin
März 2015
ISBN
978-3-939296-08-9
[german] Hillmann, Stefan
Usability-Untersuchung der natürlichsprachlichen Bedienung eines Smart-TV
, Elektronische Sprachsignalverarbeitung 2015Band78ausStudientexte zur Sprachkommunikation, Seite 196–203
Herausgeber: TUDpress
März 2015
Hillmann, Stefan; Engelbrecht, Klaus-Peter; Möller, Sebastian
ITG-Richtlinie zur Messung und Bewertung der Usability in Smart Home-Umgebungen
full
Februar 2015

2014

Navarro, Pedro Luis Mateo; Hillmann, Stefan; Möller, Sebastian; Ruiz, Diego Sevilla; Pérez, Gregorio Mart'inez
Run-time Model Based Framework for Automatic Evaluation of Multimodal Interfaces
Journal on Multimodal User Interfaces, 8 (4) :399–427
Oktober 2014
full
Herausgeber: Springer
ISSN: 1783-7677
[english] Möller, Sebastian; Engelbrecht, Klaus-Peter; Hillmann, Stefan; Ehrenbrink, Patrick
New ITG Guideline for the Usability Evaluation of Smart Home Environments
11. ITG Fachtagung Sprachkommunikation
Herausgeber: VDE-Verlag
September 2014
ISBN
978-3-8007-3640-9
Hillmann, Stefan
Evaluation von Nutzersimulationen anhand eines Ähnlichkeitsmasses für Dialogkorpora
, Elektronische Sprachsignalverarbeitung 2014Band71ausStudientexte zur Sprachkommunikation, Seite 72–79
Herausgeber: TUDpress
März 2014
ISBN
978-3-944331-51-5
Engelbrecht, Klaus-Peter; Ehrenbrink, Patrick; Hillmann, Stefan; Möller, Sebastian
Messung und Bewertung der Usability in Smart Home-Umgebungen
Proc. of VDE Kongress 2014. Smart Cities. Intelligente Lösungen für das Leben in der Zukunft, Seite 140–145
Herausgeber: VDE-Verlag
2014
ISBN
978-3-8007-3641-6
[german] Engelbrecht, Klaus-Peter; Hillmann, Stefan; Ehrenbrink, Patrick; Schulz, Matthias; Möller, Sebastian
Messung und Bewertung der Usability in Smart Home-Umgebungen - VDE-ITG-Richtlinie
aus VDE-ITG-Richtlinie
Dokument Nummer: ITG 2.1-02
Herausgeber: VDE/ITG
VDE/ITG
2014