2. Effects of the mixture of icon and symbol („auditory symcon“)

3. Advantages of acoustic signs for „public-user-interfaces“

2. Effects of the mixture of icon and symbol („auditory symcon“)

3. Advantages of acoustic signs for „public-user-interfaces“

//

transmediale.08 // 01/29/2008 – 02/03/2008
Info: transmediale.de

The field was most notably formalized by the Vienna Circle and presented in their International Encyclopedia of Unified Science, in which the authors agreed on breaking out the field, which they called “semiotic”, into three branches:

• Semantics: Relation between signs and the things they refer to, their denotata.
• Syntactics: Relation of signs to each other in formal structures.
• Pragmatics: Relation of signs to their impacts on those who use them. (Also known as General Semantics)

Source: http://en.wikipedia.org/wiki/Semiotics

Acoustic Symbol A short clip about the acoustic symbols of the microsoft-pc-generations.

Acoustic Symcon

In the semiotics there are three types of signs: Index, Icon and Symbol.

Index:
An „Index“ is defined by some sensory feature (something directly visible, audible, smellable, etc)
that is connected to it.

Icon:
An icon is a pattern that physically resembles what it „stands for“.

Symbol:
Symbols are arbitrary and unmotivated, reliant on conventional usage to determine meaning.

Ackermann, K., Burmeister, G., Echterhoff, W., Gellenbeck-Schmid, D., Kockelke, W. & Meyer, L. (1992). Bürgerfreundliche und behindertengerechte
Gestaltung des Straßenraums. (Bundesministerium für Verkehr, Bonn. Verbesserung der Verkehrsverhältnisse in den Gemeinden, Heft 47). Frankfurt
am Main: Fach Media Service.
Adamzik, K. (2001). Sprache. S.36-38. Stuttgart: UTB
Behne, K. E.; G. Kleinen und H. de la Motte-Haber (1995). Musikpsychologie. Göttingen: Hogrefe.
Bernsen, J. (1998). Sound in Design. Kopenhagen: The Danish Design Centre.
Birnberg, S. (1984). Handbuch der Musikästhetik. Berlin: Deutscher Verlag für Musik.
Bregman, A. S. (1990). Auditory Scene Analysis. MIT Press, Cambridge, Massachusetts.
Bregman, A. S. & Dannenbring, G. (1973). The effect of continuity on auditory stream segregation. Perception & Psychophysics, (13) 308-312.
Brewster, S.; Nicol, C.; Gray,P. (2004). Designing Sound: Towards a system for designing audio interfaces using timbre spaces. Symposiumsbericht zu
ICAD 04, Sydney, Australien, 6-9. August 2004.
Brewster, S., Wright, P.C. & Edwards, A.D.N. (1995). Experimentally derived guidelines for the creation of earcons. In Adjunct Proceedings of HCI‘95,
Huddersfi eld, UK.
Brown, G. J. & Cooke, M. (1998). Computational Auditory Scene Analysis, chapter Temporal Synchronization in a Neural Oscillator Model of Primitive
Auditory Stream Segregation, pages 71-85. L. Erlbaum Assoc.
Bruhn, H. (2005). Wissen und Gedächtnis. In: Stoffer, Th. & Oerter, R. (Hrsg.). Allgemeine Musikpsychologie. Enzyklopädie der Psychologie (D/VII/I).
Göttingen: Hogrefe. S. 537-590.
Bruhn, H. (2003). Wahrnehmung von Musik. Allgemeine Musiklehre aus der Sicht von Psychologie und Musikgeschichte. Vorlesungsskript. 5. Aufl age.
Flensburg: Universität Flensburg Campus.
Bußmann, H. (2002). Lexikon der Sprachwissenschaft. 3., aktualisierte und erweiterte Aufl age. Stuttgart: Kröner.
Buxton, B., Gaver, W. W., and Bly, S. (1991). Using Nonspeech Audio at the Interface, ACM SIGCHI, Tutorial notes presented at CHI ‘91.
Casimir, T. (1991). Musikkommunikation und ihre Wirkungen. Eine systemtheoretische Kritik. Wiesbaden: DUV.
Chowning, J.M. (1980). Computer synthesis of the singing voice. In Sound Generation in Winds, Strings, Computers. Stockholm: Royal Swedisch
Academy of Music (29).
De la Motte Haber, H. (1985). Handbuch der Musikpsychologie. Laaber: Laaber-Verlag.
De Saussure, F. (1916). Grundfragen der allgemeinen Sprachwissenschaft. 2. Aufl age mit neuem Register und einem Nachwort von Peter von Polenz. de
Gruyter, Berlin 1967. (Übersetzung der frz. Originalausgabe v. 1916). Erster Teil, Kapitel I, Die Natur des sprachlichen Zeichens, 1916.
Dechene, U. (1989). Psychologie. München: Compact Verlag.
Deutsch, D. (1970). Tones and numbers. Specifi ty of interference in shortterm memory. Science, (168) 1604-1605.
Deutsch, D. (1972). Octave generalization and tune recognition. Perception & Psychophysics, 11 (6), 411-412.
Eco, U. (1972). Einführung in die Semiotik. Ausg. 9, unveränd. Aufl age. München: UTB
Edworthy, J. (1985). Interval and Contour in Melody Processing. Music Perception, 2 (3), S. 375-388.
Eggebrecht, H.H. (1972). Wissenschaftsorientierte Schulmusik. Musik und Bildung 4/1972.
Ehrenfels, C. (1890). Über Gestaltqualitäten. Vierteljahresschrift Wiss. Philos. (14) 249-92.
Hansen, et.al. (2001) Produktpolitik. Stuttgart: Schäffer-Pöschel.
Hempel, T. (2001). Zur Qualität Musikalischer Schallereignisse. In Tagungsband des Fachausschusses „Musikalische Akustik“ in der DAGA, Zwota, 28.-
29.9.2001. Bereitgestellt von Hempel, T. am 02.03.2007 als elektronisches Dokument unter Fama01_Hempel_mit Quelle.pdf
Hempel, T. (2007). Zum Einfl uss von sprachlichen und nichtsprachlichen Systemaufgaben auf Arbeitsgedächnis, Reaktionszeit und Fehlerrate. In Fortschritt
der Akustik – DAGA`07. Stuttgart, Bonn: Deutsche Gesellschaft für Akustik.
Hempel, T. (2002). Design and Use of the Semiotic Matrix in the Field of Product Sound Quality. Kongressbericht zur 32. Internationalen Akustik Konferenz
– EAA Symposium „Acoustics Bankska Stiavnica 2002“.
Hempel, T. (2001). Klassifi kation von Hörereignissen durch den Hörer, Vorträge des Seminars Geräuschqualität: Methoden und Umsetzung in der Fahrzeug-
und Elektroindustrie, 26.– 27.9.2001, D–Essen: Haus der Technik
Hempel, T. (2002). Auditive Rückmeldung und Produktgeräuschgestaltung: Zur Steigerung der Gebrauchstauglichkeit technischer Produkte. In Forum
Ware, 30, Nr. 1-4 (5-7).
Hempel, T. (2002). Designing sound for user interfaces: Semantic considerations in the classifi cation of sounds. Symposiumsbericht zur IEEE Internatio91
nal Symposium on Consumer Electronics 2002, 22-26. September 2002. Erfurt.
Heupel, C. (1973). Taschenbuch der Linguistik. München: List, 1973,S. 43.
Holzinger, A. (2000). Basiswissen Multimedia. Band 1: Technik. Technologische Grundlagen multimedialer Informationssysteme. Würzburg: Vogel
Buchverlag.
Holzinger, A. (2001). Basiswissen Multimedia. Band 3: Design. Entwicklungstechnische Grundlagen multimedialer Informationssysteme. Würzburg:
Vogel Buchverlag.
Hovenga E.J., Sermeus, W. (2002). Data Analysis Methods. In Mantas J. & Hasman A., (Eds.). Health Informatics – the missing link to Nursing Informatics.
Amsterdam: IOS.
Gottschaldt, K. (1965). Handbuch der Psychologie. Göttingen: Hogrefe.
Jekosch, U. (2003). IAS – Jahresbericht 2005. Kapitel 3. Dresden: TU-Dresden.
Jourdain, R. (1997). Das wohltemperierte Gehirn. Heidelberg: Spektrum.
Katz, D. (1969) Gestaltpsychologie. Basel /Stuttgart: Schwabe.
Kaden, W.; E. Lippold, K. Mehner und W. Siegmund-Schultze (Hrsg.), (1979). Handbuch der Musikästhetik. Leipzig.
Klante, P. (2007). Gestaltung auditiver Umgebungen. Eine Vorgehensweise zur Gestaltung interaktiver, auditiver Welten. Dissertation Fakultät für Informatik,
Wirtschafts- und Rechtswissenschaften. Carl v. Ossietzky Universität Oldenburg 2005. (Im Druck)
Koelsch S.; Schmidt BH, Kansok J. (2002). Infl uences of musical expertise on the ERAN: An ERP-study. Psychophysiology, (39), 657-663.
Kramer, G. (Ed.) (1994). Auditory Display. Sonifi kation, Audifi cation, and Auditory Interfaces. Reading Massachusetts: Addison-Wesley Publishing
Company
Kramer, G. (1994). An Introduction to Auditory Display. In Kramer, G. (Ed.) (1994) Auditory Display. Sonifi kation, Audifi cation, and Auditory Interfaces,
Reading Massachusetts: Addison-Wesley Publishing Company. S.1 – S.78
Kramer, G. (1994). Some Organizing Principles for Representing Data with Sound. In Kramer, G. (Ed.) (1994). Auditory Display. Sonifi kation, Audifi cation,
and Auditory Interfaces. Reading Massachusetts: Addison-Wesley Publishing Company. S.185 – S.222; S.630 – S.631
Lasswell, H.D. (1948). The Structure and Function of Communication in Society. In L. Bryson (Hrsg.), The Communication of Ideas. New York.
Luhmann, N. (2002). Einführung in die Systemtheorie. Heidelberg : Carl-Auer-Systeme-Verlag
Mach, E. (1886). Beiträge zur Analyse der Empfi ndungen. Jena.
Mahmoudian, M. (1973). Zeichen. In Martinet, (Hrsg.), Linguistik (1973), S. 258 (260).
Mazzola, G. (1991). Art. 154: Semiotic Aspects of Musicology:Semiotics of Music; Agawu, K: Playing with Signs. Princeton: Princeton University Press.
Muckel, P., Ensel, L., Schulte-Fortkamp, B. (1999), Exploration of associated imaginations on sound perception (AISP): A method for helping people to
describe and to evaluate their sound perceptions, J. Acoust. Soc. of Am., Vol. 105, No.2, Pt 2, February 1999, 1279.
Mukarovský, J. (1970). Kapitel aus der Ästhetik. Frankfurt am Main: Suhrkamp Verlag.
Munch; Wooworth (1981). Akustik zwischen Physik und Psychologie. Klett-Cotta.
Nöth, W. (2000). Handbuch der Semiotik. 2. Aufl age, Stuttgart/Weimar, Metzler, S. 133.
o.V. (1997). The Principles of Universal Design. New York: New York State University, The Center for Universal Design.
o.V. (2005). Qualitätsmanagementsysteme – Grundlagen und Begriffe (ISO 9000:2005); Dreisprachige Fassung EN ISO 9000:2005.
Osgood, C.; Suci, G.J.; Tannenbaum, P.H. (1957). The Measurement of Meaning. Urbana .
Patterson, R. D. (1982). Guidelines for auditory warning systems on civil aircraft. Forschungsbericht Nr. 82017, Civil Aviation Authority, London.
Peirce, C.S. (1907). Pragmatism, Essential (2) 411.
Peter R. Hofstätter (1971). Gruppendynamik. Kritik der Massenpsychologie. (Erstaufl age 1957) Durchgesehene und erw. Neuaufl age. Reinbek: Rowohlt.
Rohrmann, B. (1978). Empirische Studien zur Entwicklung von Antwortskalen für die sozialwissenschaftliche Forschung. Zeitschrift für Sozialpsychologie.
(9) 222-245.
Roth, S. (2005). Akustische Reize als Instrument der Markenkommunikation. Disseration der Justus-Liebig-Universität Gießen. Wiesbaden: GWV.
Schafer, M. (1977) The Tuning of the World, New York.
Schick, A. (1997). Das Konzept der Belästigung in der Lärmforschung. Pabst: Lengerich.
Schick, A. & Walcher, Klaus P. (Hrsg.) (1984). Beiträge zur Bedeutungslehre des Schalls. Ergebnisse des 3. Oldenburger Symposions zur Psychologischen
Akustik (Europäische Hochschulschriften 39/1). Bern, Frankfurt, New York: Peter Lang.
Schneider, R. (1980). Semiotik der Musik. München: Wilhelm Fink
92
Sebeok, T.A. (1960). Style In Language. Cambridge Massachusetts, MIT Press, 1960, S. 350-377
Truax, B. (2001). Acoustic Communication. 2. Aufl age. London: Aplex.
Van Leeuwen, T. (1999). Speech, Music, Sound. London: Macmillan.
Walker, B.; Nance, A.; Lindsay, J. (2006). Spearcons: Speech-based earcons improve navigation performance in auditory menus. Symposiumsbericht
zur 12th International Conference on Auditory Display, London, UK, 20-23. Juni 2006.
Weidemann, H. (1994). Aristoteles Peri hermeneias. Bd. 1 (2), Berlin: Lizenzausgabe der Wissenschaftlichen Buchgesellschaft.
Weaver, W. & Shannon, C. E. (1949). The Mathematical Theory of Communication. Urbana, Illinois: University of Illinois Press
Weber, S. (2007). Akustogramme – Grundlagen der Gestaltung von Klangzeichen-Systemen. Vortragsbericht zur Daga2007.
Winkler, J; Mayr, A; Gerwin, T; Lorenz, A; (1999) Klanglandschaft wörtlich, Basel.
Zwicker, E.;Fastl, H. (1999). Psychoacoustics – Facts and Models, 2nd Ed., Heidelberg: Springer.

Online:
Brewster, S. (o.J.) Chapter 12. Non-Speech Auditory Output. Gefunden am 02.03.2007 unter http://www.dcs.gla.ac.uk/~stephen/papers/Brewster_
Chapter_12.pdf
Cox, T. (2005). BadVibes-Projekt. Gefunden am 14.04.2007 unter http://www.sound101.org
De Campo, A. (2006). Sonifi kationen in der sozialwissenschaftlichen Datenanalyse. Gefunden am 22.04.2007 unter
http://iem.at/projekte/publications/paper/sonifi kationen/sonifi kationen.pdf
Guski, R. (1996) Wahrnehmen – ein Lehrbuch. Stuttgart: Kohlhammer.Überarbeitete Internetversion. Gefunden am 22.03.2007 unter http://eco.psy.ruhruni-
bochum.de/download/Guski-Lehrbuch/Kap_7_1.html
Hermanns, T. (2003). INTERACTIVE VISUALIZATION AND Sonifi kation FOR MONITORING COMPLEX PROCESSES. Forschungsbericht. Neuroinformatics
Group, Faculty of Technology, Bielefeld University. Gefunden am 04.04.2007 unter www.icad.org/websiteV2.0/Conferences/ICAD2003/paper/
60%20Hermann2-%20complex.pdf
Jacobsen, T. (2007). Psychologische Aestetik. Gefunden am 22.06.2007 unter http://www.uni-leipzig.de/~biocog/jacobsen/de/aesthetik.shtml
Janisch, G. (2004). Auditory User Interfaces. Diplomarbeit. FH-Joanneum.
Gefunden am 12.02.2007 unter http://dmt.fh-joanneum.at/kd3/seite.php?name=Diplomarbeit_Janisch
Kissel, R. (2003). Darmstädter Entwicklungssystem. System zur Entwicklung bedienungsfreundlicher und seniorengerechter Benutzerschnittstellen in der
Unterhaltungselektronik. Dissertation. Gefunden am 09.05.2007 unter http://deposit.ddb.de/cgi-bin/dokserv?idn=970730101&dok_var=d1&dok_ext=pdf&
fi lename=970730101.pdf
Klante, P. (2003). Visually Supported Design of Auditory User Interfaces. Gefunden am 22.04.2007 unter http://www-cg-hci-e.informatik.uni-oldenburg.
de/resources/HCII2003-Klante-Visually%20Supported%20Design%20of%20AUI.pdf
Krebs , M. (2005) Das Symbol – in einer pädagogischen Betrachtung. Gefunden am 01.06.2007 unter http://www.opp.udk-berlin.de/opp/uploads/c/ce/
Symbol7.pdf
Kunstuniversität Linz. (o.J.). Grundlagen: Audio. Gefunden am 22.04.2007 unter http://www.dma.ufg.ac.at/app/link/Grundlagen:Audio/module/
3569;jsessionid=5DAD0E266F22C9BEFDD3120FD0BE234E
Pfi tzinger, H.R. (2006). Hauptseminar: „Auditorische Szenenanalyse“. Gefunden am 28.06.2007 unter www.phonetik.uni-muenchen.de/92hpt/lehre/
hs05 asa.pdf
Rauch, J. (2000) Ohr am Puls der Daten. Gefunden am 09.04.2007 unter http://www.judithrauch.de/Texte/sonifi kation.html
Schnaitter, J. (2004). Akustische Kommunikation – Information und Signalkette. Gefunden am 02.05.2007 unter http://www.dma.ufg.ac.at/app/link/
Grundlagen:Audio/module/3569;jsessionid=5DAD0E266F22C9BEFDD3120FD0BE234E
Stötzner, A. (2004). Kurze Einführung in die Signografi e. Gefunden am 09.04.2007 unter http://www.signographie.de/cms/upload/pdf/signogr_einfuehr_
1.0.pdf

In many domains, e.g. industrial sound design or audio-branding, designers look for sounds to communicate certain values and to convey information. As computer displays get smaller on devices such as mobile phones and personal digital assistants, sound will become even more important for providing information to users. Sound can enrich a user?s information awareness. A better understanding of the relation between the physical characteristics (acoustics) of a sound and its perceived emotional/affective qualities (aesthetics) as well as its attributed function/meaning (semiotics and semantics), will improve creation and selection of appropriate audio content. An explorative study using auditory icons, auditory symbols (earcons) and a combination of the both (auditory symcons) was carried out to shed more light on acoustic communication with non-speech sounds. The study reveals amongst others, that further investigation on the acoustical parameter “timbre” is required.

Supervisors: Prof. Brian Switzer, Prof. Dr. Volker Friedrich