Zeitschrift für Semiotik / Innovative Methods in Multimodal Comics Research

Aus dem Inhalt:

Janina Wildfeuer and Stephan Packard: Innovative Methods in Multimodal Comics
Research: Introduction

Summary. This special issue on innovative methods in multimodal comics research brings together linguistic as well as inter- and transdisciplinary contributions engaging with the semiotic and multimodal wealth of comics, graphic novels, and other forms of visual narratives. The contributions connect to recent research with new challenges and solutions and engage in dialogue across various approaches to the multimodality of comics. In our introduction to the issue, we want to address this 'multimodality of comics' further and give some explanatory notes on our understanding of this concept and the development of the field of research connected to it.

Zusammenfassung. Diese Sonderausgabe zu innovativen Methoden der multimodalen Comicforschung versammelt sowohl linguistische als auch inter- und transdisziplinäre Beiträge, die sich mit der semiotischen und multimodalen Komplexität von Comics, Graphic Novels und anderen Formen visueller Narrative beschäftigen. Die Beiträge knüpfen an die aktuelle Forschung an, stellen neue Herausforderungen und Lösungen vor und führen einen Dialog über verschiedene Ansätze zur Analyse der Multimodalität von Comics. In unserer Einleitung zum Heft wollen wir diese "Multimodalität des Comics" näher beleuchten und einige Erläuterungen zu unserem Verständnis dieses Begriffs und der Entwicklung des damit verbundenen Forschungsfeldes geben.

John A. Bateman: Multimodal Semiotics for the Analysis of Comics and Graphic Novels

Summary. The broad challenge taken on in this contribution is to attempt to reconcile more literary-hermeneutic approaches to comics and graphic novels, on the one hand, and closer, more fine-grained analytic accounts, on the other. This will be done by applying a semiotic framework that takes the phenomenon of multimodality as its primary organising principle. The discussion begins by showing how several assumptions commonly made in the comics research literature concerning the nature of semiotic accounts need to be redrawn because of substantial developments in recent years directly relevant to the treatment of complex media, such as comics and graphic novels. This appears not to have been realised sufficiently in many discussions of those media. Several examples of complex narrative will be drawn on to illustrate the possibilities of a broader semiotic account that nevertheless maintains a tight connection to the details of form, thereby opening up possibilities for more focused research on a variety of phenomena previously often grouped rather loosely under Groensteen's notion of braiding.

Zusammenfassung. Dieser Beitrag stellt sich der umfassenden Herausforderung, primär literarisch-hermeneutische Annäherungen an Comics und Graphic Novels mit detaillierteren und präziseren Analysen in Einklang zu bringen. Die hierfür verwendeten semiotischen Konzepte orientieren sich primär an dem Phänomen der Multimodalität. In der Comicforschung haben sich eine Reihe von Annahmen über Semiotik etabliert, die aufgrund substanzieller Fortschritte in der Behandlung komplexer Medien wie Comics und Graphic Novels in den letzten Jahren dringend revisionsbedürftig sind, was in vielen Diskussionen über diese Medien bisher nicht ausreichend berücksichtigt worden ist. Anhand mehrerer Beispiele aus komplexen Erzählungen sollen die Möglichkeiten einer allgemeineren semiotischen Darstellung veranschaulicht werden, die den formalen Details ihres Gegenstands dennoch eng verbunden bleibt und damit Möglichkeiten für eine gezieltere Erforschung einer Vielzahl von Phänomenen eröffnet, die bisher oft eher lose unter Groensteens Begriff des "braiding" zusammengefasst wurden.

Lauren Edlin and Joshua Reiss: Measuring Inter-Subjective Agreement on Units and Attributions in Comics with Annotation Experiments

Summary. The conceptualisation of units of interpretation and analyses remains an inherent issue across comics studies. Despite the many conceptualisations of comics units from numerous theories and disciplines, empirical assessments of their validity as proxies for reader interpretation have yet to receive adequate attention. We argue that unit delineation practically involves classifying groups of visual and textual markings according to type, function or semantic category. Based on this, we present a nascent methodology for collecting and measuring inter-subjective agreement by comics readers on proposed units of comics and their attributes. We create an online tool to facilitate handmade segmentations on digital comic pages and assigning labels or classifications appropriate to the annotation task, resulting in segmentation-attribute pairs. We demonstrate the methodology through two inter-annotator agreement experiments that test a segment-attribute pair of panel segmentation and a judgment of background location information. The first experiment shows that assigning a binary classification for panel background judgments requires refinements. The second experiment reconceptualises the task to assess agreement on two scalar methods, namely Likert ratings and a continuous scale. We argue that these experiments support the claim that we can build models of structures in comics with an empirical anchor of reader judgments through this methodology.

Zusammenfassung. Die Konzeptualisierung von Analyseeinheiten bleibt ein grundlegendes Problem der Comicforschung. Obwohl es viele Ansätze zur Differenzierung von Comiceinheiten gibt, wurden die meisten bislang nicht ausreichend empirisch überprüft. In diesem Beitrag argumentieren wir, dass die Abgrenzung von Einheiten aufgrund einer Klassifizierung von Gruppen visueller und textueller Markierungen nach Typ, Funktion oder semantischer Kategorie erfolgen sollte. Hierfür präsentieren wir eine Methodik, die die intersubjektive Übereinstimmung ("agreement") von Comic-Leser:innen bei der Bestimmung von Analyseeinheiten erfasst und prüft. Mithilfe eines Online-Tools ermöglichen wir es, händisch potenzielle Analyseeinheiten auf digitalen Comic-Seiten zu skizzieren und ihnen Attribute und Klassifizierungen in Form einer Annotation zuzuordnen. Wir demonstrieren die Anwendung anhand zweier Experimente, die die Übereinstimmung der Annotationen in der Bestimmung von Segmenten einer Comicseite sowie der Beurteilung von Hintergrundinformationen testen. Das erste Experiment zeigt, dass die Verwendung einer binären Klassifizierung für Hintergrundstandortinformationen unzureichend ist und Verfeinerungen notwendig macht. Das zweite Experiment dient der Bewertung der Übereinstimmung mittels zweier skalarer Methoden - Likert-Skalen und kontinuierlicher Skalen. Diese Experimente, so unsere Argumentation, unterstützen die Annahme, dass empirisch verankerte Bestimmungen von Analyseeinheiten durch Comicleser:innen eine Basis für die Erstellung von Modellen für die Struktur von Comics bilden können.

Milos Tasic and Dusan Stamenkovic: Visualising an Oral Epic: Lobacev's Comic Book Tsar Dusan's Wedding

Summary. This study analyses visual and verbal material found in Dorde Lobacev's comic book Tsar Dusan's Wedding (orig. Zenidba Cara Dusana [1989]) using a set of tools coming from the domains of intersemiotic translation, intermediality, and adaptation. The comic book is based on the Serbian oral epic ballad Dusan's Wedding (orig. Zenidba Dusanova [1815/1975]), which focuses on the hero wedding theme. The study will try to present verbal and graphic devices used to transfer the epic narrative to the medium of comics and compare them to the ones used in the original story. It will also address the aspect of the epic ballad structure and its transposition into the realm of comics. The analysis will take into account the historical context of the comic book in question and compare the findings with some of the results of contemporary comics studies dealing with certain graphic devices employed in comics. These findings reveal that Lobacev's comic book contains certain graphic flourishes related to describing motion, speed and spatiality, but lacks the ones used to depict affect, which is in line with basic traits of oral epic poetry.

Zusammenfassung. Dieser Artikel untersucht das visuelle und sprachliche Material in Dorde Lobacevs Comic Kaiser Dusans Hochzeit (Orig. Zenidba Cara Dusana [1989]). Die Analyse folgt Methoden aus der Forschung zur intersemiotischen Übersetzung, zur Intermedialität und zur Adaptation. Das Comicheft basiert auf der serbischen epischen Volksballade Dusans Hochzeit (Orig. Zenidba Dusanova [1815/1975]), die die Hochzeit des Helden thematisiert. Der Artikel stellt sprachliche und grafische Mittel dar, die die epische Erzählung ins Medium des Comics übertragen, und vergleicht sie mit denjenigen des Originals. Die Struktur der Volksballade wird ebenso diskutiert wie ihre Übertragung auf und in den Comic. Die Analyse zieht auch den historischen Kontext des betreffenden Comichefts in Betracht und vergleicht die Ergebnisse mit einigen gegenwärtigen Ansätzen der Forschung zu grafischen Verfahren im Comic. Die Ergebnisse zeigen, dass Lobacevs Comic bestimmte grafische Verzierungen enthält, die mit der Beschreibung von Bewegung, Geschwindigkeit und Räumlichkeit zusammenhängen. Es fehlen jedoch diejenigen, die zur Darstellung von Affekt verwendet werden, was im Einklang mit den grundlegenden Merkmalen der mündlichen epischen Dichtung steht.

Lukas R.A. Wilde: Unreliable Iconicity, or: Accounting for the Cartoonish Pictures of Comics in Multimodal Reasoning

Abstract. In this article, I explore how pictoriality in comics cannot be conceived as a single semiotic mode, but rather as two distinct thresholds of pictorial comprehension and interpretation: a mostly pre-attentional cognitive reconfiguration of two-dimensional lines on paper into three-dimensional bodies in space, as well as a more conscious interpretational mapping (or disentanglement) of perceivable features with storyworld entities, guided by often conflicting multimodal forces of specific textual cues, generic traditions, and paratextual markers. I analyze two comics by German artist Sascha Hommer that are typical for a medium-specific unreliability of iconicity in which we can never be sure how the inhabitants of both Hommer's fantastic as well as of his autobiographical storyworld may be perceived by other characters. These questions, however, remain crucial for evaluating the thematic point of both works, especially as readers have to revise their earlier assumptions throughout their multimodal reasoning. My analysis of Hommer's works will indicate how the two thresholds described prove indispensable for any account of the cartoonish pictures of comics and their media-specific unreliability.

Zusammenfassung. Der Beitrag argumentiert, dass Bildlichkeit im Comic nicht als eine distinkte Zeichenmodalität, sondern als zwei unterschiedliche Schwellen des piktorialen Verstehens und Interpretierens adressiert werden muss: eine zumeist prä-attentionale kognitive Rekonfiguration von zweidimensionalen Linien auf Papier zu dreidimensionalen Körpern im Raum sowie eine bewusste(re-)interpretatorische Zuordnung (oder Entflechtung) von wahrnehmbaren Merkmalen zu Storyworld-Entitäten. Diese Zuordnung wird entlang oft widersprüchlicher multimodaler Signale geleitet, die sowohl spezifische textuelle Hinweise als auch generische Traditionen sowie paratextuelle Markierungen umfassen. Der Beitrag analysiert zwei Comics des deutschen Künstlers Sascha Hommer, die typisch für eine solch medienspezifische ikonische Unzuverlässigkeit sind, da wir nie sicher sein können, wie die Bewohner:innen sowohl von Hommers phantastischen als auch seiner autobiografischen Welten von anderen Figuren wahrgenommen werden können. Diese Fragen bleiben dennoch entscheidend für die Erschließung der thematischen Pointe beider Werke, zumal die Leser:innen im Laufe der multimodalen Lektüre frühere Annahmen revidieren müssen. Die Analyse von Hommers Werken zeigt so, wie sich die beiden beschriebenen Schwellen als unverzichtbar für die angemessene Einschätzung cartoonisierter Bilder im Comic sowie ihrer medienspezifischen Unzuverlässigkeiten erweisen.

Stephan Packard: Multimodal Cohesion in Panel Graphs: A Pragmaticist Approach to the Gap Between Comics Grammar and Aesthetics

Abstract. The essay presents a Peircean or pragmaticist approach to the contradiction between two kinds of theories about comics interpretation: One set which assumes the existence of a fundamentally lingual grammar in accordance with concepts of 'visual languages', and another set which insists on a free artistic interpretation as the force grounding interrelations between comics panels in sequence and sense-making in comics. The approach presented supports both positions and attempts to reconcile them by explaining in which two different senses comics do and do not have grammar. It examines the perceived gap between the grammar and the aesthetics of comics in a quotidian example taken from the pages of Amazing Spider-Man. While admitting a possible hermeneutic corridor between regular and singular, 'heautonomous' interpretations in the terminology of Romantic aesthetics, this position then historicizes such accounts and looks for alternative treatments of the same cognitive processes. By moving from a grammatical through a hermeneutical to a pragmaticist semiotic account of the resolution of ambiguities and irritations in interpreting a short panel sequence, the argument pivots on the Peircean continua of continued semiosis, of the interplay of prescision and abstraction, and of the gradual differences between simple and creative abduction, to outline three distinct conclusions for a multimodal model of cohesion in panel sequences that straddles the seeming divide between grammar and aesthetics: First, that such a hermeneutic corridor can be elaborated as a specific kind of revisional attitude towards panel interpretation in sequence; second, that this allows the delegation of assumptions about conscious or reflective reading in favor of a comprehensive technical account of continuous interpretation; and third, that the historic contexts of previous interpretations have reasons to conflate distinctions between pictorial grammar and aesthetics with distinctions between conscious and automatic reading as well as between script and pictures, but that such conflations may no longer have to hold today.

Zusammenfassung. Der Aufsatz präsentiert einen Peirceschen, pragmatizistischen Ansatz zur Auflösung der Spannung zwischen zwei Theorien der Comiclektüre: Einer Gruppe, die eine grundsätzlich sprachähnliche visuelle Sprache mit entsprechenden Grammatiken voraussetzt, und einer anderen Gruppe, die auf einer freien künstlerischen Interpretation besteht, die die Beziehungen in Panelsequenzen und die Sinnstiftung in der Comiclektüre begründe. Der vorgestellte Ansatz will beide Positionen bejahen und miteinander vereinbar machen, indem er erklärt, in welchen zwei verschiedenen Sinnen Comics eine Grammatik haben und nicht haben. Er untersucht die wahrgenommene Kluft zwischen der Grammatik und der Ästhetik von Comics an einem alltäglichen Beispiel aus Amazing Spider-Man. Zwar lässt sich von einem hermeneutischen Korridor zwischen regelgebundenen und heautonomen Interpretationen sprechen. Eine Historisierung dieser Position erlaubt es jedoch, andere Theoriebildungen über die so beschriebenen Kognitionen in Betracht zu ziehen. In einer Bewegung von einer grammatischen und einer hermeneutischen zu einer allgemeineren, pragmatizistisch semiotischen Konzeption der Semiosen, mit denen Ambiguitäten und Irritationen in der Comiclektüre durch Revision bearbeitet werden, geht das Argument zu einer Betrachtung dreier Kontinua im Sinne der Peirceschen Semiotik über: fortgesetzte Semiose, 'Präszision' und Abstraktion, und der Übergang von einfachen zu kreativen Abduktionen. So ergeben sich drei Schlussfolgerungen für ein letztlich multimodales Modell der Kohäsionsbildung in Panelsequenzen, das die scheinbare Kluft zwischen Grammatik und Ästhetik übergreift: Erstens lässt sich die Spezifik einer rückblickenden Einstellung in der Comiclektüre beschreiben, die sich zwar mit einem hermeneutischen Korridor vergleichen lässt, aber auch andere Deutungen zulässt. Zweitens lassen sich so Annahmen über die bewusste oder reflektierte Qualität der Comiclektüre zugunsten einer umfassend technischen Beschreibung kontinuierlicher Semiose zurückstellen. Und drittens kann der historische Kontext anderer Deutungen die Vermischung konzeptuell zu trennender Distinktionen zwischen Grammatik und Ästhetik, zwischen bewusster und unreflektierter Lektüre sowie zwischen Schrift und Bild zwar motivieren, kann aber heute an Bindungskraft verlieren.

Janina Wildfeuer: The Logics and Semiotics of Discourse Relations in Comics

Summary. This article aims to point out some of the specificities of an approach that understands discourse relations in comics within a broader conceptualization of multimodal discourse. It lays out the theoretical foundations of these relations in philosophy, semiotics, and logic, and showcases how a small and concise set of these discourse relations can explain processes of reasoning in the interpretation of a comic.

Zusammenfassung. Dieser Beitrag diskutiert Besonderheiten des analytischen Zugangs zu Diskursrelationen in Comic im Kontext multimodaler Diskursanalyse. Er legt dafür zunächst die theoretischen Grundlagen dieser Diskursrelationen in Philosophie, Semiotik und Logik dar und veranschaulicht dann, wie ein relativ kleines, gebündeltes Set von Diskursrelationen es ermöglicht, unterschiedlichste Interpretationen und Schlussfolgerungen in der Interpretation von Comics nachzuvollziehen.