PECULIARITIES OF COMBINING INFORMATION MODES IN MULTIMODAL TEXT
DOI:
https://doi.org/10.32782/folium/2025.6.8Keywords:
multimodal text, semiotics, information mode, postage stampAbstract
The given paper focuses on combining semiotically heterogeneous components in a multimodal text in particular it shows connecting verbal and iconic elements within one paradigm. In addition, the article explores functional significance of information modes for the creation, holistic perception and correct interpretation of a multimodal product. Multimodal texts are interpreted and presented in the article as syncretic formations, texture of which consists of two inhomogeneous parts, specifically verbal and non-verbal, that is, one that correlates with the available variable non-verbal components. The authors made an attempt to reveal the specifics of the coexistence and interaction of the information modes of the multimodal complex with an emphasis on their role in the perception and decoding of implicit / explicit meanings transmitted in the text. Postage stamps issued after the full-scale Russian invasion of Ukraine were chosen as the material for the study. The stamps presented in the paper were issued by the allied states as a sign of solidarity with Ukraine and the Ukrainian people. It also demonstrates their support for the struggle of Ukrainians against the aggressor. To confirm or refute significance of signs of both semiotic systems and different modes, and for understanding meaning of the information presented on the particular stamp, an experiment was conducted. Basic results of the experiment have been presented and analyzed in detail. After direct visual contact with the original brand and its modified, wordless / verbal versions, the experiment participants had to answer several clear questions designed to assess the perception and understanding of the meaning conveyed through the multimodal text. The experiment has confirmed the assumption about the significance of the synthesis of verbal and iconic elements in the semiotic space of postage stamps as examples of multimodal texts defined as visually, structurally, sensibly, and functionally complete unities.
References
Батринчук, З. Р. (2018). Креолізований текст як параграфемний елемент у сучасному англомовному епістолярному дискурсі. Закарпатські філологічні студії, № 3, С. 80–84.
Білецька, Т. О. (2022). Мультимодальність текстів сучасних англомовних журналістів-блогерів (на матеріалі блогів Філіппі де Франко та Арви Махдаві). Вчені записки таврійського національного університету імені в. І. Вернадського Серія: Філологія. Журналістика. Том 33 (72), № 2, С. 87–93.
Град, Н. Я. (2012). Відеовербальний текст як об’єкт вербальної і невербальної комунікації у сучасних мультимодальних студіях. Молодий вчений, №. 5(2), 153–156.
Кузнєцова, Т.В. (2012). Особливості концептуального сприйняття креолізованих медіа-текстів. Держава та регіони, №. 2 (10), С. 64–68.
Лещенко, Т. О. (2022). Навчальний текст як мультимодальний лінгвовізуальний феномен: цілісність, зв’язність, інформативність. Інноваційна педагогіка, № 47, С. 185–190.
Лильо, Г. (2013). Вербальне vs. візуальне в перцепції креолізованих інтернет-текстів (на матеріалі інтернет-видання «Українська правда»). Вісник Львівського університету, № 37, С. 412–418.
Марченко, В.В. (2018). Структурні особливості полікодового рекламного тексту. Молодий вчений, № 7, С. 436–439.
Семенюк, Т.П. (2012). Інтерсеміотичні особливості письмової комунікації. Науковий вісник Волинського національного університету імені Лесі Українки. Серія «Філологічні науки», № 24 (249), С. 129–134.
Шевченко, І.С. (2017). Англомовний кінодискурс у полікодовому вимірі. Якісна мовна освіта у сучасному глобалізованому світі: тенденції, виклики, перспективи : матеріали І Всеукраїнської науково-практичної конференції, м. Суми, 23–24 листопада 2017 р. С. 196–199.
Bardin, L. (1975). Le texte et l’image. Communi- cation et languages, №26, С. 98–112.
Bateman, J. (2014). Text and Image: a Critical Introduction to the Visual. London ; New York : Routledge. 292 р.
Connor, P. (2022). Music, multimodality, and narrative viewpoint: Beowulf in performance. Multimodal Communication, № 3, Р. 203–214.
Forceville, С. (2020). Visual and Multimodal Communication: Applying the Applying the Rel- evance Principle. Retrieved from: https://www.researchgate.net/publication/340930511_Visual_and_Multimodal_Communication_Applying_the_Relevance_Principle_cover_see_httpsglobaloupcomacademicproductvisual-and-multimodal-communication-9780190845230ccnllangen (дата звернення: 18.02.2023).
Gibbons, A. (2012). Multimodality, Cognition and Experimental Literature. New York ; London : Routledgе. 251 р.
Kress, G. R. (2022). The multimodal landscape of communication. Medien Journal, № 4, Р. 4–19.
Kroeber-Riel, W., & Esch, F.-R. (2011). Strategie und Technik der Werbung. Auflage 7. Stuttgart: W. Kohlhammer. 460 р.
Zhovnir, M., & Leshchenko, T. (2023). Visual language of multimodal text: pragmatics of color (The Russian-Ukrainian War in the Covers of World Publications). Alfred Nobel University Journal of Philology. Series «Philology». Special Issue «Multimodality. Intermediality: Discoutse, Communication, Text», № 2 (26/2), P. 108–126. DOI: 10.32342/2523-4463-2023-2-26/2-7.
