ПОРІВНЯЛЬНИЙ АНАЛІЗ ЕФЕКТИВНОСТІ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ ДЛЯ ІДЕНТИФІКАЦІЇ МЕТАФОР: МЕТОДИ НУЛЬОВОГО ЗАПИТУ ТА ДОНАЛАШТУВАННЯ

Автор(и)

DOI:

https://doi.org/10.32782/folium/2025.7.9

Ключові слова:

великі мовні моделі, метафора, ідентифікація метафор, доналаштування, нульовий запит, комп›ютерна лінгвістика, обробка природної мови.

Анотація

У статті окреслено проблему автоматичної ідентифікації метафор – одного з найскладніших завдань у сфері обробки природної мови. Базуючись на положеннях когнітивної лінгвістики, що визначає метафору як фундаментальний механізм мислення (Lakoff & Johnson, 1980), досліджено її роль як інструменту фреймінгу в політичному та медійному дискурсах. Підкреслено, що здатність до масштабованого аналізу метафоричних патернів є важливою для виявлення маніпулятивних технологій, однак процес розпізнавання метафор ускладнюється контекстуальною залежністю, креативністю та необхідністю енциклопедичних знань. Дослідження має на меті здійснення порівняльної оцінки потенціалу великих мовних моделей (LLM) для вирішення завдання автоматичної ідентифікації метафор. У роботі порівнюються два ключові підходи: тестування базових можливостей моделей за допомогою методу нульового запиту (zero-shot) та їх спеціалізована адаптація з використанням методу доналаштування (fine-tuning). Досліджено ефективність флагманських(станом на липень 2025 року) моделей від провідних розробників: OpenAI (GPT-4o), Google (Gemini 2.5 Pro, Gemini 2.5 Flash) та Anthropic (Claude Sonnet 4). Окрему увагу приділено методології обробки експериментальних даних на основі корпусу NAACL 2020 Shared Task on Metaphor Detection. Для оцінки продуктивності моделей використано стандартні метрики бінарної класифікації: точність (Precision), повнота (Recall) та узагальнена оцінка F1-Score. У статті описано процедуру доналаштування та виявлено практичні обмеження, пов’язані з різним рівнем доступності інструментів у провідних екосистемах штучного інтелекту. Результати дослідження продемонстрували, що фундаментальні моделі показують низьку та незбалансовану ефективність, тоді як процедура доналаштування значною мірою покращує їхню продуктивність (F1-Score зростає на 24-29%). Порівняльний аналіз доналаштованих моделей штучного інтелекту виявив, що GPT-4o досягає кращого балансу між точністю та повнотою (F1-Score 64,20%), тоді як Gemini 2.5 Flash зберігає невелику перевагу в точності. Проведений порівняльний аналіз робить важливий внесок у дослідження можливостей LLM для аналізу метафор, демонструючи, що доналаштування є важливим методом для їхньої адаптації до складних лінгвістичних завдань.

Посилання

Brown, T.B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., & Amodei, D. (2020). Language Models Are Few-Shot Learners.

In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, & H. Lin (Eds.), Advances in Neural Information Processing Systems, 33, 1877–1901.

https://doi.org/10.48550/arXiv.2005.14165

Charteris-Black, J. (2004). Corpus Approaches to Critical Metaphor Analysis. Basingstoke: Palgrave Macmillan. https://doi.org/10.1057/9780230000612

Lakoff, G., & Johnson, M. (1980). Metaphors We Live By. Chicago: University of Chicago Press.

Leong, C., Beigman Klebanov, B., & Shutova, E. (2020). Report on the 2020 Metaphor Detection Shared Task. In Proceedings of the Second

Workshop on Figurative Language Processing. Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.figlang-1.3

Musolff, A. (2006). Metaphor scenarios in public discourse. Metaphor and Symbol. https://doi.org/10.1207/s15327868ms2101_2

Pragglejaz Group. (2007). MIP: A method for identifying metaphorically used words in discourse. Metaphor and Symbol. https://doi.org/10.1080/10926480709336752

Shutova, E. (2010). Models of metaphor in NLP. In Proceedings of the 48th Annual Meeting of the Association for Computational

Linguistics (pp. 688–697). Association for Computational Linguistics. https://dl.acm.org/doi/10.5555/1858681.1858752

Steen, G.J., Dorst, A.G., Herrmann, J.B., Kaal, A.A., Krennmayr, T., & Pasma, T. (2010). A Method for Linguistic Metaphor Identification:

From MIP to MIPVU. Amsterdam/Philadelphia: John Benjamins Publishing Company. https://doi.org/10.1075/celcr.14

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., & Polosukhin, I. (2017). Attention is All You Need. In Advances in

Neural Information Processing Systems, 30. Curran Associates. https://doi.org/10.48550/arXiv.1706.03762

OpenAI API Fine-tuning Documentation https://platform.openai.com/docs/guides/supervised-fine-tuning

Google Cloud Vertex AI Fine-tuning Guide. Google Cloud Documentation. https://cloud.

google.com/vertex-ai/generative-ai/docs/models/gemini-use-supervised-tuning

Anthropic Claude Model Overview. Anthropic. https://www.anthropic.com/claude

OpenAI GPT-4 Product Page. OpenAI. https://openai.com/research/gpt-4

Google Gemini Model Overview. Google DeepMind Blog. Retrieved from https://deepmind.google/models/gemini/

YU-NLPLab. (n.d.). VU Amsterdam Metaphor Corpus – training subset (first 1500 sentences) [Data set]. GitHub. https://github.com/

YU-NLPLab/DeepMet/blob/master/corpora/VUA/vuamc_corpus_train.csv

Jin, G. (n.d.). VU Amsterdam Metaphor Corpus – test subset (203 sentences) [Data set]. GitHub. https://github.com/jin530/MelBERT/blob/main/data_sample/VUAtok_sample/test.tsv

Пасічник, В., Яромич, М. (2025). Особливості жанрової класифікації літератури за допомогою великих мовних моделей. Folium, 6, 132–143. https://doi.org/10.32782/folium/2025.6.19.

##submission.downloads##

Опубліковано

2025-10-30

Як цитувати

Бистров, Я., & Большаков, Н. (2025). ПОРІВНЯЛЬНИЙ АНАЛІЗ ЕФЕКТИВНОСТІ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ ДЛЯ ІДЕНТИФІКАЦІЇ МЕТАФОР: МЕТОДИ НУЛЬОВОГО ЗАПИТУ ТА ДОНАЛАШТУВАННЯ. Folium, (7), 61–68. https://doi.org/10.32782/folium/2025.7.9

Номер

Розділ

Статті