turanВестник университета «Туран»Bulletin of "Turan" University1562-29592959-1236Университет «Туран»10.46914/1562-2959-2024-1-3-128-138turan-4249Research Article1 ЭКОНОМИКА: ИСТОРИЯ, ТЕОРИЯ, ПРАКТИКА1 ECONOMY: HISTORY, THEORY, PRACTICEЭкономические аспекты идентификации ошибок в полуструктурированных публикациях на государственном языкеEconomic aspects of error identification in semi-structured publications in the state languagehttps://orcid.org/0000-0002-1591-2235БайтеноваЛ. М.BaitenovaL. M.

Д.э.н., профессор.

Aлматы

D.e.s., professor.

Almaty

l.baitenova@turan-edu.kzhttps://orcid.org/0000-0003-1427-198XРахимоваД. Р.RakhimovaD. R.

PhD, ассоциированный профессор.

Aлматы

PhD, associate professor.

Almaty

di.diva@mail.ruhttps://orcid.org/0000-0002-4793-0446ТурарбекӘ. Т.TurarbekA. T.

PhD, доцент.

Aлматы

PhD, associate professor.

Almaty

turarbek_asem@mail.ruhttps://orcid.org/0000-0002-1561-8255AдалиЕ.AdaliE.

PhD, профессор.

Стамбул

PhD, professor.

Istanbul

adali@itu.edu.trУниверситет «Туран»КазахстанTuran UniversityKazakhstanУниверситет «Туран»; Казахский национальный университет им. аль-ФарабиКазахстанTuran University; Al Farabi Kazakh National UniversityKazakhstanСтамбульский технический университетТурцияIstanbul Technical UniversityTurkey20240410202403128138Copyright © Байтенова Л.М., Рахимова Д.Р., Турарбек Ә.Т., Aдали Е., 20242024Байтенова Л.М., Рахимова Д.Р., Турарбек Ә.Т., Aдали Е.Baitenova L.M., Rakhimova D.R., Turarbek A.T., Adali E.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.turan-edu.kz/jour/article/view/4249

В связи с быстрым ростом информации в Интернете и социальных сетях в данное время исследования в области компьютерной лингвистики стали весьма актуальны. Объем информации, которую создают люди и машины на естественном языке, нуждается в обработке, анализе и проверке. Для этого используются информационно-поисковые системы, диалоговые системы, средства машинного перевода. Сам спектр систем автоматической обработки текстов весьма широк, он охватывает различные задачи. Поиск ошибок в текстах и словах, выявление и исправление некорректных слов являются одной из важнейших задач обработки естественного языка (NLP). В статье дается обзор полуструктурированных данных, методов и технологий выявления некорректных слов на естественных языках. Цель исследования – разработка эффективного подхода для обнаружения и исправления ошибок, возникающих в казахскоязычных текстах, особенно в условиях ограниченных ресурсов и неструктурированных данных. Исследование включает использование методов машинного обучения, а также экономический анализ затрат на разработку и внедрение таких решений. Предлагаемый подход способствует автоматизации проверки текстов, что может значительно сократить затраты на ручную обработку данных и повысить качество информации в различных сферах, включая бизнес и государственное управление.

Due to the rapid growth of information on the Internet and social networks, research in the field of computational linguistics has become very relevant. The volume of information that people and machines create in natural language needs to be processed, analyzed and verified. Information retrieval systems, dialog systems, and machine translation tools are used for this. The range of automatic text processing systems is very wide, it covers various tasks. Finding errors in texts and words, identifying and correcting incorrect words is one of the most important tasks of natural language processing (NLP). The article provides an overview of semi-structured data, methods and technologies for identifying incorrect words in natural languages. The paper gives an overview of semi-structured data, methods and techniques for detecting incorrect words in natural languages. The aim of the research is to develop an effective approach for detecting and correcting errors occurring in Kazakh-language texts, especially in the context of limited resources and unstructured data. The research includes the use of machine learning techniques as well as economic analysis of the costs of developing and implementing such solutions. The proposed approach facilitates the automation of text verification, which can significantly reduce the cost of manual data processing and improve the quality of information in various spheres, including business and public administration.

экономические аспектыгосударственный языкказахский языкполуструктурированные данныетекстошибканеправильные словасоциальная сетьeconomic aspectsstate languageKazakh languagesemi-structured datatexterrorwrong wordssocial networkReferencesРахимова Д.Р. Компьютерная обработка казахского языка: сборник научных трудов (материалов) // Қазақ университеті. – Алматы, 2020. – 146 с.Rahimova D.R. (2020) Komp'juternaja obrabotka kazahskogo jazyka: sbornik nauchnyh trudov (materialov) // Қazaқ universitetі. Almaty, 146 p. (In Russian).Han B., Baldwin T. Lexical normalisation of short text messages: Makn sens a# twitter // 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. 2011. Vol. 1. P. 368–378.Han B., Baldwin T. (2011) Lexical normalisation of short text messages: Makn sens a# twitter // 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. V. 1. P. 368–378. (In English).Farra N. et al. Generalized Character-Level Spelling Error Correction. Association for Computational Linguistics. 2014. No. 2. P. 161–167.Farra N. et al. (2014) Generalized Character-Level Spelling Error Correction. Association for Computational Linguistics. No. 2. P. 161–167. (In English).Hladek D. et al. Survey of Automatic Spelling Correction // Electronics. 2020. Vol. 9. No. 10. P. 1–29.Hladek D. et al. (2020) Survey of Automatic Spelling Correction // Electronics. V. 9. No. 10. P. 1–29. (In English).Peter B. Semistructured data // Proceedings of the sixteenth ACM SIGACT-SIGMOD-SIGART symposium on Principles of database systems. 1997. P. 117–121.Peter B. (1997) Semistructured data // Proceedings of the sixteenth ACM SIGACT-SIGMOD-SIGART symposium on Principles of database systems. P. 117–121. (In English).Brill E., Moore R.C. An improved error model for noisy channel spelling correction // Proceedings of the 38th Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics. 2000. P. 1–10.Brill E., Moore R.C. (2000) An improved error model for noisy channel spelling correction // Proceedings of the 38th Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics. P. 1–10. (In English).Farag A., Ernesto W., Andreas N. Revised N-Gram based Automatic Spelling Correction Tool to Improve Retrieval Effectiveness. 2009. No. 40. P. 117–121.Farag A., Ernesto W., Andreas N. (2009) Revised N-Gram based Automatic Spelling Correction Tool to Improve Retrieval Effectiveness. No. 40. P. 117–121. (In English).Kaufmann M., Kalita J. Syntactic normalization of twitter messages // International conference on natural language processing. Kharagpur, India. 2010. P. 266Kaufmann M., Kalita J. (2010) Syntactic normalization of twitter messages // International conference on natural language processing. Kharagpur, India. P. 266. (In English).Лучшие программы для исправления ошибок в тексте. URL: https://www.rush-analytics.ru/blog/programmy-dlya-ispravleniya-v-tekste-razbor-primerov-i-osnovnye-osobennosti (accessed: 22.08.2024)Luchshie programmy dlja ispravlenija oshibok v tekste. URL: https://www.rush-analytics.ru/blog/programmy-dlya-ispravleniya-v-tekste-razbor-primerov-i-osnovnye-osobennosti (accessed: 22.08.2024). (In Russian).Shaalan K., Aref R., Fahmy A. An approach for analyzing and correcting spelling errors for non-native Arabic learners // Computer Science. The 7th International Conference on Informatics and Systems. 2010. P. 53–59.Shaalan K., Aref R., Fahmy A. (2010) An approach for analyzing and correcting spelling errors for non-native Arabic learners // Computer Science. The 7th International Conference on Informatics and Systems. P. 53–59. (In English).Такташкин Д.В., Мокроусова Е.А. Методы и алгоритмы проверки орфографии тестовых документов // Электронный научно-практический журнал «Современные научные исследования и инновации». 2017. № 5. URL: https://web.snauka.ru/issues/2017/05/72892 (дата обращения: 12.08.2023)Taktashkin D.V., Mokrousova E.A. (2017) Metody i algoritmy proverki orfografii testovyh dokumentov // Jelektronnyj nauchno-prakticheskij zhurnal «Sovremennye nauchnye issledovanija i innovacii». No. 5. URL: https://web.snauka.ru/issues/2017/05/72892 (data obrashhenija: 12.08.2023). (In Russian).Rakesh K., Minu B. and Kumar S. A study of spell checking techniques for Indian languages // JK Research Journal in Mathematics and Computer Sciences. 2018. Vol. 1. No. 1. P. 105–111.Rakesh K., Minu B. and Kumar S. (2018) A study of spell checking techniques for indian languages // JK Research Journal in Mathematics and Computer Sciences. V. 1. No. 1. P. 105–111. (In English).Tukeyev U., Turganbaeva А. Lexicon-free stemming for the Kazakh language. Materials of the International Scientific Conference «Computer science and Applied Mathematics» dedicated to the 25th anniversary of the Independence of the Republic of Kazakhstan and the 25th anniversary of the Institute of Information and Computational Technologies. Part ІІ. Almaty. 2016. September 21–24. P. 84–88.Tukeyev U., Turganbaeva A. (2016) Lexicon-free stemming for the Kazakh language. Materials of the International Scientific Conference «Computer science and Applied Mathematics» dedicated to the 25th anniversary of the Independence of the Republic of Kazakhstan and the 25th anniversary of the Institute of Information and Computational Technologies. Part ІІ. Almaty. September 21–24. P. 84–88. (In English).Tukeyev U., Turganbaeva А., Karibayeva A., Amirova D., Abduali B. Language_Resources_for_ Kazakh_language. URL: https://github.com/NLPKazNU/Language_Resources_for_Kazakh_language.2020. (accessed: 12.08.2024)Tukeyev U., Turganbaeva A., Karibayeva A., Amirova D., Abduali B. (2020) Language_Resources_ for_Kazakh_language. URL: https://github.com/NLPKazNU/Language_Resources_for_Kazakh_language. (accessed: 12.08.2024). (In English).Recent advances in Apertium, a free/open-source rul-based machine translation platform for low-esource languages. 2021. URL: https://turkic.apertium.org/index.kaz.html?choice=kaz&qA=%D0%9C%D0%B5%D0%BD%D1%96%D2%A3%20%D0%BE%D2%9B%D1%83%D1%88%D1%8B%D0%BC%20#analyzation (accessed: 29.07.2024)Recent advances in Apertium, a free/open-source rul-based machine translation platform for low-esource languages. 2021. URL: https://turkic.apertium.org/index.kaz.html?choice=kaz&qA=%D0%9C%D0%B5%D0%BD%D1%96%D2%A3%20%D0%BE%D2%9B%D1%83%D1%88%D1%8B%D0%BC%20#analyzation (accessed: 29.07.2024). (In English).

The authors declare that there are no conflicts of interest present.