ЎЗБЕК ТИЛИ МИЛЛИЙ КОРПУСИНИ ЯРАТИШДА ЛИНГВИСТИК РАЗМЕТКАНИНГ ЎРНИ
##plugins.themes.bootstrap3.article.main##
##article.abstract##
Мақолада тилнинг Интернет, компьютер технологиялари тилига айланиши математик лингвистика, унинг давоми бўлган компьютер лингвистикасининг шаклланганлиги ва ривожланиш даражаси билан боғлиқлиги, айниқса, сунъий интеллект учун табиий тилларни моделлаштириш муаммоси хусусида мушоҳада юритилган. Хусусан, разметкалаш матнларга ва уларнинг таркибий қисмларига махсус тегларни лингвистик ва экстралингвистик жиҳатдан ажратиш масаласи тадқиқ этилади. Матн ҳақидаги муҳим маълумотни кодлаш талаблари аниқлаб берилади. Ҳар бир сўз туркумини разметкалаш учун махсус лингвистик модел шакллари ишлаб чиқилиши кераклиги хусусида мулоҳазалар билдирилган. Матнларни разметкалаш формати, матн ҳақидаги муҳим маълумотни кодлаш талаблари ўрганилган ҳамда корпус разметкасининг мавжуд стандартлари эътиборга олинган. Ҳозирда матнга автоматик ишлов бериш ва матндан турли белгилар асосида қидирувни амалга ошириш тизими мавжуд эмаслигини инобатга олган ҳолда, корпус яратиш учун разметка асосий вазифа эканлиги таъкидланган.