Главная » Новости » 2008 » 10 » 10 10 октября 2008

Cognitive Technologies представляет Систему автоматического анализа и сравнения текстов

В течение многих лет компания Cognitive Technologies ведет разработки в области анализа текстов и понимания документов. За это время компания создала технологию автоматизированного анализа текстов, способную решать широкий спектр задач. Элементы данной технологии созданы в рамках реализации крупных проектов, а также программы исследований и разработок, непрерывно ведущихся в компании. Примером одной из задач, решаемых с помощью данной технологии, является Система сравнения текстов и вероятностного определения авторства текста (проверка на плагиат) Cognitive Text Analyzer.

При разработке систем сравнения текстов необходимо исходить из того, что текст каждого автора уникален. Как рисунок отпечатков пальцев уникален для каждого человека, так и у каждого автора существует свой собственный стиль. Один автор использует больше глаголов, другой — больше существительных или прилагательных. Кто-то пишет только о природе. Кто-то о войне. У кого-то есть свои излюбленные обороты или другие литературные приемы и схемы, характеризующиеся конкретными структурными связями.

Принцип работы Cognitive Text Analyzer состоит в следующем. В систему вводится исследуемый текст. Далее, Cognitive Text Analyzer проводит синтаксический, семантический и структурный разбор и анализ текста, устраняет синтаксические и семантические неоднозначности и выявляет порядка сотни характеристик, присущих данному тексту. Точное количество характеристик зависит от объема текста и разнообразия конструкций, встречающихся внутри него. Скорость разбора текста на современном офисном компьютере составляет 450-500 страниц текста в минуту.

В отличие от существующих систем проверки на плагиат, использующих признаки, которые можно рассчитать вручную (например, среднее количество слов в предложении, среднее число прилагательных и т.п.), Cognitive Text Analyzer учитывает не только и не столько грамматические категории, выделенные в тексте, сколько структурные связи, подчиненность одних конструкций другим в рамках предложения. Выделенные связи инвариантны к перестановке абзацев и предложений внутри текста, контекстной замене слов. Как показали исследования, эти характеристики демонстрируют высокую статистическую устойчивость в применении к произведениям конкретного автора. Это позволяет сравнивать текстовые произведения, получать количественные оценки их близости и с высокой статистической достоверностью судить о принадлежности перу того или иного автора. Например, если в басне И.Крылова «Ворона и лисица» заменить «ворону» на «корову», «лисицу» на «синицу», а «сыр» на «сервелат», то Cognitive Text Analyzer, несмотря на это с высокой долей вероятности подтвердит близость измененного текста к оригиналу. Аналогичная оценка будет и в случае, если в тексте переставить местами абзацы.

Основной модуль анализа и разбора текста Cognitive Text Analyzer находится в открытом доступе на интернет-сайте компании Cognitive Technologies.

Источник: Cognitive Technologies

14:27 10.10.2008
Оценить новость

Не работают комментарии или голосования? Читайте как почистить куки



ОПРОС на iXBT.com

Есть ли у Вас внешний аккумулятор (PowerBank)?
октябрь
Пн
Вт
Ср
Чт
Пт
Сб
Вс
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31
2008

Нашли ошибку на сайте? Выделите текст и нажмите Shift+Enter

Код для блога бета

Выделите HTML-код в поле, скопируйте его в буфер и вставьте в свой блог.