diff --git a/Contents/part_ecosystem.tex b/Contents/part_ecosystem.tex index 672c6cbc..ba143361 100644 --- a/Contents/part_ecosystem.tex +++ b/Contents/part_ecosystem.tex @@ -120,4 +120,12 @@ \scsubsection[ \protect\scnmonographychapter{Глава 7.9. Информационная безопасность интеллектуальных компьютерных систем нового поколения} ]{Предметная область и онтология средств обеспечения информационной безопасности ostis-систем в рамках Экосистемы OSTIS} -\label{sd_inf_security} \ No newline at end of file +\label{sd_inf_security} + + +\scsubsection[ + \protect\scnmonographychapter{Глава 7.5.3. Семантические модели и средства контроля знаний пользователей в + ostis-системах} + ]{Предметная область и онтология средств обеспечения информационной безопасности ostis-систем в рамках Экосистемы OSTIS} +\label{sd_semantic_models_and_knowledge_control_tools} +\input{Contents/part_ecosystem/src/sd_semantic_models_and_knowledge_control_tools.tex} diff --git a/Contents/part_ecosystem/src/images/example_establishing_relationships.jpg b/Contents/part_ecosystem/src/images/example_establishing_relationships.jpg new file mode 100644 index 00000000..6c787cc8 Binary files /dev/null and b/Contents/part_ecosystem/src/images/example_establishing_relationships.jpg differ diff --git a/Contents/part_ecosystem/src/images/example_logical.jpg b/Contents/part_ecosystem/src/images/example_logical.jpg new file mode 100644 index 00000000..a6f00e0e Binary files /dev/null and b/Contents/part_ecosystem/src/images/example_logical.jpg differ diff --git a/Contents/part_ecosystem/src/images/rule_generating_question.jpg b/Contents/part_ecosystem/src/images/rule_generating_question.jpg new file mode 100644 index 00000000..93670764 Binary files /dev/null and b/Contents/part_ecosystem/src/images/rule_generating_question.jpg differ diff --git a/Contents/part_ecosystem/src/sd_semantic_models_and_knowledge_control_tools.tex b/Contents/part_ecosystem/src/sd_semantic_models_and_knowledge_control_tools.tex new file mode 100644 index 00000000..7e76fe40 --- /dev/null +++ b/Contents/part_ecosystem/src/sd_semantic_models_and_knowledge_control_tools.tex @@ -0,0 +1,663 @@ +\section{Существующие научно-исследовательские результаты и проблемы в области +автоматизации контроля знаний} + + +\begin{scnrelfromset}{подраздел} +\scnfileitem{Автоматическая генерация тестовых вопросов} + +\scnfileitem{Автоматическая проверка ответов пользователей} +\end{scnrelfromset} + +\textbf{Автоматическая генерация тестовых вопросов} + + +\scntext{примечание}{Подход к автоматической генерации тестовых вопросов в основном изучает, как использовать электронные документы, корпуса текстов и базы знаний для быстрой и гибкой автоматической генерации тестовых вопросов. +Благодаря тому, что знания в базе знаний представляют собой высокоструктурированные знания, прошедшие фильтрацию, и с развитием семантических сетей, использование базы знаний для автоматической генерации тестовых вопросов стало важнейшим направлением исследований в области автоматической генерации тестовых +вопросов (см. Xu G.P..Resea oITS-2009art; Mousavinasab E..IntelTSaSRoC-2018art; Bhatia A..AutomGoMCQ-2013art)} + + +\begin{scnrelfromset}{Некоторые результаты исследований} +\scnfileitem{подход к использованию классов, экземпляров, атрибутов и отношений между ними в онтологии OWL для генерации вопросов на выбор представлен в работе (см. Papasalouros A..AutomGoMCQ-2008art). OWL представляет собой язык описания онтологий для семантической сети. Онтология — это вид знаний, каждое из которых является спецификацией соответствующей предметной области, ориентированной на описание +свойств и взаимосвязей понятий, входящих в состав указанной предметной области} +\scnfileitem{подход к автоматической генерации объективных вопросов с использованием онтологии, созданной Proteg´ e´ (см. Protege-2016el), представлен в работе (см. Li H.Resea oIAGBoD-2012art)} +\end{scnrelfromset} + +\begin{scnindent} +\begin{scnrelfromset}{проблемы подходов} +\scnfileitem{подход к использованию электронных документов для автоматической генерации тестовых вопросов требует большого количества шаблонов предложений} +\scnfileitem{создание корпуса текстов требует больших человеческих ресурсов для сбора и обработки различных знаний} +\scnfileitem{существующие подходы могут быть использованы только в соответствующих системах и не являются совместимыми} +\scnfileitem{существующие подходы позволяют генерировать только простые объективные вопросы} +\end{scnrelfromset} +\end{scnindent} + + +\textbf{Автоматическая проверка ответов пользователей} + + +\begin{scnrelfromset}{проверка ответов пользователей } +\scnfileitem{проверка ответов на объективные вопросы} +\scnfileitem{проверка ответов на субъективные вопросы} +\end{scnrelfromset} + + +\scntext{примечание}{Основной принцип проверки ответов на объективные вопросы относительно прост, то есть достаточно определить, совпадает ли строка стандартного ответа и строка ответа пользователя. Ответы на субъективные вопросы обычно не являются уникальными, поэтому основной принцип проверки ответов на субъективные вопросы заключается в вычислении подобия между стандартным ответом и ответом пользователя, а затем в осуществлении автоматической проверки ответов пользователя на основе вычисленного подобия и стратегии оценки соответствующих тестовых вопросов. Чем больше похожи стандартный ответ и ответ пользователя, тем +выше подобие между ними (см. Wan C..aRevie oTSCM-2019art; Li X.Reali oASAfSQ-2009art; Wan HR..RevieoRPoTS2019art)} + + +\begin{scnrelfromset}{категории проверки ответов} +\scnfileitem{На основе ключевых словосочетаний} +\scnfileitem{На основе модели векторного пространства (VSM)} +\scnfileitem{На основе глубокого обучения} +\scnfileitem{На основе семантического фрагмента} +\end{scnrelfromset} + + +\begin{scnrelfromset}{Проблемы этих подходов} +\scnfileitem{подход, основанный на ключевых словосочетаниях, не учитывает порядок между словами в предложении} +\scnfileitem{подход на основе VSM приводит к генерации высокоразмерных разреженных матриц, что увеличивает сложность алгоритма} +\scnfileitem{подходы на основе семантических фрагментов, поддерживающие только описание простых семантических структур} +\scnfileitem{эти подходы не позволяют определить, являются ли предложения логически эквивалентными друг другу} +\scnfileitem{эти подходы зависят от соответствующего естественного языка} +\end{scnrelfromset} + + +\scntext{примечание}{Поэтому на основе существующих подходов к автоматической генерации тестовых вопросов с использованием +баз знаний, подходов к вычислению подобия между ответами с использованием семантических фрагментов и +Технологии OSTIS в данном параграфе предлагается подход к автоматической генерации тестовых вопросов и +автоматической проверке ответов пользователей с использованием семантики} + + + +\scnheader{Подход на основе ключевых словосочетаний} + + +\scntext{примечание}{Этот тип подхода позволяет сначала разделить предложения на ключевые словосочетания, а затем вычислить подобие между ними в соответствии с отношениями совпадения ключевых словосочетаний между предложениями} +\begin{scnrelfromset}{Представительные подходы включают} +\scnitem{N-gram similarity} +\scnitem{Jaccard similarity} +\end{scnrelfromset} + + + +\scnheader{Подход на основе модели векторного пространства (VSM)} + + +\scntext{примечание}{Основной принцип VSM заключается в использовании традиционных алгоритмов машинного обучения для того, чтобы сначала преобразовать предложения в векторные представления, а затем вычислить подобие между ними (см. Shahmirzadi O..aTextSiVSM-2019art)} +\begin{scnrelfromset}{Представительные подходы включают} +\scnitem{TF-IDF} +\scnitem{Word2vec} +\scnitem{Doc2Vec} +\end{scnrelfromset} + + + +\scnheader{Подход на основе глубокого обучения} + + +\scntext{примечание}{Этот тип подхода позволяет использовать модели нейронных сетей для вычисления подобия между предложениями (см. Ji M..aShortTSCM-2022art).} +\begin{scnrelfromset}{Представительные модели нейронных сетей включают} +\scnitem{Tree-LSTM} +\scnitem{Transformer} +\scnitem{BERT} +\end{scnrelfromset} + + + +\scnheader{Подход на основе семантического фрагмента} + + +\scntext{примечание}{Основной принцип вычисления подобия между ответами с использованием данного типа подхода заключается в том, чтобы сначала преобразовать ответы (то есть предложения или короткие тексты) в представление семантического фрагмента с помощью инструментов обработки естественного языка (например, синтаксические деревья зависимостей и естественно-языковые интерфейсы), а затем вычислить подобие между семантическими фрагментами (то есть подобие между ответами). В и.о.с. различная информация хранится в виде семантических фрагментов, поэтому можно рассмотреть возможность вычисления подобия между любыми двумя +семантическими фрагментами в базе знаний, опираясь на принципы работы данного типа подхода. Основным преимуществом этого типа подхода является вычисление подобия между ответами на основе семантики.} + + +\scntext{примечание}{Одним из наиболее представительных подходов является SPICE (Semantic Propositional Image Caption Evaluation)(см. Anderson P..SPICE-2016art).Подход SPICE используется для вычисления подобия между автоматически сгенерированными подписями к рисункам (подписи-кандидаты) и подписями к рисункам, помеченными вручную (подписи-образцы). Данный подход позволяет вычислить подобие между подписями путем сопоставления одного и того же числа кортежей между семантическими кортежами подписи-кандидатов и семантическими кортежами подписи-образцов.} + + + + + + + + + + + +\begin{SCn} +\begin{small} +\scnheader{Пункт 7.5.3.2. Предлагаемый подход к автоматизации контроля знаний} +\scntext{цель}{детализация подхода к автоматической генерации тестовых вопросов и автоматической проверке ответов пользователей в ostis-системах и разработка универсальной подсистемы +на основе этого подхода} + +\begin{scnindent} +\begin{scnrelfromset}{две части подхода} +\scnfileitem{автоматическая генерация тестовых вопросов} +\scnfileitem{автоматическая проверка ответов пользователей} +\end{scnrelfromset} +\scntext{примечание}{универсальность подсистемы означает, что подсистема может быть легко перенесена +между различными ostis-системами} +\end{scnindent} + +\scnheader{Предлагаемый подход к автоматической генерации тестовых вопросов} +\scntext{Основной принцип}{сначала извлечь соответствующие +семантические фрагменты из базы знаний, используя ряд стратегий генерации тестовых вопросов, обобщенных на +основе подхода представления знаний и структуры описания знаний в рамках Технологии OSTIS, затем добавить +к извлеченным семантическим фрагментам информацию об описании тестового вопроса и, наконец, сохранить +семантические фрагменты, описывающие полные тестовые вопросы, в соответствующем разделе подсистемы} + +\scnheader{Cтратегии, используемые для автоматической генерации тестовых вопросов} + + +\begin{scnrelfromset}{разбиение} + + \scnfileitem{Стратегия генерации тестовых вопросов на основе класса} + \begin{scnindent} + + \scntext{пояснение}{Этот тип стратегии генерации тестовых вопросов используется для автоматической генерации объективных +вопросов, основанных на различных отношениях между классами} + + \begin{scnrelfromset}{разбиение} + + + \scnfileitem{На основе отношения включениe} + + \begin{scnindent} + \scntext{Описание}{Отношение включения является одним из наиболее часто используемых отношений в базе знаний ostisсистем, которое удовлетворяется между многими классами (включая подклассы), поэтому отношение включения между классами может быть использовано для генерации объективных вопросов} + + \scnhaselement{семантический фрагмент} + + \begin{scnindent} + \scnhaselement{\textbf{бинарное дерево}} + + \begin{scnindent} + \scnrelto{включение}{ориентированное дерево} + \begin{scnrelfromset}{включение} + \scnfileitem{братское дерево} + \scnfileitem{дерево решений} + \scnfileitem{бинарное дерево сортировки} + \end{scnrelfromset} + \end{scnindent} + + \newpage + \scntext{пример вопроса} + { + «Частным случаем бинарного дерева не является ( )?» +A. дерево решений C. ориентированное дерево +B. братское дерево D. бинарное дерево сортировки + } + \scnhaselement{семантическая модель вопроса} + \end{scnindent} + + + \end{scnindent} + + + + \scnfileitem{На основе отношения разбиение} + \begin{scnindent} + \scntext{описание}{Отношение разбиения — это квазибинарное ориентированное отношение, областью определения которого является семейство всевозможных множеств. В результате разбиения множества получается множество попарно непересекающихся множеств, объединение которых есть исходное множество. Отношение +разбиения также является важным отношением в базе знаний, поэтому семантические фрагменты в базе знаний, удовлетворяющие этому отношению, могут быть использованы для генерации объективных +вопросов} + \scnhaselement{семантический фрагмент} + \begin{scnindent} + \scnhaselement{\textbf{ГраФ}} + \begin{scnindent} + \scnrelfrom{включение}{полуэйлеров граф} + \begin{scnrelfromset}{разбиение} + \scnfileitem{невзвешенный граф} + \scnfileitem{взвешенный граф} + \end{scnrelfromset} + \begin{scnrelfromset}{разбиение} + \scnfileitem{непланарный граф} + \scnfileitem{планарный граф} + \end{scnrelfromset} + \begin{scnrelfromset}{разбиение} + \scnfileitem{связный граф} + \scnfileitem{несвязный граф} + \end{scnrelfromset} + \end{scnindent} + \end{scnindent} + + \end{scnindent} + + \scnfileitem{На основе отношения строгое включение} + \begin{scnindent} + \scntext{описание}{Отношение строгого включения является особой формой отношения включения. Использование отношения строгого включения для автоматической генерации объективных вопросов аналогично использованию отношения включения} + \scnhaselement{семантический фрагмент} + \begin{scnindent} + \scnhaselement{\textbf{Предметная область множеств}} + \begin{scnindent} + \begin{scnhaselementrolelist}{немаксимальный класс объектов исследования} + \scnfileitem{счетное множество} + \scnfileitem{ориентированное множество} + \scnfileitem{конечное множество} + \begin{scnindent} + \begin{scnrelfromset}{включение} + \scnfileitem{пара} + \scnfileitem{тройка} + \end{scnrelfromset} + \end{scnindent} + \end{scnhaselementrolelist} + \end{scnindent} + \end{scnindent} + + \end{scnindent} + + \end{scnrelfromset} + \end{scnindent} + + \scnfileitem{Стратегия генерации тестовых вопросов на основе элементов} + \scnfileitem{Стратегия генерации тестовых вопросов на основе идентификаторов} + \scnfileitem{Стратегия генерации тестовых вопросов на основе аксиом} + \scnfileitem{Стратегия генерации тестовых вопросов на основе атрибутов отношений} + \scnfileitem{Стратегия генерации тестовых вопросов на основе примеров изображений} +\end{scnrelfromset} + + +\scnheader{Процесс генерации субъективных вопросов с использованием стратегии генерации субъективных вопросов} +\begin{scnrelfromset}{включение} + \scnfileitem{поиск в базе знаний семантических фрагментов} + \scnfileitem{хранение найденных семантических фрагментов} + \scnfileitem{хранение найденных семантических фрагментов для описания определения, процесса доказательства или процесса решения соответствующего +тестового вопроса} +\end{scnrelfromset} +\scntext{примечание}{Использование этих стратегий генерации тестовых вопросов, описанных выше, позволяет генерировать различные типы тестовых вопросов автоматически из базы знаний. Эти автоматически сгенерированные тестовые вопросы хранятся в базе знаний подсистемы в соответствии с их типом и соответствующей стратегией генерации тестовых вопросов. Такой тип хранения позволяет быстро и динамично генерировать экзаменационные билеты в соответствии с потребностями пользователя} +\begin{scnrelfromset}{преимущества} + \begin{scnindent} + \scnfileitem{предложенный подход к генерации тестовых вопросов может быть использован в различных ostis-системах} + \scnfileitem{сгенерированные тестовые вопросы описываются с помощью SC-кода, поэтому они не опираются на какойлибо естественный язык} + \scnfileitem{используя предложенный подход к генерации тестовых вопросов, можно генерировать не только объективные +вопросы, но и субъективные вопросы} + \end{scnindent} +\end{scnrelfromset} + + +%---------------------- пункт 7.5.3.2.2 ------------------------- + +\scnheader{Предлагаемый подход к автоматической проверке ответов пользователей} +\scntext{основной принцип} +{ +В ostis-системах тестовые вопросы хранятся в базе знаний в виде семантических фрагментов, поэтому наиболее важным этапом проверки ответов пользователей является вычисление подобия между семантическим фрагментом стандартного ответа и семантическим фрагментом ответа пользователя, и когда подобие получено и объединено со стратегией оценки соответствующих тестовых вопросов, правильность и полнота ответов пользователей могут быть проверены +} +\begin{scnrelfromset}{классфикация проверок ответов} + \scnfileitem{проверка ответов на объективные вопросы} + \scnfileitem{проверка ответов на субъективные вопросы} +\end{scnrelfromset} + +\begin{scnindent}\scntext{пояснение} +{ +Фактические знания относятся к знаниям, которые не содержат типов переменных, и этот тип знаний выражает факты. Логические знания обычно содержат переменные, и между ними существуют логические отношения. +В ostis-системах объективные вопросы, вопросы на доказательство и решение задачи описываются с использованием фактических знаний, а вопросы на толкование определений описываются с использованием фактических и логических знаний вместе +} +\end{scnindent} + +%------------ пункт 7.5.3.2.3 --------------------- 769 + + + +\scnheader{Проверка ответов на объективные вопросы} + +\scntext{примечание}{Семантические фрагменты, используемые для описания объективных типов тестовых вопросов и ответов на них +в базе знаний, имеют одинаковую семантическую структуру, поэтому подобие между ответами на такие типы +тестовых вопросов может быть вычислено с использованием того же подхода. Поскольку ответы пользователей на +естественном языке на объективные вопросы уже согласованы с существующими знаниями в базе знаний, когда +они преобразуются в семантические фрагменты с помощью естественно-языкового интерфейса, то есть элементы, +представляющие одну и ту же семантику в базе знаний, имеют один и тот же основной идентификатор} +\begin{scnindent}{\scntext{вывод}{при вычислении подобия между семантическими фрагментами ответов на объективные вопросы нет необходимости учитывать различия между понятиями на уровне естественного языка, то есть подобие между ответами вычисляется на основе семантических структур}} +\end{scnindent} +\begin{scnrelfromset}{разбиение} + \scnfileitem{вычисление подобия между семантическими фрагментами ответов на объективные вопросы} + \scnfileitem{определение того, существует ли логическая эквивалентность между семантическими фрагментами ответов на объективные вопросы} + \scnfileitem{использование вычисленного подобия и стратегий оценки объективных вопросов для проверки правильности и полноты ответов пользователей и подсчета баллов за ответы пользователей} +\end{scnrelfromset} + + +\scnheader{Логическая эквивалентность между семантическими фрагментами} +\begin{scnrelfromset}{разбиение} + \scnfileitem{логическая эквивалентность между семантическими фрагментами, описанными на основе логических формул} + \scnfileitem{логическая эквивалентность между семантическими фрагментами, описанными на основе различных систем понятий} + \begin{scnindent} + \begin{scnrelfromset}{разбиение} + \scnfileitem{логическая эквивалентность между семантическими фрагментами, описанными на основе фактических знаний} + \scnfileitem{логическая эквивалентность между семантическими фрагментами, описанными на основе логическихзнаний} + \end{scnrelfromset} + \end{scnindent} +\end{scnrelfromset} + +\begin{scnrelfromset}{Основной принцип вычисления подобия} + \scnfileitem{декомпозиция семантического фрагмента стандартного ответа (s) и семантического фрагмента ответа пользователя (u) на подструктуры в соответствии с правилами представления фактических знаний} + \scnfileitem{использование формул для вычисления точности, полноты и подобия +между семантическими фрагментами} +\end{scnrelfromset} +\begin{scnrelfromset}{определение симметричной разности} + \scnfileitem{C = (A $\textbackslash$ B) $\cup$ (B $\textbackslash$ A)} + \scnfileitem{C = A $\triangle$ B} +\end{scnrelfromset} + +\scnheader{Процесс определения логической эквивалентности между семантическими фрагментами} + + +\begin{scnrelfromset}{Алгоритм} + \scnfileitem{1 шаг}{ + найдены все sc-узлы в семантическом фрагменте стандартного ответа и все sc-узлы в семантическом фрагменте ответа пользователя соответственно. Затем проверяется, существует ли пара sc-узлов между sc-узлами стандартного ответа и sc-узлами ответа пользователя, и ее два sc-узла соответственно включены в шаблон, связанный с использованием отношения “эквиваленция*”. Если такая пара sc-узлов существует, выполняется следующий шаг + } + \scnfileitem{2 шаг}{ + использование двух шаблонов для поиска всех изоморфных семантических фрагментов в базе знаний и проверка наличия двух фрагментов пользователя в этих найденных фрагментах, которые соответственно включены в стандартный ответ и ответ пользователя. Если существуют такие два фрагмента (соответствие различным шаблонам), выполняется следующий шаг + } + \scnfileitem{3 шаг}{ + итеративно проходятся разложенные подструктуры стандартного ответа и разложенные подструктуры ответа пользователя, и каждая подструктура сравнивается с соответствующим семантическим фрагментом, найденным на шаге 2, если каждый sc-элемент в подструктуре содержится в соответствующем семантическом фрагменте, подструктура удаляется + } + \scnfileitem{4 шаг}{ + использование формул для вычисления подобия между семантическими фрагментами в соответствии с остальными подструктурами. Если подобие равно 1, то два семантических фрагмента полностью совпадают + } + \end{scnrelfromset} + %\scnrelfrom{Пример}{\scnfileimage{images/example_logical.png}} + + + \newpage + + +\scnheader{Стратегия оценки объективных вопросов} +\begin{scnrelfromset}{включение} + \scnfileitem{если для текущего тестового вопроса существует только один правильный вариант, только если стандартный ответ и ответ пользователя точно совпадают, ответ пользователя считается правильным, и пользователь +получает максимальный балл } + \scnfileitem{ +если текущий вопрос имеет несколько правильных вариантов + + +\begin{scnindent} +\begin{scnrelfromset}{разбиение} + \scnfileitem{до тех пор, пока ответ пользователя содержит неправильный вариант, ответ пользователя считается +неправильным и оценка пользователя равна 0} + \scnfileitem{если все варианты в ответе пользователя правильные, но количество правильных вариантов меньше, чем +количество правильных вариантов в стандартном ответе, ответ пользователя считается правильным, но +неполным} + \scnfileitem{если все варианты стандартного ответа точно совпадают со всеми вариантами ответа пользователя, то +ответ пользователя точно правильный} +\end{scnrelfromset} +\end{scnindent} + + } + + \end{scnrelfromset} + %--------------------------- Подпункт 7.5.3.2.4 Проверка ответов на субъективные вопросы + +\scnheader{Проверка ответов на субъективные вопросы} +\scntext{описание}{Наиболее важным этапом проверки ответов на субъективные вопросы также является вычисление подобия между семантическими фрагментами ответов, однако типы знаний и структуры знаний, используемые для описания различных типов субъективных вопросов и ответов на них, в ostis-системах не одинаковы} +\begin{scnrelfromset}{разбиение} + \scnfileitem{подход к вычислению подобия между ответами на вопросы на толкование определений} + \scnfileitem{подход к вычислению подобия между ответами на вопросы на доказательство и на решение задачи} +\end{scnrelfromset} + + %-------------- вопросы на толкование определений + +\scnheader{Подход к вычислению подобия между ответами на вопросы на толкование определений} + +\scntext{описание}{Ответы на вопросы на толкование определений в ostis-системах описываются в виде логических формул с использованием фактических знаний и логических знаний. Логическая формула является мощным инструментом для формального представления знаний в рамках Технологии OSTIS, которая расширяется на основе формул логики предикатов первого порядка и наследует все операционные свойства формул логики предикатов первого порядка. Следует подчеркнуть, что при вычислении подобия между ответами на вопросы на толкование определений, фактические знания в семантических фрагментах ответов пользователей были согласованы с существующими знаниями в базе знаний} +\begin{scnrelfromset}{задачи} + \scnfileitem{автоматический выбор потенциального эквивалентного стандартного ответа} + \scnfileitem{установление отношений отображения потенциальных эквивалентных пар переменных sc-узлов между семантическими фрагментами ответов} + \scnfileitem{вычисление подобия между семантическими фрагментами} + \scnfileitem{если подобие между семантическими фрагментами не равно 1, то их также необходимо отдельно преобразовать в представление префиксной нормальной формы, а затем снова вычислить подобие между ними.} +\end{scnrelfromset} +\scnrelfrom{примечание}{Некоторые вопросы на толкование определений иногда имеют несколько стандартных ответов, но логические формулы, используемые для их формального представления, не являются логически эквивалентными} +\begin{scnrelfromset}{пример определения отношения эквивалентности} + \scnfileitem{в математике отношение эквивалентности является бинарным отношением, которое является рефлексивным, +симметричным и транзитивным} + \scnfileitem{для любого бинарного отношения, если оно является толерантным отношением и транзитивным, то оно +является отношением эквивалентности} +\end{scnrelfromset} +\scnrelfrom{Подход к фильтрации стандартного ответа}{ +\begin{scnrelfromset}{Принцип работы} + \scnfileitem{нахождение всех предикатов в каждом ответе (неповторяющихся предикатов)} + \scnfileitem{вычисление подобия предикатов между ответом пользователя и каждым стандартным ответом с использованием формул} + \scnfileitem{стандартный ответ, который наиболее похож (максимальное подобие) на ответ пользователя, выбирается в качестве окончательного стандартного ответа} +\end{scnrelfromset}} +\scnrelfrom{Подход к нумерации в семантическом фрагменте}{ +\begin{scnrelfromset}{Принцип работы} + \scnfileitem{каждая sc-связка и sc-структура в дереве нумеруется по очереди в соответствии со стратегией DFS и приоритетом текущей sc-связки} + \scnfileitem{в соответствии с последовательностью нумерации sc-связок, каждый sc-связка в дереве обходится от малого +к большому, а sc-структура, связанная с текущей sc-связкой, нумеруется при обходе} +\end{scnrelfromset}} + +\scntext{Проверка ответа}{При проверке ответа, если стандартный ответ и ответ пользователя точно равны, это означает, что атомарные логические формулы с одинаковой семантикой между ответами имеют одинаковое положение в семантическом фрагменте (то есть, последовательность нумерации sc-структуры одинакова). Поэтому в данном параграфе отношения отображения потенциальных эквивалентных пар переменных sc-узлов будут устанавливаться на основе отношений соответствия sc-конструкций в одной и той же позиции между ответами} + +\begin{scnrelfromset}{Процесс установления отношений +} + \scnfileitem{в соответствии с последовательностью нумерации sc-структур в семантическом фрагменте, каждый раз, когда из стандартного ответа и ответа пользователя найдена пара sc-структур с одинаковым номером} + \scnfileitem{в соответствии с порядком приоритета (от высокого к низкому) различных типов sc-конструкций, используемых для описания атомарной логической формулы, поочередно определяется, содержит ли текущая пара sc-структур одновременно данный тип sc-конструкции. Если этот тип sc-конструкции одновременно содержится в текущей паре sc-структур, то, в соответствии с отношением соответствия каждого sc-элемента между текущей sc-конструкцией в стандартном ответе и текущей sc-конструкцией в ответе пользователя, устанавливаются отношения отображения потенциальных эквивалентных пар переменных sc-узлов между текущими sc-конструкциями} + \scnfileitem{повторять предыдущие два пункта, пока не будут установлены все отношения отображения между семантическими фрагментами} +\end{scnrelfromset} + +\scnindent{\scnrelfrom{Пример}{%\scnfileimage{images/example_establishing_relationships.png}}} + +\begin{scnrelfromset}{процесс вычисления подобия} + \scnfileitem{декомпозиция семантического фрагмента стандартного ответа и семантического фрагмента ответа пользователя на подструктуры в соответствии с правилами представления фактических знаний и логических знаний} + \scnfileitem{нумерация sc-связок и sc-структур в семантических фрагментах ответов, соответственно, и установление +отношений отображения потенциальных эквивалентных пар переменных sc-узлов между семантическими +фрагментами} + \scnfileitem{использование формул для вычисления точности, полноты и подобия между семантическими фрагментами.} +\end{scnrelfromset} + +\scntext{примечание}{На основе подхода к преобразованию формул логики предикатов в п.н.ф. и некоторых характеристик логических формул в ostis-системах, в данном параграфе предлагается подход к преобразованию логических формул в уникальные (детерминированные) п.н.ф. в соответствии со строгими правилами ограничения.} + \begin{scnrelfromset}{правила ограничения} + \scnfileitem{чтобы решить проблему, заключающуюся в том, что п.н.ф. не являются уникальными из-за порядка использования различных формул логической эквивалентности, мы указываем, что правило переименования должно использоваться предпочтительно при преобразовании логических формул в п.н.ф.} + \scnfileitem{для решения проблемы, что п.н.ф. не является уникальной из-за порядка кванторов, в данном параграфе предлагается подход, позволяющий перемещать все кванторы в передний конец логической формулы строго в соответствии с приоритетом кванторов + \begin{scnindent} + \begin{scnrelfromset}{Процесс перемещения кванторов} + \scnfileitem{если в начале логической формулы не существует кванторов, то все кванторы существования перемещаются в начало логической формулы по преимуществу} + \scnfileitem{если последний квантор в переднем конце логической формулы является квантором всеобщности, то кванторы всеобщности в логической формуле будут преимущественно перемещены в начало формулы} + \scnfileitem{если последний квантор в переднем конце логической формулы является квантором существования, то кванторы существования в логической формуле будут перемещены преимущественно в начало формулы} + \end{scnrelfromset} + \end{scnindent} + } + \scnfileitem{логическая формула, используемая для представления ответа на вопрос на толкование определений, обычно может быть выражена в следующей форме: $(Q_1x_1Q_2x_2 · · · Q_nx_n (A \leftrightarrow B)), где Q_i (i = 1, · · · n)$ представляет собой квантор. A используется для описания определения понятия на целостном уровне, и кванторы в него не включены. B используется для объяснения семантического оттенка определения на уровне детализации, и обычно эта формула является логической формулой, содержащей кванторы (также известной как логическая подформула). Поэтому, исходя из характеристик логической формулы и для упрощения обработки знаний, необходимо лишь преобразовать логическую формулу B в п.н.ф} + \scnfileitem{для упрощения обработки знаний при преобразовании логических формул в п.н.ф. необходимо исключить +только связку импликации} + \scnfileitem{несколько атомарных логических формул, соединенных с помощью одной и той же связки конъюнкции, предпочтительно объединяются в одно целое (то есть они объединяются в одну sc-структуру)} + \end{scnrelfromset} +\begin{scnrelfromset}{Процесс преобразования семантических фрагментов ответов на вопросы на толкование определений} + \scnfileitem{если в семантическом фрагменте имеется несколько sc-структур, соединенных одной и той же связкой конъюнкции, то содержащиеся в них sc-конструкции объединяются в одну sc-структуру} + \scnfileitem{исключение всех связок импликации в семантических фрагментах} + \scnfileitem{перемещение всех связок отрицания в семантических фрагментах в передний конец соответствующей sc-структуры} + \scnfileitem{использование правила переименования, чтобы все связанные переменные в семантических фрагментах не были одинаковыми} + \scnfileitem{перемещение всех кванторов в первый конец логической формулы} + \scnfileitem{снова объединение sc-структур, которые могут быть объединены в семантическом фрагменте} +\end{scnrelfromset} +\scnheader{Вычисление подобия между ответами на вопросы на доказательство и на решение задачи} +\begin{scnrelfromset}{процесс решения задач} + \scnfileitem{набор условий ($\omega$), состоящий из некоторых известных условий} + \scnfileitem{выведение промежуточного вывода с использованием некоторых известных условий в $\omega$ и добавление его к $\omega$. Каждый элемент в $\omega$ можно рассматривать как шаг решения} + \scnfileitem{повторять шаг 2 до получения окончательного результата} +\end{scnrelfromset} +\scntext{описание процесса решения задач}{ +Этот процесс решения задачи абстрагируется в виде направленного графа, структура которого в большинстве случаев представляет собой перевернутое дерево и называется деревом рассуждений Ответ пользователя на вопрос на доказательство или на решение задачи представляет собой линейную структуру, состоящую из некоторых шагов решения (то есть известных условий, промежуточных условий или выводов), каждый из которых удовлетворяет строгим отношениям выведения и логическим отношениям, если ответ пользо- вателя полностью правильный. Процесс автоматической проверки ответов пользователя на данный тип тестовых вопросов аналогичен традиционной ручной проверке ответов, то есть проверка того, является ли текущий шаг решения ответа пользователя правильным заключением частичного шага решения, предшествующего этому ша- гу. Это означает, всегда ли шаг решения в ответе пользователя, соответствующий родительскому узлу в дереве рассуждений, располагается после шагов решения в ответе пользователя, соответствующих дочерним узлам +} +\begin{scnrelfromset}{Процесс вычисления подобия между семантическими фрагментами} + \scnfileitem{шаг 1}{нумерация каждого семантического подфрагмента (шага решения) в семантическом фрагменте ответов пользователей} + \scnfileitem{шаг 2}{каждый узел (шаблон поиска) в дереве рассуждений обходится по очереди в соответствии со стратегией DFS. В то же время, соответствующий семантический подфрагмент, включенный в семантический фрагмент ответа пользователя, ищется в базе знаний с использованием шаблона поиска, который обходится в данный момент. Если такой семантический подфрагмент существует, то определить, меньше ли нумерация найденного семантического подфрагмента, чем нумерация семантического подфрагмента, соответствующего шаблону поиска родительского узла текущего шаблона поиска (кроме корневого узла дерева рассуждений), и если да, то найденный семантический подфрагмент считается правильным} + \scnfileitem{шаг 3}{повторять шаг 2, пока не будут обойдены все шаблоны поиска в дереве рассуждений и одновременно подсчитано количество правильных семантических подфрагментов} + \scnfileitem{шаг 4}{использование формул для вычисления точности, полноты и подобия между ответами } +\end{scnrelfromset} + +\begin{scnrelfromset}{Стратегия оценки субъективных вопросов} + \scnfileitem{если подобие между ответами равно 1, то ответ пользователя полностью правильный и пользователь получает максимальный балл} + \scnfileitem{если подобие между ответами меньше 1 и точность равна 1, то ответ пользователя правильный, но неполный, и оценка пользователя равна} + \scnfileitem{если подобие между ответами больше 0 и меньше 1, а точность меньше 1, то ответ пользователя является частично правильным и оценка пользователя равна} + \scnfileitem{если подобие между ответами равно 0, то ответ пользователя является неправильным и оценка пользователя равна 0} +\end{scnrelfromset} + +\begin{scnrelfromset}{преимущества предлагаемого подхода} + \scnfileitem{проверка правильности и полноты ответов пользователя на основе семантики} + \scnfileitem{можно проверить правильность и полноту ответов пользователя на любые типы тестовых вопросов и определить логическую эквивалентность между ответами} + \scnfileitem{позволяет вычислять подобие между любыми двумя семантическими фрагментами в базе знаний} + \scnfileitem{предложенный подход может быть использован в различных ostis-системах} +\end{scnrelfromset} +\end{small} +\end{SCn} + + + + + + + + + + + + +\section{Семантическая модель базы знаний подсистемы контроля знаний} + + +\scntext{примечание}{База знаний подсистемы в основном используется для хранения автоматически сгенерированных тестовых вопросов различных типов, а также позволяет автоматически извлекать ряд тестовых вопросов и формировать экзаменационные билеты в соответствии с требованиями пользователя. Поэтому для повышения эффективности доступа к базе знаний подсистемы и эффективности извлечения тестовых вопросов в данном параграфе предлагается подход к построению базы знаний подсистемы в соответствии с типом тестовых вопросов и стратегией генерации тестовых вопросов. Основой базы знаний любой ostis-системы (точнее, sc-моделью базы знаний) является иерархическая система предметных областей и соответствующих им онтологий (см. Голенков В.В..ПроекОСТКПИСЧ2-2014ст; Шункевич Д.В..МетодКПСУЗ-2013ст; МетасOSTIS-2022эл ). +Далее рассмотрим иерархию базы знаний подсистемы в SCn-коде} + + + +\scnheader{Раздел. Предметная область тестовых вопросов} + + +\begin{scnrelfromset}{декомпозиция раздела} +\scnfileitem{Раздел. Предметная область субъективных вопросов + +\begin{scnrelfromset}{декомпозиция раздела} +\scnfileitem{Раздел. Предметная область вопроса на толкование определений} +\scnfileitem{Раздел. Предметная область вопроса на доказательство} +\scnfileitem{Раздел. Предметная область решения задачи} +\end{scnrelfromset} +} + + +\scnfileitem{Раздел. Предметная область объективных вопросов + + +\begin{scnrelfromset}{декомпозиция раздела} +\scnfileitem{Раздел. Предметная область вопроса на выбор} +\scnfileitem{Раздел. Предметная область вопроса на заполнение пробелов} +\scnfileitem{Раздел. Предметная область вопроса суждения} +\end{scnrelfromset} +} +\end{scnrelfromset} + + +\scntext{примечание}{В качестве примера рассмотрим структурную спецификацию в SCn-коде предметной области объектных вопросов} + + + +\scnheader{Раздел. Предметная область объективных вопросов} + +\scniselement {предметная область} +\scnhaselementrole{максимальный класс объектов исследования} +{объективный вопрос} + +\begin{scnhaselementrolelist}{немаксимальный класс объектов исследования} +\scnfileitem{вопрос на выбор} +\scnfileitem{вопрос на заполнение пробелов} +\scnfileitem{вопрос суждения} +\end{scnhaselementrolelist} + + +\scntext{примечание}{Объективные типы тестовых вопросов могут быть разложены на более конкретные типы в соответствии с их характеристиками и соответствующими стратегиями генерации тестовых вопросов. Рассмотрим пример семантической спецификации в SCn-коде на основе вопроса на выбор:} + + + +\scnheader{вопрос на выбор} + +\scniselementrole {максимальный класс объектов исследования} +{Предметная область вопроса на выбор} + + +\begin{scnrelfromset}{разбиение} +\scnfileitem{вопрос на выбор на основе свойств отношений} +\scnfileitem{вопрос на выбор на основе идентификаторов} +\scnfileitem{вопрос на выбор на основе примеров изображения} +\scnfileitem{вопрос на выбор на основе аксиом} + +\scnfileitem{вопрос на выбор на основе элементов +\begin{scnrelfromset}{разбиение} +\scnfileitem{вопрос на выбор на основе бинарного отношения} +\scnfileitem{вопрос на выбор на основе ролевого отношения} +\end{scnrelfromset} +} + +\scnfileitem{вопрос на выбор на основе классов +\begin{scnrelfromset}{разбиение} +\scnfileitem{ вопрос на выбор на основе отношения разбиения} +\scnfileitem{ вопрос на выбор на основе отношения строгого включения} +\scnfileitem{вопрос на выбор на основе отношения включения} +\end{scnrelfromset} +} +\end{scnrelfromset} + + +\begin{scnrelfromset}{разбиение} +\scnfileitem{вопрос на выбор с несколькими вариантами ответа} +\scnfileitem{вопрос на выбор с одним вариантом ответа} +\end{scnrelfromset} + +\begin{scnrelfromset}{разбиение} +\scnfileitem{ выбор неправильного варианта} +\scnfileitem{ выбор правильного варианта} +\end{scnrelfromset} + + + + + +\section{Семантическая модель решателя задач подсистемы контроля знаний} + + +\scnkeyword{ Решатель задач ostis-системы} + +\scnidtf{ sc-модель решателя задач ostis-системы} +\scnidtf{иерархическая система sc-агентов обработки знаний в семантической памяти (sc-агенты), которые взаимодействуют только путем указания действий, выполняемых ими в указанной памяти (см. Голенков В.В..ПроекОСТКПИСЧ2- 2014ст).} + + +\scntext{примечание}{Для решения соответствующих задач в данном параграфе приведена реализация решателя задач для автоматической генерации тестовых вопросов и автоматической проверки ответов пользователей, иерархия которого представлена следующим образом в SCn-коде:} + + +\scnkeyword{Решатель задач для автоматической генерации тестовых вопросов и автоматической проверки ответов пользователей} + +\begin{scnrelfromset}{декомпозиция абстрактного sc-агента} +\scnfileitem{ Абстрактный sc-агент для автоматической генерации тестовых вопросов +\begin{scnrelfromset}{декомпозиция абстрактного sc-агента} +\scnfileitem{Абстрактный sc-агент для быстрой генерации тестовых вопросов и экзаменационных билетов} +\scnfileitem{Абстрактный sc-агент для генерации тестовых вопросов одного типа} +\scnfileitem{Абстрактный sc-агент для генерации единого экзаменационного билета} +\end{scnrelfromset} +} +\scnfileitem{ Абстрактный sc-агент для автоматической проверки ответов пользователей +\begin{scnrelfromset}{декомпозиция абстрактного sc-агента} +\scnfileitem{Абстрактный sc-агент для автоматической оценки экзаменационных билетов} +\scnfileitem{Абстрактный sc-агент для вычисления подобия между ответами на объективные вопросы} +\scnfileitem{Абстрактный sc-агент для оценки логической эквивалентности между семантическими фрагментами, описанными на основе фактических знаний} +\scnfileitem{Абстрактный sc-агент для вычисления подобия между ответами на вопросы на толкование определений} +\scnfileitem{Абстрактный sc-агент для преобразования логической формулы в п.н.ф.} +\scnfileitem{Абстрактный sc-агент для вычисления подобия между ответами на решение задачи и на вопросы на доказательство} +\end{scnrelfromset} +} +\end{scnrelfromset} + + +\scntext{примечание}{Основная функция абстрактного sc-агента для быстрой генерации тестовых вопросов и экзаменационных билетов заключается в автоматизации всего процесса от генерации тестовых вопросов до генерации экзаменационных билетов путем инициирования соответствующих sc-агентов (абстрактный sc-агент для генерации тестовых вопросов одного типа и абстрактный sc-агент для генерации единого экзаменационного билета). Основной функцией абстрактного sc-агента для генерации тестовых вопросов одного типа является автоматическая генерация ряда тестовых вопросов из базы знаний с использованием логических правил, построенных на основе SC-кода (см. МетасOSTIS-2022эл). Логические правила для генерации тестовых вопросов построены строго в соответствии со стратегиями генерации тестовых вопросов, описанными ранее.} + +\scnkeyword{SCg-текст. Пример логического правила для генерации вопроса на выбор} + + +%\scneqimage{images/rule_generating_question.png} + + +\scntext{Основная функция абстрактного sc-агента для автоматической оценки экзаменационных билетов} {реализация автоматической проверки ответов пользователей на различные типы тестовых вопросов и автоматической оценки экзаменационных билетов путем инициирования абстрактных sc-агентов. + + +\begin{scnrelfromset}{цель инициирования абстрактных sc-агентов} +\scnfileitem{вычисление подобия между ответами пользователей} +\scnfileitem{оценка логической эквивалентности между семантическими фрагментами, описанными на основе фактических знаний} +\scnfileitem{преобразование логической формулы в п.н.ф.} +\end{scnrelfromset} +} + + + + diff --git a/scn-latex-plugin b/scn-latex-plugin new file mode 160000 index 00000000..cf059190 --- /dev/null +++ b/scn-latex-plugin @@ -0,0 +1 @@ +Subproject commit cf05919090cad89adeb7b1348393566be18c0ebe