MachineLearning.RU Home Publications Teaching ChartLib Links Pictures   Русский

Konstantin Vorontsov publications

This is a little part of publications that have been translated from Russian.
The main list is here.
 

[1] Vorontsov K. V.
Preliminary data processing for a special class of recognition problems // Comp. Maths Math. Phys. — 1995. — Vol. 35, no. 10. — Pp. 1259–1267.
www.ccas.ru/frc/papers/voron95jvm-eng.pdf
The English version of [9].
[2] Vorontsov K. V.
The task-oriented optimization of bases in recognition problems // Comp. Maths Math. Phys. — 1998. — Vol. 38, no. 5. — Pp. 838–847.
www.ccas.ru/frc/papers/voron98jvm-eng.pdf
The English version of [10].
[3] Rudakov K. V., Vorontsov K. V.
Methods of optimization and monotone correction in the algebraic approach to the recognition problem // Doklady Mathematics. — 1999. — Vol. 60, no. 1. — P. 139.
The English version of [11].
[4] Vorontsov K. V.
Optimization methods for linear and monotone correction in the algebraic approach to the recognition problem // Comp. Maths Math. Phys. — 2000. — Vol. 40, no. 1. — Pp. 159–168.
The English version of [12]. An optimization method for constructing correct algorithms based on the algebraic approach to the recognition problem is described. An application of the method is considered in classification problems and regression estimation in the cases of linear and monotone correction operations. Methods are proposed for solving the optimization problems stated earlier by the author.
[5] Vorontsov K. V.
Combinatorial substantiation of learning algorithms // Comp. Maths Math. Phys. — 2004. — Vol. 44, no. 11. — Pp. 1997–2009.
www.ccas.ru/frc/papers/voron04jvm-eng.pdf
The English version of [13].
[6] Vorontsov K. V.
Combinatorial bounds for learning performance // Doklady Mathematics. — 2004. — Vol. 69, no. 1. — Pp. 145√–148.
www.ccas.ru/frc/papers/voron04qualdan-eng.pdf
The English version of [14].
[7] Kanevskiy D. Y., Vorontsov K. V.
Cooperative coevolutionary ensemble learning // Multiple Classifier Systems: 7th International Workshop, Prague, Czech Republic, May 23-25, 2007. — Lecture Notes in Computer Science. Springer-Verlag, 2007. — Pp. 469–478.
www.ccas.ru/frc/papers/kanevskiy07ccel.pdf
[8] Vorontsov K. V.
Combinatorial probability and the tightness of generalization bounds // Pattern Recognition and Image Analysis. — 2008. — Vol. 18, no. 2. — Pp. 243–259.
www.springerlink.com/content/78537p01838123u7/
The English version of [15]. Accurate prediction of the generalization ability of a learning algorithm is an important problem in computational learning theory. The classical Vapnik-Chervonenkis (VC) generalization bounds are too general and therefore overestimate the expected error. Recently obtained data-dependent bounds are still overestimated. To find out why the bounds are loose, we reject the uniform convergence principle and apply a purely combinatorial approach that is free of any probabilistic assumptions, makes no approximations, and provides an empirical control of looseness. We introduce new data-dependent complexity measures: a local shatter coefficient and a nonscalar local shatter profile, which can give much tighter bounds than the classical VC shatter coefficient. An experiment on real datasets shows that the effective local measures may take very small values; thus, the effective local VC dimension takes values in [0,1] and therefore is not related to the dimension of the space.
[9] Воронцов К. В.
Предварительная обработка данных для решения специального класса задач распознавания // ЖВМ и МФ. — 1995. — Т. 35, N° 10. — С. 1565–1575.
www.ccas.ru/frc/papers/voron95jvm.pdf
Рассматриваются алгоритмы предварительной обработки данных для прикладной задачи, описанной в [16].
[10] Воронцов К. В.
О проблемно-ориентированной оптимизации базисов задач распознавания // ЖВМ и МФ. — 1998. — Т. 38, N° 5. — С. 870–880.
www.ccas.ru/frc/papers/voron98jvm.pdf
Предлагается оптимизационный метод построения алгоритмических композиций, основанный на алгебраическом подходе к проблеме распознавания. На каждом шаге метода в композицию добавляется один алгоритм, который настраивается по обучающей выборке совместно с корректирующей операцией. Подробно рассматривается случай монотонных корректирующих операций, для него доказывается сходимость метода. Вводится функционал качества алгоритма, равный числу дефектных пар обучающих объектов на заданной выборке. Описываются алгоритмы монотонизации выборки, необходимые для построения монотонной корректирующей операции.
[11] Рудаков К. В., Воронцов К. В.
О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания // Докл. РАН. — 1999. — Т. 367, N° 3. — С. 314–317.
www.ccas.ru/frc/papers/rudvoron99dan.pdf
Предлагается оптимизационный метод построения алгоритмических композиций, основанный на алгебраическом подходе к проблеме распознавания. Для построения композиции решается последовательность оптимизационных задач. На каждом шаге метода в композицию добавляется один алгоритм и перенастраивается корректирующая операция. Подробно рассматривается случай монотонных корректирующих операций. Описываются эффективные алгоритмы построения нелинейных монотонных корректирующих операций для задач распознавания и восстановления регрессии. Более подробное изложение и доказательства см. в [10, 12].
[12] Воронцов К. В.
Оптимизационные методы линейной и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ЖВМ и МФ. — 2000. — Т. 40, N° 1. — С. 166–176.
www.ccas.ru/frc/papers/voron00jvm.pdf
Рассматривается оптимизационный метод построения алгоритмических композиций, основанный на алгебраическом подходе к проблеме распознавания. На каждом шаге метода в композицию добавляется один алгоритм, который настраивается по обучающей выборке совместно с корректирующей операцией. Предлагаются формулы пересчета весов и ответов на обучающих объектах, с помощью которых данная оптимизационная задача сводится к стандартной. Настройка алгоритма преследует две цели одновременно: аппроксимировать обучающую выборку и компенсировать совокупный дефект предыдущих алгоритмов. Вводится специальный параметр, позволяющий на каждом шаге перераспределять приоритет между этими двумя целями. Рассматриваются модификации метода, предназначенные для решения задач классификации и восстановления регрессии с использованием линейных и монотонных корректирующих операций.
[13] Воронцов К. В.
Комбинаторные обоснования обучаемых алгоритмов // ЖВМиМФ. — 2004. — Т. 44, N° 11. — С. 2099–2112.
www.ccas.ru/frc/papers/voron04jvm.pdf
Рассматриваются комбинаторные функционалы качества обучения по прецедентам, основанные на принципе скользящего контроля. Выводятся их верхние оценки, более точные, чем оценки статистической теории Вапника-Червоненкиса, и при этом не предполагающие случайности и независимости исходных данных. Описывается эффект локализации семейства алгоритмов и вводится понятие локальной функции роста. С позиций комбинаторного подхода пересматриваются основные положения статистической теории. Анализируются основные причины завышенности сложностных оценок качества.
[14] Воронцов К. В.
Комбинаторные оценки качества обучения по прецедентам // Докл. РАН. — 2004. — Т. 394, N° 2. — С. 175–178.
www.ccas.ru/frc/papers/voron04qualdan.pdf
Рассматриваются функционалы скользящего контроля, характеризующие качество обучения алгоритмов по прецедентным эмпирическим данным. Приводятся верхние оценки этих функционалов, полученные без предположения случайности и независимости исходных данных. Описывается эффект локализации семейства алгоритмов и вводится понятие локальной функции роста. Рассматриваются основные причины завышенности известных вероятностных оценок качества. Развивается подход к оцениванию качества обучения, основанный на явном использовании априорной информации и не опирающийся на сложностные характеристики алгоритмов. Для задач классификации с универсальными ограничениями монотонности получены новые оценки качества, существенно более точные на малых выборках.
[15] Воронцов К. В.
Комбинаторная вероятность и точность оценок обобщающей способности (оригинал статьи на русском языке) // Pattern Recognition and Image Analysis. — 2008.
www.ccas.ru/frc/papers/voron08pria.pdf
Вводится слабая вероятностная аксиоматика, не опирающаяся на теорию меры, в которой все вероятности непосредственно измеримы в эксперименте. Она полностью согласуется с сильной (колмогоровской) аксиоматикой, но область ее применимости ограничена задачами анализа данных. В рамках слабой аксиоматики рассматривается широкий класс задач эмпирического предсказания, включающий задачу предсказания частоты события (закон больших чисел) и задачу оценивания обобщающей способности (теория Вапника–Червоненкиса, ТВЧ). В слабой вероятностной аксиоматике оценки обобщающей способности выводятся для функционалов, построенных по принципу полного скользящего контроля. Это упрощает эмпирический анализ теоретических оценок, позволяет контролировать точность оценок, разделять и анализировать причины их завышенности. Предлагается эмпирическая методика для измерения степени завышенности, обусловленной каждой из причин. Теория обобщается для случая логических закономерностей, рассматривается алгоритм поиска закономерностей в виде информативных конъюнкций. Приводятся результаты эмпирического измерения завышенности оценок ТВЧ для набора реальных задач классификации из репозитория UCI. Оказывается, что в реальных задачах эффективная локальная емкость не превышает единицу.
[16] Воронцов К. В., Кобзева Н. В.
Численные методы обработки данных для высокоэффективной жидкостной хроматографии // Информационные проблемы клинической токсикологии. — Москва, 1993.
www.ccas.ru/frc/papers/voron93remedi.pdf
Рассматривается алгоритм идентификации лекарственных препаратов в биосредах организма по данным жидкостной хроматографии. Алгоритм основан на матричном подходе к обработке числовых данных, поступающих со сканирующего ультрафиолетового детектора. Более полное использование первичных данных в совокупности с математическим моделированием формы хроматографических пиков позволяет существенно улучшить качество идентификации. Алгоритм позволяет корректно выделять спектры веществ, отсутствующих в базе данных системы, эффективно (в сотни раз) сжимать ранее полученные хроматограммы практически без потери точности представления данных, ускорить самообучение системы, повысить чувствительность прибора при предельно низких концентрациях. Все предлагаемые модификации относятся к программному обеспечению и не затрагивают аппаратной части хроматографической установки.