%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%    БИБЛИОГРАФИЯ ПО ТЕОРИИ ОБУЧАЕМЫХ СИСТЕМ (MACHINE LEARNING THEORY)   %%%
%%%    Составил:     К.В.Воронцов, ВЦ РАН, Москва, 2003                    %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%                                                                        %%%
%%%    Для обработки данной библиографической базы требуется               %%%
%%%    один из следующих стилевых файлов:                                  %%%
%%%         gost71sv.bst                                                   %%%
%%%         gost71uv.bst                                                   %%%
%%%         gost780sv.bst                                                  %%%
%%%         gost780uv.bst                                                  %%%
%%%    Их можно найти по адресу http://www.ccas.ru/frc/bibtex.html         %%%
%%%                                                                        %%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%


@bibsection{zhuravlev,
    title = "Алгебраический подход к проблеме распознавания
        (Algebraic Approach to Machine Learning)"
}

@article{zhuravlev76extremal,
    author = "Журавлёв, Ю. И.",
    title = "Экстремальные алгоритмы в математических моделях для задач распознавания и классификации",
    journal = "Доклады АН СССР. Математика.",
    volume = "231",
    number = "3",
    year = "1976",
    language = "russian"
}

@article{zhuravlev78prob33,
    author = "Журавлёв, Ю. И.",
    title = "Об алгебраическом подходе к решению задач распознавания или классификации",
    journal = "Проблемы кибернетики",
    year = "1978",
    volume = "33",
    pages = "5--68",
    language = "russian",
    annote = "Основополагающая работа по~алгебраическому подходу к~проблеме распознавания.
        Проводится анализ существующих моделей алгоритмов.
        Предлагается универсальная схема построения алгоритмов распознавания
        в~виде суперпозиций алгоритмических операторов,
        корректирующих операций и~решающих правил.
        Построение корректных алгоритмов указанного вида предлагается вести
        алгебраическими методами~---
        путём синтеза базиса в~алгебраическом замыкании модели алгоритмов
        и~поиска алгоритма в~виде разложения по~базису.
        Такой подход позволяет отказаться от~использования трудоёмких
        оптимизационных процедур и~обеспечить корректность алгоритма <<по~построению>>.
        Вводятся понятия разрешимости и~регулярности задач распознавания
        и~полноты моделей алгоритмов.
        Доказывается полнота некоторых алгебраических замыканий. "
}

@article{zhuravlev78prob33-eng,
    author = "Zhuravlev, Ju. I.",
    title = "An Algebraic Approach to Recognition or Classifications Problems",
    journal = "Pattern Recognition and Image Analysis",
    year = "1998",
    volume = "8",
    number = "1",
    pages = "59--100",
    url = "www.ccas.ru/frc/papers/zhuravlev78prob33-eng.pdf",
    annote = "The English version of~\cite{zhuravlev78prob33}."
}

@article{zhuravlev77correct1,
    author = "Журавлёв, Ю. И.",
    title = "Корректные алгебры над множествами некорректных (эвристических) алгоритмов.
        {Часть~I}",
    journal = "Кибернетика",
    publisher = "Киев",
    year = "1977",
    number = "4",
    pages = "5--17",
    language = "russian"
}

@article{zhuravlev77correct2,
    author = "Журавлёв, Ю. И.",
    title = "Корректные алгебры над множествами некорректных (эвристических) алгоритмов.
        {Часть~II}",
    journal = "Кибернетика",
    publisher = "Киев",
    year = "1977",
    number = "6",
    pages = "21--27",
    language = "russian"
}

@article{zhuravlev78correct3,
    author = "Журавлёв, Ю. И.",
    title = "Корректные алгебры над множествами некорректных (эвристических) алгоритмов.
        {Часть~III}",
    journal = "Кибернетика",
    publisher = "Киев",
    year = "1978",
    number = "2",
    pages = "35--43",
    language = "russian"
}

@article{zhuravlev88rkp,
    author = "Журавлёв, Ю. И.",
    title = "Об алгебраических методах в~задачах распознавания и~классификации",
    journal = "Распознавание, классификация, прогноз",
    volume = "1",
    year = "1988",
    pages = "9--16",
    language = "russian",
    url = "www.ccas.ru/frc/papers/zhuravlev88rkp.pdf"
}

@article{zhuravlev89gurevich,
    author = "Журавлёв, Ю. И. and Гуревич, И. Б.",
    title = "Распознавание образов и распознавание изображений",
    journal = "Распознавание, классификация, прогноз",
    volume = "2",
    year = "1989",
    pages = "5--73",
    language = "russian",
    url = "www.ccas.ru/frc/papers/zhuravlev89gurevich.pdf"
}

@article{ryazanov90voting,
    author = "Рязанов, В. В. and Сенько, О. В.",
    title = "О некоторых моделях голосования и методах их оптимизации",
    journal = "Распознавание, классификация, прогноз",
    volume = "3",
    year = "1990",
    pages = "106--145",
    language = "russian"
}

@article{zhuravlev91gurevich-eng,
    author = "Zhuravlev, Ju. I. and Gurevich, I. B.",
    title = "Pattern Recognition and Image Recognition",
    journal = "Pattern Recognition and Image Analysis",
    year = "1991",
    volume = "1",
    number = "2",
    url = "www.ccas.ru/frc/papers/zhuravlev91gurevich-eng.pdf"
}

@article{zhuravlev90pria-eng,
    author = "Zhuravlev, Ju. I.",
    title = "Algebraic Methods in Recognition and Classification Problems",
    journal = "Pattern Recognition and Image Analysis",
    year = "1991",
    volume = "1",
    number = "1",
    url = "www.ccas.ru/frc/papers/zhuravlev90pria-eng.pdf"
}

@article{zhuravlev99pria-eng,
    author = "Zhuravlev, Ju. I.",
    title = "Algebraic Methods for Designing Algorithms for Pattern Recognition and Forecasting",
    journal = "Pattern Recognition and Image Analysis",
    year = "1999",
    volume = "9",
    number = "4",
    pages = "790-791",
    url = "www.ccas.ru/frc/papers/zhuravlev99pria-eng.pdf"
}

@article{rudakov76dan,
    author = "Рудаков, К. В.",
    title = "О числе гиперплоскостей, разделяющих конечные множества в евклидовом пространстве",
    journal = "ДАН СССР",
    volume = "231",
    number = "6",
    year = "1976",
    pages = "1296--1299",
    language = "russian"
}

@article{rudakov80correct,
    author = "Рудаков, К. В.",
    title = "О корректности алгоритмов распознавания типа потенциальных функций",
    journal = "ЖВМиМФ",
    year = "1980",
    volume = "20",
    number = "3",
    pages = "738--744",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov80correct.pdf"
}

@article{rudakov86universal,
    author = "Рудаков, К. В.",
    title = "О некоторых универсальных ограничениях для алгоритмов классификации",
    journal = "ЖВМиМФ",
    year = "1986",
    volume = "26",
    number = "11",
    pages = "1719--1730",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov86universal.pdf"
}

@article{rudakov87dan,
    author = "Рудаков, К. В.",
    title = "О симметрических и функциональных ограничениях для алгоритмов классификации",
    journal = "ДАН СССР",
    year = "1987",
    volume = "297",
    number = "1",
    pages = "43--46",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov87dan.pdf"
}

@article{rudakov87dan-eng,
    author = "Rudakov, K. V.",
    title = "On Symmetric and Functional Restrictions for Classification Algorithms",
    journal = "Soviet Math. Dokl.",
    year = "1988",
    volume = "36",
    number = "3",
    pages = "428--431",
    url = "www.ccas.ru/frc/papers/rudakov87dan-eng.pdf",
    annote = "The English version of \cite{rudakov87dan}"
}

@article{rudakov87universal,
    author = "Рудаков, К. В.",
    title = "Универсальные и локальные ограничения
        в проблеме коррекции эвристических алгоритмов",
    journal = "Кибернетика",
    year = "1987",
    number = "2",
    pages = "30--35",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov87universal.pdf"
}

@article{rudakov87polnota,
    author = "Рудаков, К. В.",
    title = "Полнота и универсальные ограничения
        в проблеме коррекции эвристических алгоритмов классификации",
    journal = "Кибернетика",
    year = "1987",
    number = "3",
    pages = "106--109",
    language = "russian"
}

@article{rudakov87symmetr,
    author = "Рудаков, К. В.",
    title = "Симметрические и функциональные ограничения
        в проблеме коррекции эвристических алгоритмов классификации",
    journal = "Кибернетика",
    year = "1987",
    number = "4",
    pages = "73--77",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov87symmetr.pdf"
}

@article{rudakov88universal,
    author = "Рудаков, К. В.",
    title = "О применении универсальных ограничений при исследовании алгоритмов классификации",
    journal = "Кибернетика",
    year = "1988",
    number = "1",
    pages = "1--5",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov88universal.pdf"
}

@article{zhurrud87correct,
    author = "Журавлёв, Ю. И. and Рудаков, К. В.",
    title = "Об алгебраической коррекции процедур обработки (преобразования) информации",
    journal = "Проблемы прикладной математики и информатики",
    publisher = "М.: Наука",
    year = "1987",
    pages = "187--198",
    language = "russian",
    url = "www.ccas.ru/frc/papers/zhurrud87correct.pdf"
}

@article{rudakov88trofim,
    author = "Рудаков, К. В. and Трофимов, С. В.",
    title = "Алгоритм синтеза корректных процедур распознавания
        для задач с~непересекающимися классами",
    journal = "ЖВМиМФ",
    year = "1988",
    volume = "28",
    number = "9",
    pages = "1431--1434",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov88trofim.pdf"
}

@article{rudakov88rkp,
    author = "Рудаков, К. В.",
    title = "Об алгебраической теории универсальных и~локальных ограничений
        для задач классификации",
    journal = "Распознавание, Классификация, Прогноз",
    volume = "1",
    year = "1988",
    pages = "176--200",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov88rkp.pdf"
}

@article{rudvoron99dan,
    author = "Рудаков, К. В. and Воронцов, К. В. ",
    title = "О методах оптимизации и монотонной коррекции
        в~алгебраическом подходе к~проблеме распознавания",
    journal = "Докл. РАН",
    year = "1999",
    volume = "367",
    number = "3",
    pages = "314-317",
    language = "russian",
    annote = "Предлагается оптимизационный метод построения алгоритмических композиций,
        основанный на~алгебраическом подходе к~проблеме распознавания.
        Для построения композиции решается последовательность оптимизационных задач.
        На~каждом шаге метода в~композицию добавляется один алгоритм
        и~перенастраивается корректирующая операция.
        Подробно рассматривается случай монотонных корректирующих операций.
        Описываются эффективные алгоритмы построения нелинейных монотонных
        корректирующих операций для~задач распознавания и~восстановления регрессии.
        Более подробное изложение и~доказательства см.~в~\cite{voron98jvm,voron00jvm}.",
    url = "www.ccas.ru/frc/papers/rudvoron99dan.pdf"
}

@article{rudvoron99dan-eng,
    author = "K. V. Rudakov and K. V. Vorontsov",
    title = "Methods of Optimization and Monotone Correction
        in the Algebraic Approach to the Recognition Problem",
    journal = "Doklady Mathematics",
    year = "1999",
    volume = "60",
    number = "1",
    pages = "139",
    annote = "The English version of~\cite{rudvoron99dan}."
}

@article{voron98jvm,
    author = "Воронцов, К. В.",
    title = "О проблемно-ориентированной оптимизации базисов задач распознавания",
    journal = "ЖВМ и МФ",
    year = "1998",
    volume = "38",
    number = "5",
    pages = "870-880",
    language = "russian",
    annote = "Предлагается оптимизационный метод построения
        алгоритмических композиций,
        основанный на~алгебраическом подходе к~проблеме распознавания.
        На~каждом шаге метода в~композицию добавляется один алгоритм,
        который настраивается по~обучающей выборке
        совместно с~корректирующей операцией.
        Подробно рассматривается случай монотонных корректирующих операций,
        для него доказывается сходимость метода.
        Вводится функционал качества алгоритма, равный
        числу дефектных пар обучающих объектов на~заданной выборке.
        Описываются алгоритмы монотонизации выборки,
        необходимые для построения монотонной корректирующей операции.",
    url = "www.ccas.ru/frc/papers/voron98jvm.pdf"
}

@article{voron98jvm-eng,
    author = "Vorontsov, K. V.",
    title = "The Task-Oriented Optimization of Bases in Recognition Problems",
    journal = "Comp. Maths Math. Phys.",
    year = "1998",
    volume = "38",
    number = "5",
    pages = "838-847",
    url = "www.ccas.ru/frc/papers/voron98jvm-eng.pdf",
    annote = "The English version of \cite{voron98jvm}"
}

@article{voron00jvm,
    author = "Воронцов, К. В.",
    title = "Оптимизационные методы линейной и~монотонной коррекции
        в~алгебраическом подходе к~проблеме распознавания",
    journal = "ЖВМ и МФ",
    year = "2000",
    volume = "40",
    number = "1",
    pages = "166-176",
    language = "russian",
    annote = "Рассматривается оптимизационный метод построения алгоритмических композиций,
        основанный на~алгебраическом подходе к~проблеме распознавания.
        На~каждом шаге метода в~композицию добавляется один алгоритм,
        который настраивается по~обучающей выборке
        совместно с~корректирующей операцией.
        Предлагаются формулы пересчета весов и~ответов на~обучающих объектах,
        с~помощью которых данная оптимизационная задача сводится к~стандартной.
        Настройка алгоритма преследует две цели одновременно:
        аппроксимировать обучающую выборку
        и~компенсировать совокупный дефект предыдущих алгоритмов.
        Вводится специальный параметр, позволяющий на~каждом шаге
        перераспределять приоритет между этими двумя целями.
        Рассматриваются модификации метода, предназначенные
        для решения задач классификации и~восстановления регрессии
        с~использованием линейных и~монотонных корректирующих операций.",
    url = "www.ccas.ru/frc/papers/voron00jvm.pdf"
}

@article{rudakov03chehovich,
    author = "Рудаков, К. В. and Чехович, Ю. В.",
    title = "Алгебраический подход к проблеме синтеза
        обучаемых алгоритмов выделения трендов",
    journal = "Доклады РАН",
    year = "2003",
    volume = "388",
    number = "1",
    pages = "33--36",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov03chehovich.pdf"
}

@article{rudakov03chehovich-eng,
    author = "Rudakov, K. V. and Chehovich, Ju. V.",
    title = "Algebraic Approach to the Problem of Synthesis
        of Trainable Algorithms for Trend Revealing",
    journal = "Doklady Mathematics",
    year = "2003",
    volume = "67",
    number = "1",
    pages = "127--130",
    url = "www.ccas.ru/frc/papers/rudakov03chehovich-eng.pdf",
    annote = "The English version of \cite{rudakov03chehovich}"
}

@article{rudakov04chehovich-dan1,
    author = "Рудаков, К. В. and Чехович, Ю. В.",
    title = "Критерии полноты моделей алгоритмов и семейств решающих правил
        для задач классификации с теоретико-множественными ограничениями",
    journal = "Доклады РАН",
    year = "2004",
    volume = "394",
    number = "4",
    pages = "?",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov04chehovich-dan1.pdf",
    annote = "
        В контексте алгебраического подхода к~синтезу корректных алгоритмов
        распознавания образов, классификации и прогнозирования
        рассматривается класс задач, характеризующийся наличием
        явным образом заданных теоретико-множественных ограничений
        на~множество допустимых ответов алгоритма."
}

@article{rudakov04chehovich-dan1-eng,
    author = "Rudakov, K. V. and Chehovich, Ju. V.",
    title = "Completeness Criteria for Models of Algorithms and Decision Rule Classes
        in Classification Problem with Set-Theoretic Constraints",
    journal = "Doklady Mathematics",
    year = "2004",
    volume = "69",
    number = "1",
    pages = "149--151",
    url = "www.ccas.ru/frc/papers/rudakov04chehovich-dan1-eng.pdf",
    annote = "The English version of \cite{rudakov04chehovich-dan1}"
}

@misc{rudakov92doctor,
    author = "Рудаков, К. В.",
    title = "Алгебраическая теория универсальных
          и локальных ограничений для алгоритмов распознавания",
    howpublished = "Диссертация на~соискание учёной степени д.ф.-м.н., М.:~ВЦ~РАН",
    year = "1992",
    language = "russian",
    url = "www.ccas.ru/frc/thesis/RudakovDocDisser.pdf"
}

@misc{rudakov92auto,
    author = "Рудаков, К. В.",
    title = "Алгебраическая теория универсальных
          и локальных ограничений для алгоритмов распознавания",
    howpublished = "Автореферат диссертации на~соискание учёной степени д.ф.-м.н., М.:~ВЦ~РАН",
    year = "1992",
    language = "russian",
    url = "www.ccas.ru/frc/thesis/RudakovDocAutoref.pdf"
}

@misc{voron99cand,
    author = "Воронцов, К. В.",
    title = "Локальные базисы в алгебраическом подходе к проблеме распознавания",
    howpublished = "Диссертация на~соискание учёной степени к.ф.-м.н., М.:~ВЦ~РАН",
    year = "1999",
    language = "russian",
    url = "www.ccas.ru/frc/thesis/VoronCanDisser.pdf"
}

@misc{voron99auto,
    author = "Воронцов, К. В.",
    title = "Локальные базисы в алгебраическом подходе к проблеме распознавания",
    howpublished = "Автореферат диссертации на~соискание учёной степени к.ф.-м.н., М.:~ВЦ~РАН",
    year = "1999",
    language = "russian",
    url = "www.ccas.ru/frc/thesis/VoronCanAutoref.pdf"
}

@misc{chehovich04cand,
    author = "Чехович, Ю. В.",
    title = "Элементы алгебраической теории синтеза обучаемых алгоритмов выделения трендов",
    howpublished = "Диссертация на~соискание учёной степени к.ф.-м.н., М.:~ВЦ~РАН",
    year = "2003",
    language = "russian",
    url = "www.ccas.ru/frc/thesis/ChehovichCanDisser.pdf"
}

@misc{voron02po4,
    author = "Воронцов, К. В.",
    title = "Проблемно-ориентированные методы алгебраического подхода",
    year = "2002",
    language = "russian",
    annote = "Конспект 4~лекций, прочитанных в~2001--2003 г.г.
        на~кафедре Математических методов прогнозирования ВМиК~МГУ
        в~дополнение к~курсу К.~В.~Рудакова
        <<Математические методы классификации и~прогнозирования>>",
    url = "www.ccas.ru/frc/papers/voron02po4.pdf"
}

@article{shibzukhov04dan-eng,
    author = "Shibzukhov, Z. M.",
    title = "Correct Sigma-Pi Extensions of One Admissible Class of Algorithms",
    journal = "Doklady Mathematics",
    year = "2004",
    volume = "69",
    number = "1",
    pages = "152--154",
    url = "www.ccas.ru/frc/papers/shibzukhov04dan-eng.pdf"
}

@bibsection{ruleinduction,
    title = "Логические алгоритмы классификации
        (Rule Induction)"
}

@incollection{vainzvaig73kora,
    author = "Вайнцвайг, М. Н.",
    title = "Алгоритм обучения распознаванию образов <<Кора>>",
    booktitle = "Алгоритмы обучения распознаванию образов",
    editor = "Вапник, В. Н.",
    publisher = "М.: Советское радио",
    pages = "110--116",
    year = "1973",
    language = "russian"
}

@incollection{vainzvaig75voting,
    author = "Полякова, М. П. and Вайнцвайг, М. Н.",
    title = "Об использовании метода <<голосования>> признаков в алгоритмах распознавания",
    booktitle = "Моделирование обучения и поведения",
    publisher = "М.",
    year = "1975",
    pages = "25—28",
    language = "russian"
}

@article{dubner94statistical,
    author = "Dubner, P. N.",
    title = "Statistical tests for feature selection in {KORA} recognition algorithms",
    journal = "Pattern Recognition and Image Analysis",
    year = "1994",
    volume = "4",
    number = "4",
    pages = "396",
}

@article{ryazanov94pria-eng,
    author = "Ryazanov, V. V. ",
    title = "Recognition  Algorithms  Based  on  Local Optimality  Criteria",
    journal = "Pattern Recognition and Image Analysis",
    year = "1994",
    volume = "4",
    number = "2",
    pages = "98-109",
}

@article{djukova96jvm-eng,
    author = "Djukova, E. V. and Zhuravlev, Ju. I. and Rudakov, K. V.",
    title = "Algebraic-Logic Synthesis of Correct Recognition Procedures
        Based on Elementary Algorithms",
    journal = "Computational Mathematics and Mathematical Physics",
    year = "1996",
    volume = "36",
    number = "8",
    pages = "1161--1167",
    url = "www.ccas.ru/frc/papers/djukova96jvm-eng.pdf"
}

@article{djukova97pria-eng,
    author = "Djukova, E. V. and Zhuravlev, Ju. I.",
    title = "Discrete Methods of Information Analysis in Recognition and Algorithms Synthesis",
    journal = "Pattern Recognition and Image Analysis",
    year = "1997",
    volume = "7",
    number = "2",
    pages = "192-207",
    url = "www.ccas.ru/frc/papers/djukova97pria-eng.pdf"
}

@book{djukova01taxon,
    author = "Дюкова, Е. В. and Инякин, А. С.",
    title = "Задача таксономии и тупиковые покрытия целочисленной матрицы",
    publisher = "М.: ВЦ РАН",
    year = "2003",
    numpages = "25",
    language = "russian",
    url = "www.ccas.ru/frc/papers/djukova01taxon.pdf"
}

@article{djukova02pria-eng,
    author = "E. V. Djukova and N. V. Peskov",
    title = "Selection of Typical Objects in Classes for Recognition Problems",
    journal = "Pattern Recognition and Image Analysis",
    year = "2002",
    volume = "12",
    number = "3",
    pages = "243–249",
    url = "www.ccas.ru/frc/papers/djukova02pria-eng.pdf"
}

@article{djukova02poisk,
    author = "Дюкова, Е. В. and Песков, Н. В.",
    title = "Поиск информативных фрагментов описаний объектов в~дискретных процедурах распознавания",
    journal = "ЖВМиМФ",
    volume = "42",
    number = "5",
    year = "2002",
    pages = "741--753",
    language = "russian",
    url = "www.ccas.ru/frc/papers/djukova02poisk.pdf"
}

@article{djukova03pria-eng,
    author = "E. V. Djukova and A. S. Inyakin and N. V. Peskov",
    title = "Methods of Combinatorial Analysis in Synthesis of Efficient Recognition Algorithms",
    journal = "Pattern Recognition and Image Analysis",
    year = "2003",
    volume = "13",
    number = "3",
    pages = "426-432",
    url = "www.ccas.ru/frc/papers/djukova03pria-eng.pdf"
}

@book{djukova03mp,
    author = "Дюкова, Е. В.",
    title = "Дискретные (логические) процедуры распознавания:
        принципы конструирования, сложность реализации и основные модели.",
    note = "Учебное пособие для студентов математических факультетов педвузов.",
    publisher = "М.:~Прометей",
    year = "2003",
    numpages = "29",
    language = "russian",
    annote = "В учебном пособии изложены общие принципы,
        лежащие в основе дискретного подхода к~задачам распознавания,
        центральной проблемой которого является поиск
        информативных фрагментов признаковых описаний объектов.
        При поиске информативных фрагментов используется аппарат логических функций,
        в~частности методы преобразования нормальных форм булевых функций,
        а~также теория покрытий булевых и целочисленных матриц.
        Рассматриваются основные модели дискретных (логических) процедур распознавания
        и~изучаются вопросы, связанные со~сложностью их реализации.",
    url = "www.ccas.ru/frc/papers/djukova03mp.pdf"
}

@book{djukova03appendix,
    author = "Дюкова, Е. В.",
    title = "Дискретные (логические) процедуры распознавания:
        принципы конструирования, сложность реализации и основные модели.",
    note = "Приложение к~учебному пособию.",
    year = "2003",
    language = "russian",
    url = "www.ccas.ru/frc/papers/djukova03appendix.pdf"
}

@article{djukova03covering,
    author = "Дюкова, Е. В. and Инякин, А. С.",
    title = "О процедурах классификации, основанных на построении
        покрытий классов",
    journal = "ЖВМиМФ",
    volume = "43",
    number = "12",
    year = "2003",
    pages = "1910--1921",
    language = "russian",
    url = "www.ccas.ru/frc/papers/djukova03covering.pdf"
}

@article{djukova03covering-eng,
    author = "Djukova, E. V. and Inyakin, A. S.",
    title = "Classification Procedures
        Based on the Construction of Class Coverings",
    journal = "Computational Mathematics and Mathematical Physics",
    volume = "43",
    number = "12",
    year = "2003",
    pages = "1812–1822",
    url = "www.ccas.ru/frc/papers/djukova03covering-eng.pdf",
    annote = "The English version of~\cite{djukova03covering}."
}

@misc{peskov04cand,
    author = "Песков, Н. В.",
    title = "Поиск информативных фрагментов описаний объектов в задачах распознавания",
    howpublished = "Диссертация на~соискание учёной степени к.ф.-м.н., М.:~ВЦ~РАН",
    year = "2004",
    language = "russian",
    url = "www.ccas.ru/frc/thesis/PeskovCanDisser.pdf"
}

@misc{peskov99auto,
    author = "Песков, Н. В.",
    title = "Поиск информативных фрагментов описаний объектов в задачах распознавания",
    howpublished = "Автореферат диссертации на~соискание учёной степени к.ф.-м.н., М.:~ВЦ~РАН",
    year = "2004",
    language = "russian",
    url = "www.ccas.ru/frc/thesis/PeskovCanAutoref.pdf"
}

@article{zhuravlev02jvm,
    author = "Журавлёв, Ю. И.",
    title = "Об алгоритмах распознавания с представительными наборами
        (о~логических алгоритмах)",
    journal = "ЖВМиМФ",
    volume = "42",
    number = "9",
    year = "2002",
    pages = "1425--1435",
    language = "russian",
    url = "www.ccas.ru/frc/papers/zhuravlev02jvm.pdf"
}

@article{zhuravlev02jvm-eng,
    author = "Zhuravlev, Ju. I.",
    title = "Recognition Algorithms with Representative Sets",
    journal = "Computational Mathematics and Mathematical Physics",
    year = "2002",
    volume = "42",
    number = "9",
    pages = "1372--1382",
    url = "www.ccas.ru/frc/papers/zhuravlev02jvm-eng.pdf",
    annote = "The English version of~\cite{zhuravlev02jvm}."
}

@article{ryazanov99pria-eng,
    author = "Ryazanov, V. V. and Sen'ko, O. V. and Zhuravlev, Ju. I.",
    title = "Methods for Recognition and Prediction Based on the Voting Procedures",
    journal = "Pattern Recognition and Image Analysis",
    year = "1999",
    volume = "9",
    number = "4",
    pages = "713-718",
    url = "www.ccas.ru/frc/papers/ryazanov99pria-eng.pdf"
}

@article{senko03jvm,
    author = "Сенько, О. В.",
    title = "Перестановочный тест в методе оптимальных разбиений",
    journal = "ЖВМиМФ",
    volume = "43",
    number = "9",
    year = "2003",
    pages = "1438--1447",
    language = "russian",
    url = "www.ccas.ru/frc/papers/senko03jvm.pdf"
}

@inproceedings{frank98generating,
    author = "Eibe Frank and Ian H. Witten",
    title = "Generating accurate rule sets without global optimization",
    booktitle = "Proc. 15th International Conf. on Machine Learning",
    publisher = "Morgan Kaufmann, San Francisco, CA",
    pages = "144--151",
    year = "1998",
    url = "citeseer.ist.psu.edu/frank98generating.html"
}

@inproceedings{cohen95fast,
    author = "William W. Cohen",
    title = "Fast Effective Rule Induction",
    booktitle = "Proc. of the 12th International Conference on Machine Learning,
        Tahoe City, CA",
    pages = "115--123",
    publisher = "Morgan Kaufmann",
    year = "1995",
    url = "citeseer.ist.psu.edu/cohen95fast.html",
    annote = "
        RIPPER$k$ (Repeated Iterative Pruning to Produce Error Reduction)~---
        простой и эффективный алгоритм
        построения покрывающего набора (решающего списка) конъюнкций.
        Алгоритм имеет
        столь~же высокую обобщающую способность, как C4.5rules
        и~столь~же высокую эффективность, как IREP.
        Объём вычислений практически линеен по~длине обучающей выборки,
        что позволяет обрабатывать сотни тысяч объектов за~приемлемое время.
        Алгоритм RIPPER$k$ отличается от~IREP тремя модификациями.
        1.~Изменён эвристический критерий, оптимизируемый при редукции правил.
        2.~Введён новый критерий останова, основанный на~принципе
           минимума длины описания~(MDL).
        3.~Построенные правила поочерёдно перестраиваются $k$~раз.
        Эмпирическое сравнение всех упомянутых алгоритмов
        проведено на~22 реальных задачах из~репозитория~UCI."
}

@inproceedings{cohen99simple,
    author = "William W. Cohen and Yoram Singer",
    title = "A Simple, Fast and Effective Rule Learner",
    booktitle = "Proc. of the 16 National Conference on Artificial Intelligence",
    pages = "335-342",
    year = "1999",
    url = "citeseer.ist.psu.edu/198445.html",
    annote = "
        SLIPPER (Simple Learner with Iterative Pruning
        to Produce Error Reduction)~---
        простой и эффективный алгоритм классификации,
        основанный на взвешенном голосовании конъюнкций.
        Для построения набора конъюнкций используется бустинг.
        В~роли слабого классификатора может выступать
        произвольный жадный алгоритм синтеза конъюнкций.
        Конъюнкции наращиваются по~случайной подвыборке,
        составляющей порядка 2/3 данных,
        затем редуцируются по~оставшейся части данных.
        Описаны эксперименты по проверке алгоритма
        на~наборе из~32~реальных задач,
        причём только половина задач использовалась
        на~этапе разработки алгоритма,
        на~остальных производилось финальное тестирование.
        Точность SLIPPER оказалась несколько выше,
        чем у~алгоритмов RIPPER, C4.5, C5.0,
        а~скорость~--- на~порядок ниже, но~в~пределах $m\ln m$,
        где $m$~--- длина выборки.
        Среднее (по~задачам) количество конъюнкций~---
        втрое больше, чем у~RIPPER."
}

@inproceedings{ruckert04towards,
    author = "Ulrich Ruckert and Stefan Kramer",
    title = "Towards Tight Bounds for Rule Learning",
    booktitle = "Proc. 21th International Conference on Machine Learning,
        Banff, Canada",
    pages = "??",
    year = "2004",
    url = "www.machinelearning.org/icml2004\_proc.html",
    annote = "
        Предлагается алгоритм взвешенного голосования над
        логическими правилами, имеющими вид
        конъюнкций простых логических условий.
        Для построения конъюнкций используется <<жадный>> алгоритм
        стохастического локального поиска (SLS).
        Веса правил рассматриваются
        как апостериорное распределение вероятностей,
        индуцированное методом обучения.
        Для вычисления весов правил используется подход,
        аналогичный~\cite{littlestone89weighted}~---
        вес экспоненциально убывает с~ростом числа ошибок,
        допущенных правилом.
        Для предложенного алгоритма удаётся вывести достаточно точные
        численные оценки обобщающей способности.
        За~основу взята теорема МакАллестера~\cite{mcallester99pacbayesian},
        доказанная в~рамках байесовской PAC-теории.
        Показано, что оценки могут быть улучшены,
        если разрешить алгоритмам отказываться от~классификации.
        Эксперименты на~реальных данных (35~задач из~репозитория~UCI)
        подтверждают, что алгоритм сравним по~качеству
        с~лучшими логическими алгоритмами классификации SVM, PART, JRIP,
        а~также баггингом над PART и~JRIP.
        Сопоставление оценок вероятности ошибки
        с~10-кратным скользящим контролем показывает,
        что оценки завышены всего лишь в~2--5 раз.
        Это лучше, чем для машин покрывающих множеств (SCM)
        Маршанда~\cite{marchand01learning}.
        Таким образом, полученные оценки обобщающей способности
        являются одними из~наиболее точных на~момент выхода статьи."
}

@inproceedings{mcallester99pacbayesian,
    author = "David Mc{A}llester",
    title = "{PAC}-Bayesian Model Averaging",
    booktitle = "{COLT}: Proceedings of the Workshop on Computational Learning Theory",
    publisher = "Morgan Kaufmann Publishers",
    year = "1999",
    url = "citeseer.ist.psu.edu/mcallester99pacbayesian.html"
}

@article{waiho03novel,
    author = "Wai-Ho Au and Keith C. C. Chan and Xin Yao",
    title = "A novel evolutionary data mining algorithm
        with applications to churn prediction",
    journal = "IEEE Trans. Evolutionary Computation",
    volume = "7",
    number = "6",
    year = "2003",
    pages = "532-545",
    url = "dblp.uni-trier.de"
}

@bibsection{avo,
    title = "Алгоритмы вычисления оценок
        (Estimates Calculation Algorithms)"
}

@article{zhuravlev71extremal,
    author = "Журавлёв, Ю. И.",
    title = "Экстремальные задачи,
        возникающие при обосновании эвристических процедур",
    journal = "Проблемы прикладной математики и механики",
    publisher = "М.:~Наука",
    year = "1971",
    language = "russian"
}

@article{zhuravlev71modeli,
    author = "Журавлёв, Ю. И. and Никифоров, В. В.",
    title = "Алгоритмы распознавания, основанные на~вычислении оценок",
    journal = "Кибернетика",
    publisher = "Киев",
    number = "3",
    year = "1971",
    language = "russian"
}

@article{zhuravlev76neparam,
    author = "Журавлёв, Ю. И.",
    title = "Непараметрические задачи распознавания образов",
    journal = "Кибернетика",
    publisher = "Киев",
    number = "6",
    year = "1976",
    language = "russian"
}

@article{rudakov83medic,
    author = "Березина, В. В. and Рудаков, К. В.",
    title = "О моделях алгоритмов распознавания
        для решения одной задачи медицинского прогнозирования",
    journal = "Кибернетика",
    year = "1983",
    number = "4",
    pages = "116-119",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov83medic.pdf"
}

@article{rudakov84avo,
    author = "Ашуров, А. Р. and Рудаков, К. В.",
    title = "Алгоритмы вычисления оценок для задачи распознавания объектов
        с~континуальной начальной информацией",
    journal = "ЖВМиМФ",
    year = "1984",
    volume = "24",
    number = "12",
    pages = "1871-1880",
    language = "russian",
    url = "www.ccas.ru/frc/papers/rudakov84avo.pdf"
}

@article{matrosov80dan,
    author = "Матросов, В. Л.",
    title = "Корректные алгебры ограниченной ёмкости над множествами некорректных алгоритмов",
    journal = "ДАН СССР",
    volume = "253",
    number = "1",
    year = "1980",
    pages = "25--30",
    language = "russian"
}

@article{matrosov81dan,
    author = "Матросов, В. Л.",
    title = "О критериях полноты модели алгоритмов вычисления оценок и~её алгебраических замыканий",
    journal = "ДАН СССР",
    volume = "258",
    number = "4",
    year = "1981",
    pages = "791--796",
    language = "russian"
}

@article{matrosov82dan,
    author = "Матросов, В. Л.",
    title = "Оптимальные алгоритмы в алгебраических замыканиях операторов вычисления оценок",
    journal = "ДАН СССР",
    volume = "262",
    number = "4",
    year = "1982",
    pages = "818--822",
    language = "russian"
}

@article{matrosov84capacity,
    author = "Матросов, В. Л.",
    title = "Ёмкость алгебраических расширений модели алгоритмов вычисления оценок",
    journal = "ЖВМиМФ",
    volume = "24",
    number = "11",
    year = "1984",
    pages = "1719--1730",
    language = "russian"
}

@article{matrosov84low,
    author = "Матросов, В. Л.",
    title = "Нижние границы ёмкости многомерных алгебр алгоритмов вычисления оценок",
    journal = "ЖВМиМФ",
    volume = "24",
    number = "12",
    year = "1984",
    pages = "1881--1892",
    language = "russian"
}

@article{matrosov85poly,
    author = "Матросов, В. Л.",
    title = "Ёмкость алгоритмических многочленов над множеством алгоритмов вычисления оценок",
    journal = "ЖВМиМФ",
    volume = "25",
    number = "1",
    year = "1985",
    pages = "122--133",
    language = "russian"
}

@article{zhuravlev89obraz,
    author = "Бушманов, О. Н. and Дюкова, Е. В. and Журавлёв, Ю. И. and Кочетков, Д. В. and Рязанов, В. В.",
    title = "Система анализа и распознавания образов",
    journal = "Распознавание, классификация, прогноз",
    volume = "2",
    year = "1989",
    pages = "250--273",
    language = "russian",
    url = "www.ccas.ru/frc/papers/bushmanov89obraz.pdf"
}

@bibsection{vcdim,
    title = "Теория Вапника-Червоненкиса (VC Theory and VC-dimension)"
}

@article{vapnik68dan,
    author = "Вапник, В. Н. and Червоненкис, А. Я.",
    title = "О равномерной сходимости частот появления событий к~их~вероятностям",
    journal = "ДАН СССР",
    year = "1968",
    volume = "181",
    number = "4",
    pages = "781--784",
    language = "russian",
    annote = "Работа закладывает основы статистической теории
        восстановления зависимостей по эмпирическим данным.
        Рассматриваются необходимые и достаточные условия
        равномерной сходимости частот появления событий к~их~вероятностям.
        Вводится понятие функции роста системы событий.
        Более подробное изложение и~доказательства см.~в~\cite{vapnik71uniform}"
}

@article{vapnik71uniform,
    author = "Вапник, В. Н. and Червоненкис, А. Я.",
    title = "О равномерной сходимости частот появления событий к~их~вероятностям",
    journal = "Теория вероятностей и~ее применения",
    year = "1971",
    volume = "16",
    number = "2",
    pages = "???",
    language = "russian",
    annote = "Вводятся понятия функции роста, энтропии и~емкости системы событий.
        Доказывается, что частота сходится к~вероятности
        равномерно по~системе событий тогда и~только тогда, когда
        доля энтропии, приходящейся на~один элемент выборки,
        стремится к~нулю с~ростом длины выборки.
        Выводятся оценки скорости сходимости,
        позволяющие обосновать применимость метода минимизации эмпирического риска
        для решения задач распознавания.
        Эти оценки нетривиальны только в~том случае, когда емкость семейства
        алгоритмов много меньше длины обучающей выборки. "
}

@book{vapnik74rus,
    author = "Вапник, В. Н. and Червоненкис, А. Я.",
    title = "Теория распознавания образов",
    publisher = "М.:~Наука",
    year = "1974",
    language = "russian",
    annote = "Первая классическая монография
        по~статистической теории восстановления зависимостей.
        Приводится обзор алгоритмов распознавания.
        Вводятся понятия функции роста, энтропии и~емкости системы событий,
        характеризующие сложность семейства алгоритмов.
        Выводятся оценки скорости равномерной сходимости
        частоты ошибок к~их вероятности, позволяющие обосновать применимость
        метода минимизации эмпирического риска для решения задач распознавания.
        В~доказательствах используется комбинаторная техника, основанная
        на~оценивании разности частот в~двух подвыборках одинаковой длины.
        Предлагается метод упорядоченной минимизации риска
        для~целенаправленного выбора модели алгоритмов оптимальной сложности.
        Доказывается, что емкость семейства линейных решающих правил
        равна числу свободных параметров. "
}

@book{vapnik79rus,
    author = "Вапник, В. Н.",
    title = "Восстановление зависимостей по~эмпирическим данным",
    publisher = "М.:~Наука",
    year = "1979",
    language = "russian",
    annote = "Вторая классическая монография по~статистической теории обучения.
        Основные идеи \cite{vapnik74rus} распространяются на~задачи
        восстановления регрессии
        и~интерпретации результатов косвенных экспериментов.
        Предлагается метод упорядоченной минимизации \emph{суммарного} риска,
        предназначенный для~выбора модели алгоритмов оптимальной сложности.
        Новый метод, в~отличие от~ранее предложенного,
        оценивает качество восстановления зависимости
        в~конечном множестве точек, а~не на~всём пространстве,
        поэтому обладает более высокой точностью.
        Описывается ряд алгоритмов распознавания образов,
        восстановления регрессии, селекции выборки."
}

@book{vapnik82estimation,
    author = "Vladimir Vapnik",
    title = "Estimation of Dependencies Based on Empirical Data",
    publisher = "Springer-Verlag, New York",
    year = "1982"
}

@article{rissanen78modeling,
    author = "J. Rissanen",
    title = "Modeling by shortest data description",
    journal = "Automatica",
    volume = "14",
    year = "1978",
    pages = "465-471"
}

@article{valiant84theory,
    author = "L. G. Valiant",
    title = "A theory of the learnable",
    journal = "Communications of the ACM",
    volume = "27",
    year = "1984",
    pages = "1134--1142"
}

@book{vapnik84rus,
    author = "Вапник, В.Н. and Глазкова, Т.Г. and Кощеев, В.А.
        and Михальский, А.И. and Червоненкис, А.Я.",
    title = "Алгоритмы и программы восстановления зависимостей",
    publisher = "М.:~Наука",
    year = "1984",
    numpages = "815",
    language = "russian",
}

@article{matrosov90kukuliev,
    author = "Матросов, В. Л. and Кукулиев, Б. М.",
    title = "Оценка прогнозирующей способности распознающих алгоритмов",
    journal = "Распознавание, классификация, прогноз",
    volume = "3",
    year = "1990",
    pages = "89--105",
    language = "russian"
}

@article{semochkin98order,
    author = "Сёмочкин, А. Н.",
    title = "Линейные достроения частичного порядка на конечных множествах",
    journal = "Деп. в ВИНИТИ",
    number = "2964--В98",
    pages = "19",
    year = "1998",
    language = "russian"
}

@article{semochkin98estimate,
    author = "Сёмочкин, А. Н.",
    title = "Оценки функционала качества для класса алгоритмов
        с~универсальными ограничениями монотонности",
    journal = "Деп. в ВИНИТИ",
    number = "2965--В98",
    pages = "20",
    year = "1998",
    language = "russian"
}

@inproceedings{bartlett93lower,
    author = "P. Bartlett",
    title = "Lower bounds on the {V}apnik-{C}hervonenkis dimension
        of multi-layer threshold networks",
    booktitle = "Proceedings of the Sixth Annual {ACM} Conference on Computational Learning Theory",
    publisher = "{ACM} Press, New York, NY",
    pages = "144--150",
    year = "1993",
    url = "citeseer.ist.psu.edu/bartlett93lower.html"
}

@article{anthony93result,
    author = "Martin Anthony and John Shawe-Taylor",
    title = "A Result of {V}apnik with Applications",
    journal = "Discrete Applied Mathematics",
    volume = "47",
    number = "2",
    pages = "207-217",
    year = "1993",
    url = "citeseer.ist.psu.edu/anthony91result.html"
}

@inproceedings{karpinski95polynomial,
    author = "Marek Karpinski and Angus Macintyre",
    title = "Polynomial bounds for {VC} dimension of sigmoidal neural networks",
    booktitle = "27th ACM Symposium on Theory of Computing, Las Vegas, Nevada, US",
    pages = "200--208",
    year = "1995",
    url = "citeseer.ist.psu.edu/karpinski95polynomial.html"
}

@article{mertens97vcdim,
   author    = "Stephan Mertens and Andreas Engel",
   title     = "{V}apnik-{C}hervonenkis dimension of neural networks with binary weights",
   journal   = "Phys.~Rev.~E",
   year      = "1997",
   volume    = "55",
   number    = "4",
   pages     = "4478-4488"
}

@incollection{kearns94efficient,
    author = "Kearns, M. J. and Schapire, R. E.",
    title = "Efficient Distribution-free Learning of Probabilistic Concepts",
    booktitle = "Computational Learning Theory and Natural Learning Systems,
        Volume I: Constraints and Prospect,
        edited by Stephen Jose Hanson, George A. Drastal, and Ronald L. Rivest,
        Bradford/{MIT} Press",
    volume = "1",
    year = "1994",
    url = "citeseer.ist.psu.edu/article/kearns93efficient.html"
}

@article{vapnik94measuring,
    author = "Vladimir Vapnik and Esther Levin and Yann Le Cun",
    title = "Measuring the {VC}-Dimension of a Learning Machine",
    journal = "Neural Computation",
    volume = "6",
    number = "5",
    pages = "851--876",
    year = "1994",
    url = "citeseer.ist.psu.edu/vapnik94measuring.html",
    annote = "Вводится понятие эффективной ёмкости семейства алгоритмов.
        Эта величина не превышает ёмкости Вапника-Червоненкиса (VC-dimension)
        и~может быть подставлена вместо неё в~оценки скорости
        равномерной сходимости~\cite{vapnik71uniform,vapnik79rus,vapnik82estimation}.
        Предлагается эмпирический метод измерения эффективной ёмкости
        для задач классификации с~двумя классами.
        Вводится понятие равномерного отклонения ошибок~---
        это максимальная разность частот ошибок на двух подвыборках одинаковой длины,
        где максимум берётся по~семейству алгоритмов.
        Для матожидания равномерного отклонения ошибок выводится теоретическая верхняя оценка,
        зависящая от эффективной ёмкости семейства и~длины выборки.
        С~другой стороны, равномерное отклонение ошибок допускает эмпирическое измерение,
        поскольку максимизация разности частот ошибок эквивалентна обучению на всей выборке,
        в~которой на~половине объектов инвертированы ответы.
        Приравнивание двух оценок, теоретической и эмпирической,
        при различных длинах выборки позволяет измерить эффективную ёмкость семейства.
        Эксперименты по измерению эффективной ёмкости линейных решающих правил
        и~нейронных сетей показали следующее.
        (1)~Эффективная ёмкость может быть существенно меньше классической ёмкости.
        (2)~Эмпирические данные хорошо ложатся на~теоретическую зависимость
        равномерного отклонения ошибок от~длины выборки, что позволяет говорить
        о~правомерности предложенного метода измерения эффективной ёмкости.
        (3)~Эффективная ёмкость линейных решающих правил совпадает с~размерностью
        подпространства объектов, в~котором располагается исходная выборка.
        (4)~Измеренные значения эффективной ёмкости практически не~зависят
        от~сложности задачи (величины шума).
        Недостатком метода являются:
        неконструктивность определения эффективной ёмкости
        и~сложный вид теоретической оценки равномерного отклонения ошибок.
        Формула оценки содержит два дополнительных параметра,
        которые не~вполне обоснованно полагаются <<универсальными постоянными>>
        и~определяются путём <<калибровки>> по модельной задаче."
}

@misc{bottou94effective,
    author = "L\'eon Bottou and Corinna Cortes and Vladimir Vapnik",
    title = "On the Effective {VC} Dimension",
    year = "1994",
    url = "citeseer.ist.psu.edu/bottou94effective.html",
    annote = "Вводится понятие эффективной ёмкости, отличное от~\cite{vapnik94measuring}.
        Предлагается метод измерения эффективной ёмкости,
        также основанный на~эмпирической оценке равномерного отклонения ошибок
        (максимальной разности частот ошибок на двух подвыборках одинаковой длины),
        но существенно более простой для реализации.
        Основное отличие заключаются в~использовании процедуры скользящего контроля
        для измерения равномерного отклонения ошибок,
        что позволяет избежать сложных параметрических аппроксимаций.
        Получаемые оценки ёмкости зависят не только от~выборки данных,
        но и~от используемого метода обучения."
}

@article{shao00measuring,
    author = "Xuhui Shao and Vladimir Cherkassky and William Li",
    title = "Measuring the {VC}-Dimension Using Optimized Experimental Design",
    journal = "Neural Computation",
    volume = "12",
    number = "8",
    pages = "1969-1986",
    year = "2000",
    url = "citeseer.ist.psu.edu/311578.html"
}

@book{vapnik95nature,
    author = "Vladimir Vapnik",
    title = "The nature of statistical learning theory",
    publisher = "Springer-Verlag, New York",
    year = "1995"
}

@book{vapnik00nature,
    author = "Vladimir Vapnik",
    title = "The nature of statistical learning theory",
    edition = "2",
    publisher = "Springer-Verlag, New York",
    year = "2000"
}

@book{vapnik98stat,
    author = "Vladimir Vapnik",
    title = "Statistical Learning Theory",
    publisher = "Wiley, New York",
    year = "1998"
}

@article{vayatis99distributiondependent,
    author = "Nicolas Vayatis and Robert Azencott",
    title = "Distribution-Dependent {Vapnik-Chervonenkis} Bounds",
    journal = "Lecture Notes in Computer Science",
    volume = "1572",
    pages = "230--240",
    year = "1999",
    url = "citeseer.ist.psu.edu/vayatis99distributiondependent.html",
    annote = "
        Статья содержит обзор результатов, полученных разными авторами в~период 1982--1995,
        уточняющих оценки Вапника-Червоненкиса для скорости равномерной сходимости
        эмпирических частот к~вероятностям.
        Отмечается, что наиболее точной является оценка Талагранда~\cite{talagrand94sharper}.
        Выводится новая, несколько более точная, оценка, справедливая при
        ограничении класса вероятностных распределений на~множестве исходных объектов.
        Обсуждается возможность использования полученной оценки
        при измерении эффективной ёмкости семейств алгоритмов~\cite{vapnik94measuring}."
}

@article{shawetaylor98structural,
    author = "J. Shawe-Taylor and P. L. Bartlett",
    title = "Structural risk minimization over data-dependent hierarchies",
    journal = "IEEE Trans. on Information Theory",
    volume = "44",
    number = "5",
    pages = "1926--1940",
    year = "1998",
    url = "citeseer.ist.psu.edu/article/shawe-taylor98structural.html"
}

@techreport{williamson99sample,
    author = "R. Williamson and J. Shawe-Taylor and B. Scholkopf and A. Smola",
    title = "Sample based generalization bounds",
    number = "NeuroCOLT Technical Report NC-TR-99-055",
    year = "1999",
    url = "citeseer.ist.psu.edu/williamson99sample.html"
}

@inproceedings{voron95quality,
    author = "Воронцов, К. В.",
    title = "Качество восстановления зависимостей по~эмпирическим данным",
    booktitle = "Математические методы распознавания образов:
        7-ая Всерос. конф. Тезисы докл.",
    publisher = "Пущино",
    pages = "24--26",
    year = "1995",
    language = "russian",
    annote = "Для оценивания качества обучения по~прецедентам
        предлагается использовать комбинаторные функционалы типа скользящего
        контроля вместо принятых вероятностных функционалов.
        Для одного такого функционала доказывается оценка,
        аналогичная неравенствам Вапника-Червоненкиса,
        но~при этом выборка не~обязана быть случайной и~независимой."
}

@inproceedings{voron02qualmonot,
    author = "Воронцов, К. В.",
    title = "Оценка качества монотонного решающего правила вне обучающей выборки",
    booktitle = "Интеллектуализация обработки информации: Тезисы докл.",
    publisher = "Симферополь",
    pages = "24--26",
    year = "2002",
    language = "russian",
    annote = "Приводится верхняя оценка функционала скользящего контроля
        для задачи классификации на~два непересекающихся класса
        с~монотонными решающими правилами.
        Данный класс имеет бесконечную емкость, тем~не~менее
        для него удается получить нетривиальную оценку качества,
        которая не~превышает единицы даже в~случае малых выборок.
        Полученная оценка не~предполагает случайности и~независимости выборки
        и~не~опирается на~сложностные характеристики семейства алгоритмов."
}

@article{herbrich02algorithmic,
    author = "R. Herbrich and R. Williamson",
    title = "Algorithmic luckiness",
    journal = "Journal of Machine Learning Research",
    number = "3",
    year = "2002",
    pages = "175-212",
    url = "citeseer.ist.psu.edu/article/herbrich02algorithmic.html"
}

@inproceedings{voron03combi,
    author = "Воронцов, К. В.",
    title = "О комбинаторном подходе к оценке качества обучения алгоритмов",
    booktitle = "Математические методы распознавания образов:
        11-ая Всерос. конф. Тезисы докл.",
    publisher = "Пущино",
    pages = "47-49",
    year = "2003",
    language = "russian"
}

@article{voron04qualdan,
    author = "Воронцов, К. В.",
    title = "Комбинаторные оценки качества обучения по прецедентам",
    journal = "Докл. РАН",
    volume = "394",
    number = "2",
    pages = "175--178",
    year = "2004",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron04qualdan.pdf",
    annote = "Рассматриваются функционалы скользящего контроля,
        характеризующие качество обучения алгоритмов
        по~прецедентным эмпирическим данным.
        Приводятся верхние оценки этих функционалов, полученные
        без~предположения случайности и~независимости исходных данных.
        Описывается эффект локализации семейства алгоритмов
        и~вводится понятие локальной функции роста.
        Рассматриваются основные причины завышенности
        известных вероятностных оценок качества.
        Развивается подход к~оцениванию качества обучения,
        основанный на явном использовании априорной информации
        и~не~опирающийся на~сложностные характеристики алгоритмов.
        Для задач классификации с~универсальными ограничениями монотонности
        получены новые оценки качества, существенно более точные на малых выборках."
}

@article{voron04qualdan-eng,
    author = "Vorontsov, K. V.",
    title = "Combinatorial Bounds for Learning Performance",
    journal = "Doklady Mathematics",
    year = "2004",
    volume = "69",
    number = "1",
    pages = "145–-148",
    url = "www.ccas.ru/frc/papers/voron04qualdan-eng.pdf",
    annote = "The English version of \cite{voron04qualdan}"
}

@article{voron04twim,
    author = "Воронцов, К. В.",
    title = "Обзор современных исследований по~проблеме качества обучения алгоритмов",
    journal = "Таврический вестник информатики и математики",
    year = "2004",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron04twim.pdf",
    annote = "
        Обзор охватывает основные направления
        современных исследований феномена обобщающей способности,
        задача которых~--- уточнить
        сильно завышенные оценки статистической теории Вапника-Червоненкиса
        и~предложить адекватные обоснования методов обучения по~прецедентам.
        Выделяются следующие направления.
        1.~Оценивание эффективной сложности обучаемых алгоритмов,
        которая в~ряде случаев оказывается существенно ниже теоретической.
        2.~Получение оценок, зависящих от~отступов (margin) обучающих объектов
        в~задачах классификации с~пороговым решающим правилом.
        3.~Исследование обобщающей способности композиций алгоритмов,
        в~том числе бустинга и~баггинга.
        4.~Оценивание стабильности методов обучения
        (устойчивости относительно изменений обучающей выборки)
        и~выявление взаимосвязей между стабильностью и~обобщающей способностью.
        5.~Получение оценок качества для алгоритмов,
        выбираемых процедурой скользящего контроля.
        6.~Развитие комбинаторного подхода,
        обобщающего теорию Вапника-Червоненкиса.
        Библиография содержит 82 ссылки."
}

@article{voron04jvm,
    author = "Воронцов, К. В.",
    title = "Комбинаторные обоснования обучаемых алгоритмов",
    journal = "ЖВМиМФ",
    volume = "44",
    number = "11",
    pages = "2099-2112",
    year = "2004",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron04jvm.pdf",
    annote = "Рассматриваются комбинаторные функционалы качества обучения по~прецедентам,
        основанные на~принципе скользящего контроля.
        Выводятся их верхние оценки, более точные, чем
        оценки статистической теории Вапника-Червоненкиса,
        и~при этом не~предполагающие случайности и~независимости исходных данных.
        Описывается эффект локализации семейства алгоритмов
        и~вводится понятие локальной функции роста.
        С~позиций комбинаторного подхода пересматриваются
        основные положения статистической теории.
        Анализируются основные причины завышенности сложностных оценок качества."
}

@article{voron04jvm-eng,
    author = "Vorontsov, K. V.",
    title = "Combinatorial Substantiation of Learning Algorithms",
    journal = "Comp. Maths Math. Phys.",
    year = "2004",
    volume = "44",
    number = "11",
    pages = "1997-2009",
    url = "www.ccas.ru/frc/papers/voron04jvm-eng.pdf",
    annote = "The English version of \cite{voron04jvm}"
}

@incollection{voron04mpc,
    author = "Воронцов, К. В.",
    title = "Комбинаторный подход к оценке качества обучаемых алгоритмов",
    booktitle = "Математические вопросы кибернетики",
    editor = "О.~Б.~Лупанов",
    publisher = "М.:~Физматлит",
    volume = "13",
    pages = "5-36",
    year = "2004",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron04mpc.pdf",
    abstract= "
        Излагаются основы комбинаторного подхода к~проблеме оценивания
        качества восстановления зависимостей по~эмпирическим данным.
        Для формализации понятия обобщающей способности
        вводятся комбинаторные функционалы скользящего контроля.
        Полученные комбинаторные оценки обобщают результаты
        статистической теории Вапника-Червоненкиса.
        При этом требования случайности исходных данных
        и~равномерной сходимости частоты ошибок к~их вероятности
        оказываются избыточными.
        Описывается эффект локализации семейства алгоритмов,
        благодаря которому семейства алгоритмов большой
        и~даже бесконечной ёмкости могут обладать неплохой обучаемостью.
        С~позиций комбинаторного подхода пересматриваются
        основные положения статистической теории.
        Выдвигается гипотеза о~принципиальной завышенности
        сложностных оценок качества обучения.
        Исследуются два частных случая, в~которых
        семейства алгоритмов имеют бесконечную ёмкость,
        тем не~менее для них удаётся получить
        достаточно точные оценки качества обучения."
}

@article{voron06empirical,
    author = "Воронцов, К. В. and Ивахненко, А. А.",
    title = "Эмпирические оценки локальной функции роста в~задачах поиска логических закономерностей",
    journal = "Искусственный Интеллект",
    publisher = "Донецк",
    pages = "281-284",
    year = "2006",
    language = "russian",
    url = "www.ccas.ru/frc/papers/students/VoronIvahnenko05mmro.pdf"
}

@article{voron06profiles,
    author = "Воронцов, К. В. and Колосков, А. О.",
    title = "Профили компактности и выделение опорных объектов
        в~метрических алгоритмах классификации",
    journal = "Искусственный Интеллект",
    publisher = "Донецк",
    pages = "30-33",
    year = "2006",
    language = "russian",
    url = "www.ccas.ru/frc/papers/students/VoronKoloskov05mmro.pdf"
}

@article{donskoy05kolmogorov,
    author = "Донской, В. И.",
    title = "Колмогоровская сложность классов общерекурсивных функций
        с~ограниченной емкостью",
    journal = "Таврический вестник информатики и математики",
    year = "2005",
    pages = "25-34",
    number = "1",
    language = "russian",
    url = "www.ccas.ru/frc/papers/donskoy05kolmogorov.pdf"
}

@bibsection{concentration,
    title = "Концентрация вероятности (Concentration of Probability)"
}

@article{chernoff52measure,
    author = "H. Chernoff",
    title = "A measure of asymptotic efficiency for tests of a hypothesis
        based on the sum of observations",
    journal = "Annals of Math. Stat.",
    volume = "23",
    pages = "493--509",
    year = "1952"
}

@article{mcdiarmid89bounded,
    author = "C. McDiarmid",
    title = "On the method of bounded differences",
    journal = "In Surveys in Combinatorics, London Math. Soc. Lecture Notes Series",
    volume = "141",
    pages = "148--188",
    publisher = "Cambridge University Press",
    year = "1989"
}

@article{lugosi94estimate,
    author = "G. Lugosi and M. Pawlak",
    title = "On the posterior-probability estimate of the error of nonparametric classification rules",
    journal = "IEEE Transactions on Information Theory",
    volume = "40",
    number = "2",
    pages = "475-481",
    year = "1994"
}

@article{talagrand94sharper,
    author = "M. Talagrand.",
    title = "Sharper bounds for gaussian and empirical processes",
    journal = "Annals of Probability",
    number = "22",
    pages = "28--76",
    year = "1994"
}

@article{talagrand95concentration,
    author = "M. Talagrand",
    title = "Concentration of measure and isoperimetric inequalities in product space",
    journal = "Publ. Math. I.H.E.S.",
    number = "81",
    pages = "73-205",
    year = "1995",
    url = "citeseer.ist.psu.edu/talagrand95concentration.html"
}

@article{boucheron00sharp,
    author = "Stephane Boucheron and Gabor Lugosi and Pascal Massart",
    title = "A sharp concentration inequality with applications",
    journal = "Random Structures and Algorithms",
    volume = "16",
    number = "3",
    pages = "277-292",
    year = "2000",
    url = "citeseer.ist.psu.edu/article/boucheron99sharp.html"
}

@inproceedings{bartlett01rademacher,
    author = "Peter L. Bartlett and Shahar Mendelson",
    title = "Rademacher and {G}aussian Complexities: {R}isk Bounds and Structural Results",
    booktitle = "{COLT}: 14th Annual Conference on Computational Learning Theory",
    volume = "2111",
    publisher = "Springer, Berlin",
    pages = "224--240",
    year = "2001",
    url = "citeseer.ist.psu.edu/bartlett02rademacher.html"
}

@incollection{koltchinskii99rademacher,
    author = "V. Koltchinskii and D. Panchenko",
    title = "Rademacher processes and bounding the risk of function learning",
    booktitle = "High Dimensional Probability, II",
    publisher = "Birkhauser",
    editor = "E. Gine, D. and J.Wellner",
    pages = "443-457",
    year = "1999",
    url = "citeseer.ist.psu.edu/article/koltchinskii99rademacher.html"
}


@inproceedings{bartlett02localized,
    author = "P. Bartlett and O. Bousquet and S. Mendelson",
    title = "Localized Rademacher Complexities",
    booktitle = "{COLT}: 15th Annual Conference on Computational Learning Theory",
    publisher = "Springer, Berlin",
    pages = "44-58",
    year = "2002",
    url = "citeseer.ist.psu.edu/bartlett02localized.html"
}

@article{boucheron02concentration,
    author = "S. Boucheron and G. Lugosi and P. Massart",
    title = "Concentration inequalities using the entropy method",
    journal = "The Annals of Probability",
    volume = "31",
    number = "3",
    year = "2003",
    url = "citeseer.ist.psu.edu/boucheron02concentration.html"
}

@techreport{anthony02uniform,
    author = "Martin Anthony",
    title = "Uniform Glivenko-Cantelli Theorems and Concentration of Measure
        in the Mathematical Modelling of Learning",
    number = "LSE-CDAM-2002-07",
    year = "2002",
    url = "www.maths.lse.ac.uk/Personal/martin/mresearch.html",
}

@misc{lugosi98concentrationmeasure,
    author = "Gabor Lugosi",
    title = "On concentration-of-measure inequalities",
    howpublished = "Machine Learning Summer School, Australian National University, Canberra",
    year = "2003",
    url = "citeseer.ist.psu.edu/lugosi98concentrationmeasure.html"
}

@article{boucheron05theory,
    author = "Stephane Boucheron and Olivier Bousquet and Gabor Lugosi",
    title = "Theory of Classification: A Survey of Some Recent Advances",
    journal = "ESAIM: Probability and Statistics",
    number = "9",
    pages = "323-375",
    year = "2005",
    url = "www.econ.upf.edu/~lugosi/esaimsurvey.pdf"
}

@inproceedings{desyatnikov03datadependent,
    author = "I. Desyatnikov and R. Meir",
    title = "Data-dependent bounds for multi-category classification based on convex losses",
    booktitle = "{COLT}: 16th Annual Conference on Learning Theory",
    publisher = "Springer Verlag, Heidelberg",
    editor = "B. Scholkopf and M. Warmuth",
    year = "2003",
    pages = "159-172",
    url = "citeseer.ist.psu.edu/desyatnikov03datadependent.html"
}

@inproceedings{bartlett04local,
    author = "Peter L. Bartlett and Shahar Mendelson and Petra Philips",
    title = "Local Complexities for Empirical Risk Minimization",
    booktitle = "{COLT}: 17th Annual Conference on Learning Theory",
    publisher = "Springer-Verlag",
    editor = "John Shawe-Taylor, Yoram Singer",
    year = "2004",
    pages = "270-284"
}

@inproceedings{langford99microchoice,
    author = "John Langford and Avrim Blum",
    title = "Microchoice Bounds and Self Bounding Learning Algorithms",
    booktitle = "Computational Learing Theory",
    pages = "209-214",
    year = "1999",
    url = "citeseer.ist.psu.edu/article/langford00microchoice.html"
}

@misc{langford02quantitatively,
    author = "J. Langford",
    title = "Quantitatively Tight Sample Complexity Bounds",
    note = "Carnegie Mellon Thesis",
    year = "2002",
    url = "citeseer.ist.psu.edu/langford02quantitatively.html"
}

@inproceedings{langford02combining,
    author = "J. Langford",
    title = "Combining Train Set and Test Set Bounds",
    booktitle = "ICML'02",
    year = "2002",
    url = "citeseer.ist.psu.edu/612035.html"
}

@bibsection{svm,
    title = "Метод опорных векторов (Support Vector Machines, SVM)"
}

@article{mercer09functions,
    author = "J. Mercer",
    title = "Functions of positive and negative type
        and their connection with the theory of integral equations",
    journal = "Philos. Trans. Roy. Soc. London",
    volume = "A",
    number = "209",
    pages = "415-446",
    year = "1909"
}

@article{cortes95supportvector,
    author = "Corinna Cortes and Vladimir Vapnik",
    title = "Support-Vector Networks",
    journal = "Machine Learning",
    volume = "20",
    number = "3",
    pages = "273-297",
    year = "1995",
    url = "citeseer.ist.psu.edu/cortes95supportvector.html"
}

@techreport{osuna97support,
    author = "Edgar Osuna and Robert Freund and Federico Girosi",
    title = "Support Vector Machines: Training and Applications",
    number = "AIM-1602",
    pages = "38",
    year = "1997",
    url = "citeseer.ist.psu.edu/osuna97support.html"
}

@inproceedings{osuna97improved,
    author = "E. Osuna and R. Freund and F. Girosi",
    title = "An improved training algorithm for support vector machines",
    booktitle = "Neural Networks for Signal Processing VII. IEEE Workshop",
    pages = "276-285",
    year = "1997",
    url = "citeseer.ist.psu.edu/osuna97improved.html"
}

@incollection{platt99fast,
    author = "J. C. Platt",
    title = "Fast trining support vector machines using sequential mininal optimization",
    booktitle = "Advances in Kernel Methods",
    editor = "B. Scholkopf and C. C. Burges and A. J. Smola",
    publisher = "MIT Press",
    pages = "185--208",
    year = "1999"
}

@techreport{fine02incas,
    author = "Shai Fine and Katya Scheinberg",
    title = "{INCAS}: An incremental active set method for {SVM}",
    text = "IBM Research Labs, Haifa, 2002.",
    year = "2002",
    url = "citeseer.ist.psu.edu/fine02incas.html"
}

@article{burges98tutorial,
    author = "Christopher J. C. Burges",
    title = "A Tutorial on Support Vector Machines for Pattern Recognition",
    journal = "Data Mining and Knowledge Discovery",
    volume = "2",
    number = "2",
    pages = "121-167",
    year = "1998",
    url = "citeseer.ist.psu.edu/burges98tutorial.html"
}

@techreport{smola98tutorial,
    author = "A.J. Smola and B. Schoelkopf",
    title = "A tutorial on support vector regression",
    number = "NeuroCOLT2 NC2-TR-1998-030",
    year = "1998",
    url = "citeseer.ist.psu.edu/smola98tutorial.html"
}

@inproceedings{tipping00relevance,
    author = "M. Tipping",
    title = "The relevance vector machine",
    booktitle = "Advances in Neural Information Processing Systems, San Mateo, CA",
    publisher = "Morgan Kaufmann",
    year = "2000",
    url = "citeseer.ist.psu.edu/tipping00relevance.html"
}


@bibsection{neuralnets,
    title = "Дискриминантный анализ (Discriminant Analysis)"
}

@article{fisher36taxonomic,
    author = "R. A. Fisher",
    title = "The use of multiple measurements in~taxonomic problem",
    journal = "Ann. Eugen.",
    number = "7",
    pages="179--188",
    year = "1936"
}


@bibsection{neuralnets,
    title = "Нейронные сети (Artificial Neural Nets)"
}

@article{mcculloch43logical,
    author = "W. S. McCulloch and W. Pitts",
    title = "A logical calculus of ideas immanent in nervous activity",
    journal = "Bulletin of Mathematical Biophysics",
    number = "5",
    pages="115--133",
    year = "1943"
}

@book{hebb49organization,
    author = "D. Hebb",
    title = "The organization of behavior",
    publisher = "New York: Wiley",
    year = "1949"
}

@article{stone48generalized,
    author = "Stone, M. N.",
    title = "The generalized Weierstrass approximation theorem",
    journal = "Math. Mag.",
    volume = "21",
    pages="167-183, 237-254",
    year = "1948"
}

@article{kolmogorov58representation,
    author = "Колмогоров, А. Н.",
    title = "О представлении непрерывных функций нескольких переменных
        в~виде суперпозиции непрерывных функций одного переменного",
    journal = "Докл. АН СССР",
    volume = "114",
    number = "5",
    pages="953-956",
    language = "russian",
    year = "1958"
}

@book{rosenblatt59principles,
    author = "Rosenblatt, R.",
    title = "Principles of neuro dynamics",
    publisher = "New York: Spartan books",
    year = "1959"
}

@incollection{widrow60adaptive,
    author = "B. Widrow and M. E. Hoff",
    title = "Adaptive switching circuits",
    booktitle = "IRE WESCON Convention Record",
    publisher = "DUNNO",
    pages = "96--104",
    year = "1960"
}

@inproceedings{novikoff62convergence,
    author = "A. B. J. Novikoff",
    title = "On convergence proofs on perceptrons",
    booktitle = "Proceedings of the Symposium on the Mathematical Theory of Automata",
    publisher = "Polytechnic Institute of Brooklyn",
    volume = "12",
    pages = "615--622",
    year = "1962"
}

@book{minsky68perceptrons,
    author = "Marvin Minsky and Seymour Papert",
    title = "Perceptrons: an Introduction to Computational Geometry",
    publisher = "MIT Press",
    year = "1968"
}

@incollection{rummelhart86learning,
    author = "Rummelhart, D. E. and Hinton, G. E. and Williams, R. J.",
    title = "Learning Internal Representations by Error Propagation",
    booktitle = "Vol. 1 of Computational models of cognition and perception, chap. 8",
    publisher = "Cambridge, MA: MIT Press",
    pages = "319--362",
    year = "1986"
}

@article{durbin89product,
    author = "Durbin, R. and Rummelhart, D. E.",
    title = "Product units: A computationally powerful and biologically plausible extension
        to backpropagation networks",
    journal = "Neural Computation",
    volume = "1",
    number = "4",
    pages = "133--142",
    year = "1989"
}

@book{bishop95neural,
    author = "Christopher M. Bishop",
    title = "Neural Networks for Pattern Recognition",
    publisher = "Oxford University Press",
    year = "1995"
}

@incollection{lecun98efficient,
    author = "Yann LeCun and Leon Bottou and Genevieve B. Orr and Klaus-Robert Muller",
    title = "Efficient {B}ack{P}rop",
    booktitle = "Neural Networks: tricks of the trade",
    publisher = "Springer",
    year = "1998"
}

@inproceedings{blum93training,
    author = "Avrim Blum and Ronald L. Rivest",
    title = "Training a 3-Node Neural Network is {NP}-Complete",
    booktitle = "Machine Learning: From Theory to Applications",
    pages = "9-28",
    year = "1993",
    url = "citeseer.ist.psu.edu/blum92training.html"
}

@book{anthony99neural,
    author = "M. Anthony and P. L. Bartlett",
    title = "Neural Network Learning: Theoretical Foundations",
    publisher = "Cambridge University Press, Cambridge",
    year = "1999"
}

@article{lecun89backprop,
    author = "
        Y. LeCun and
        B. Boser and
        J. S. Denker and
        D. Henderson and
        R. E. Howard and
        W. Hubbard and
        L. D. Jackel",
    title = "Backpropagation applied to handwritten zip code recognition",
    journal = "Neural Computation",
    volume = "1",
    number = "4",
    pages = "541-551",
    year = "1989"
}

@book{gorban98neuroinformatics,
    author = "
        А. Н. Горбань and
        В. Л. Дунин-Барковский and
        А. Н. Кирдин and
        Е. М. Миркес and
        А. Ю. Новоходько and
        Д. А. Россиев and
        С. А. Терехов and
        М. Ю. Сенашова and
        В. Г. Царегородцев",
    title = "Нейроинформатика",
    publisher = "Новосибирск: Наука",
    language = "russian",
    pages = "296",
    year = "1998"
}

@book{golovko01neural,
    author = "В. А. Головко",
    title = "Нейронные сети: обучение, организация и применение",
    publisher = "М.:~ИПРЖР",
    language = "russian",
    year = "2001"
}

@book{kruglov01neural,
    author = "В. В. Круглов and В. В. Борисов",
    title = "Искусственные нейронные сети: теория и практика",
    publisher = "М.:~Горячая линия--Телеком",
    language = "russian",
    year = "2001"
}

@bibsection{boosting-bagging,
    title = "Бустинг и баггинг (Boosting and Bagging)"
}

@inproceedings{kearns89cryptographic,
    author = "M. Kearns and L. G. Valiant",
    title = "Cryptographic limitations on learning {Boolean} formulae and finite automata",
    booktitle = "Proc. of the 21st Annual ACM Symposium on Theory of Computing",
    pages = "433--444",
    year = "1989",
    url = "citeseer.ist.psu.edu/kearns89cryptographic.html"
}

@inproceedings{littlestone89weighted,
    author = "Nick Littlestone and Manfred K. Warmuth",
    title = "The Weighted Majority Algorithm",
    booktitle = "{IEEE} Symposium on Foundations of Computer Science",
    pages = "256-261",
    year = "1989",
    url = "citeseer.ist.psu.edu/littlestone92weighted.html"
}

@article{schapire90strength,
    author = "Robert E. Schapire",
    title = "The Strength of Weak Learnability",
    journal = "Machine Learning",
    volume = "5",
    pages = "197--227",
    year = "1990",
    url = "citeseer.ist.psu.edu/schapire90strength.html"
}

@inproceedings{freund90boosting,
    author = "Yoav Freund",
    title = "Boosting a Weak Learning Algorithm by Majority",
    booktitle = "{COLT}: Proceedings of the Workshop on Computational Learning Theory",
    publisher = "Morgan Kaufmann Publishers",
    year = "1990",
    url = "citeseer.ist.psu.edu/freund95boosting.html"
}

@inproceedings{freund95decisiontheoretic,
    author = "Yoav Freund and Robert E. Schapire",
    title = "A decision-theoretic generalization of on-line learning and an application to boosting",
    booktitle = "European Conference on Computational Learning Theory",
    pages = "23-37",
    year = "1995",
    url = "citeseer.ist.psu.edu/article/freund95decisiontheoretic.html"
}

@inproceedings{freund96experiments,
    author = "Yoav Freund and Robert E. Schapire",
    title = "Experiments with a New Boosting Algorithm",
    booktitle = "International Conference on Machine Learning",
    pages = "148-156",
    year = "1996",
    url = "citeseer.ist.psu.edu/freund96experiments.html"
}

@article{schapire97boosting,
    author = "Robert E. Schapire and Yoav Freund and Wee Sun Lee and Peter Bartlett",
    title = "Boosting the margin:
        a new explanation for the effectiveness of voting methods",
    journal = "Annals of Statistics",
    volume = "26",
    number = "5",
    pages = "1651--1686",
    year = "1998",
    url = "citeseer.ist.psu.edu/article/schapire98boosting.html",
    annote = "
        Дается теоретическое обоснование неожиданной эффективности
        взвешенного голосования методом бустинга.
        Эксперименты показывают, что ошибка на~независимой тестовой выборке
        не~увеличивается с~ростом сложности алгоритма (числа базовых классификаторов),
        и~более того, продолжает уменьшаться даже после достижения
        безошибочной классификации обучающей выборки.
        На~самом деле голосование не~увеличивает сложность алгоритма,
        а~лишь сглаживает прогнозы базовых классификаторов.
        Более тонкий анализ показывает, что по~мере добавления новых классификаторов
        бустинг увеличивает отступы обучающих объектов (<<раздвигает>> классы)
        гораздо эффективней, чем другие методы голосования (баггинг и ECOC).
        Полученные оценки обобщающей способности существенно точнее сложностных
        и~дают качественное обоснование феноменам бустинга.
        Тем не~менее они также сильно завышены и~требуют,
        чтобы длина обучающей выборки имела порядок $10^{4}$--$10^{6}$."
}

@inproceedings{koltchinskii01further,
    author = "Vladimir Koltchinskii and Dmitriy Panchenko and Fernando Lozano",
    title = "Further Explanation of the Effectiveness of Voting Methods:
        {T}he Game Between Margins and Weights",
    booktitle = "14th Annual Conference on Computational Learning Theory,
        {COLT} 2001 and 5th {E}uropean Conference on Computational Learning Theory,
        {EuroCOLT} 2001, Amsterdam, The Netherlands, July 2001, Proceedings",
    volume = "2111",
    publisher = "Springer, Berlin",
    pages = "241--255",
    year = "2001",
    url = "citeseer.ist.psu.edu/476199.html"
}

@article{breiman96bagging,
    author = "Leo Breiman",
    title = "Bagging Predictors",
    journal = "Machine Learning",
    volume = "24",
    number = "2",
    pages = "123-140",
    year = "1996",
    url = "citeseer.ist.psu.edu/breiman96bagging.html"
}

@techreport{breiman96bias,
    author = "Leo Breiman",
    title = "Bias, Variance, and Arcing Classifiers",
    text = "Breiman,L. (1996) Bias, Variance, and Arcing Classifiers,
        Technical Report 460, Statistics Department, University of California",
    number = "460",
    institution = "Statistics Department, University of California",
    year = "1996",
    url = "citeseer.ist.psu.edu/breiman96bias.html"
}

@inproceedings{quinlan96bagging,
    author = "J. Ross Quinlan",
    title = "Bagging, Boosting, and {C4.5}",
    booktitle = "{AAAI}/{IAAI}, Vol. 1",
    pages = "725-730",
    year = "1996",
    url = "citeseer.ist.psu.edu/quinlan96bagging.html"
}

@misc{poggio-bagging,
    author = "Tomaso Poggio and Ryan Rifkin and Sayan Mukherjee and Alex Rakhlin",
    title = "Bagging Regularizes",
    year = "2002",
    url = "citeseer.ist.psu.edu/poggio02bagging.html"
}

@article{breiman98arcing,
    author = "Leo Breiman",
    title = "Arcing classifiers",
    journal = "The Annals of Statistics",
    volume = "26",
    number = "3",
    pages = "801--849",
    year = "1998",
    url = "citeseer.ist.psu.edu/breiman98arcing.html"
}

@article{freund97discussion,
    author = "Yoav Freund and Robert E. Schapire",
    title = "Discussion of the paper ``{A}rcing Classifiers'' by {L}eo {B}reiman",
    journal = "The Annals of Statistics",
    volume = "26",
    number = "3",
    pages = "824--832",
    year = "1998",
    url = "citeseer.ist.psu.edu/freund97discussion.html",
    annote = "
        Обсуждаются результаты экспериментального сравнения алгоритмов бустинга и баггинга.
        Оба метода предназначены для взвешенного голосования <<слабых>> классификаторов.
        Конструктивное различие состоит в~том, что
        для настройки каждого слабого классификатора
        баггинг случайным образом выбирает обучающие подвыборки,
        а~бустинг детерминированным образом устанавливает веса обучающих объектов.
        При этом баггинг направлен исключительно на~уменьшение вариации (variance).
        Эксперименты показывают, что
        бустинг способствует уменьшению как вариации, так~и смещения (bias).
        Эффективность бустинга объясняется тем, что он~пытается максимизировать
        отступы обучающих объектов даже после достижения безошибочной
        классификации обучающей выборки~\cite{schapire97boosting}.
        В~заключение приводится перечень открытых проблем для исследования."
}

@article{hastie86generalized,
    author = "T. Hastie and R. Tibshirani",
    title = "Generalized Additive Models",
    journal = "Statistical Science",
    volume = "1",
    pages = "297--318",
    year = "1986",
    url = "citeseer.ist.psu.edu/hastie95generalized.html"
}

@techreport{friedman98additive,
    author = "J. Friedman and T. Hastie and R. Tibshirani",
    title = "Additive logistic regression: a statistical view of boosting",
    institution = "Dept. of Statistics, Stanford University Technical Report",
    year = "1998",
    url = "citeseer.ist.psu.edu/friedman98additive.html"
}

@article{schapire99improved,
   author = "Robert E.~Schapire and Yoram Singer",
   title = "Improved Boosting Using Confidence-rated Predictions",
   journal = "Machine Learning",
   volume = "37",
   number = "3",
   year = "1999",
   pages = "297--336",
   url = "citeseer.ist.psu.edu/article/singer99improved.html"
}

@inproceedings{schapire99theoretical,
    author = "Robert E. Schapire",
    title = "Theoretical Views of Boosting and Applications",
    booktitle = "Algorithmic Learning Theory, 10th International Conference, {ALT} '99, Tokyo, Japan, December 1999, Proceedings",
    volume = "1720",
    publisher = "Springer",
    pages = "13--25",
    year = "1999",
    url = "citeseer.ist.psu.edu/article/schapire99theoretical.html"
}

@article{freund99short,
    author = "Yoav Freund and Robert E. Schapire",
    title = "A short introduction to boosting",
    text = "Y. Freund and R. Schapire. A short introduction to boosting,
        J. Japan. Soc. for Artif. Intel. 14(5) (1999), 771-780. 11",
    journal = "J. Japan. Soc. for Artif. Intel.",
    volume = "14",
    number = "5",
    year = "1999",
    pages = "771-780",
    url = "citeseer.ist.psu.edu/freund99short.html"
}

@inproceedings{schapire99brief,
    author = "Robert E. Schapire",
    title = "A Brief Introduction to Boosting",
    booktitle = "International Joint Conference on Artificial Intelligence",
    pages = "1401-1406",
    year = "1999",
    url = "citeseer.ist.psu.edu/schapire99brief.html",
    annote = "Краткое описание алгоритма AdaBoost."
}

@article{bauer99empirical,
    author = "Eric Bauer and Ron Kohavi",
    title = "An Empirical Comparison of Voting Classification Algorithms:
        Bagging, Boosting, and Variants",
    journal = "Machine Learning",
    volume = "36",
    number = "1-2",
    pages = "105-139",
    year = "1999",
    url = "citeseer.ist.psu.edu/bauer99empirical.html"
}

@inproceedings{freund99adaptive,
    author = "Yoav Freund",
    title = "An Adaptive Version of the Boost by Majority Algorithm",
    booktitle = "{COLT}: Proceedings of the Workshop on Computational Learning Theory",
    publisher = "Morgan Kaufmann Publishers",
    year = "1999",
    url = "citeseer.ist.psu.edu/article/freund00adaptive.html"
}

@inproceedings{schapire01boosting,
    author = "R. Schapire",
    title = "The boosting approach to machine learning: An overview",
    booktitle = "MSRI Workshop on Nonlinear Estimation and Classification, Berkeley, CA",
    year = "2001",
    url = "citeseer.ist.psu.edu/schapire02boosting.html"
}

@techreport{moerland99dynaboost,
    author = "P. Moerland and E. Mayoraz",
    title = "DynaBoost: Combining Boosted Hypotheses in a Dynamic Way",
    institution = "IDIAP Research Report 99-09",
    year = "1999",
    url = "citeseer.ist.psu.edu/moerland99dynaboost.html"
}

@inproceedings{grove98boosting,
    author = "Adam J. Grove and Dale Schuurmans",
    title = "Boosting in the Limit: Maximizing the Margin of Learned Ensembles",
    booktitle = "{AAAI}/{IAAI}",
    pages = "692-699",
    year = "1998",
    url = "citeseer.ist.psu.edu/grove98boosting.html"
}

@article{ratsch01soft,
    author = "Gunnar Ratsch and Takashi Onoda and Klaus-Robert Muller",
    title = "Soft Margins for {AdaBoost}",
    journal = "Machine Learning",
    publisher = "Kluwer Academic Publishers",
    volume = "42",
    number = "3",
    pages = "287-320",
    year = "2001",
    url = "citeseer.ist.psu.edu/ratsch00soft.html"
}

@inproceedings{ratsch-improvement,
    author = "Gunnar Ratsch and Takashi Onoda and Klaus Robert Muller",
    title = "An improvement of AdaBoost to avoid overfitting",
    booktitle = "Advances in Neutral Information Processing Systems, Kitakyushu, Japan",
    year = "1998",
    pages = "506-509",
    url = "citeseer.ist.psu.edu/6344.html"
}

@article{kuncheva00designing,
    author = "L. I. Kuncheva and L. C. Jain",
    title = "Designing Classifier Fusion Systems by Genetic Algorithms",
    journal = "{IEEE}-{EC}",
    volume = "4",
    number = "4",
    month = "November",
    pages = "327",
    year = "2000",
    url = "citeseer.ist.psu.edu/kuncheva00designing.html"
}

@inproceedings{skurichina02bagging,
    author = "M. Skurichina and L.I. Kuncheva and R.P.W. Duin",
    title = "Bagging and Boosting for the Nearest Mean Classifier:
        Effects of Sample Size on Diversity and Accuracy",
    booktitle = "Multiple Classifier Systems
        (Proc. Third International Workshop MCS, Cagliari, Italy)",
    volume = "2364",
    publisher = "Springer, Berlin",
    editor = "F. Roli, J. Kittler",
    pages = "62-71",
    year = "2002",
    url = "citeseer.ist.psu.edu/539135.html",
    annote = "При комбинировании классификаторов обычно предполагается,
        что чем сильнее различаются элементы ансамбля,
        тем выше его обобщающая способность (generalization performance).
        Для проверки этой гипотезы исследуется точность (accuracy)
        и~разнообразие (diversity) ансамблей, получаемых методами
        бустинга~\cite{schapire01boosting} и~баггинга~\cite{breiman96bagging}
        над классификаторами ближайших средних
        (Nearest Mean Classifier~\cite{fukunaga90intro}).
        Эксперименты на~4~реальных задачах из~репозитория~UCI~\cite{blake98uci}
        показали, что и~точность, и~разнообразие зависят от~длины обучающей выборки.
        Бустинг работает лучше на больших обучающих выборках, баггинг~--- на~малых.
        При увеличении длины выборки баггинг уменьшает разнообразие классификаторов,
        а~бустинг увеличивает.
        Бустинг лучше воспроизводит границы классов сложной формы."
}
@article{kuncheva03measures,
    author = "L. Kuncheva and C. Whitaker",
    title = "Measures of Diversity in Classifier Ensembles
        and Their Relationship with the Ensemble Accuracy",
    journal = "Machine Learning",
    publisher = "Kluwer Academic Publishers",
    number = "2",
    volume = "51",
    pages = "181-207",
    year = "2003",
    url = "citeseer.ist.psu.edu/kuncheva00measures.html"
}

@article{skurichina02limited,
    author = "Marina Skurichina and Robert P. W. Duin",
    title = "Limited Bagging, Boosting and
        the Random Subspace Method for Linear Classifiers",
    journal = "Pattern Analysis \& Applications",
    publisher = "Springer-Verlag London",
    number = "5",
    pages = "121-135",
    year = "2002",
    url = "citeseer.ist.psu.edu/skurichina02limited.html"
}

@article{kuncheva02experimental,
    author = "L. Kuncheva and M. Skurichina and R. Duin",
    title = "An experimental study on diversity
        for bagging and boosting with linear classifiers",
    journal = "Information Fusion",
    publisher = "Elsevier",
    number = "4",
    volume = "3",
    pages = "245-258",
    year = "2002",
    url = "citeseer.ist.psu.edu/kuncheva02experimental.html"
}

@book{kuncheva04combining,
    author = "L. Kuncheva",
    title = "Combining pattern classifiers",
    publisher = "John Wiley \& Sons, Inc.",
    year = "2004"
}

@inproceedings{jin03new,
    author = "R. Jin and Y. Liu and L. Si and J. Carbonell and A. Hauptmann",
    title = "A new boosting algorithm using input-dependent regularizer",
    booktitle = "The 20-th International Conference on Machine Learning",
    year = "2003",
    url = "citeseer.ist.psu.edu/jin03new.html",
    annote = "
        Предлагается новый вариант алгоритма бустинга WeightBoost,
        более устойчивый к~шумовым искажениям данных,
        и~потому менее склонный к переобучению, чем исходный алгоритм AdaBoost.
        В~новом алгоритме веса базовых классификаторов
        не~постоянны и~зависят от~объекта.
        Для каждого классификатора выделяется своя <<область компетентности>>,
        на~которой он~настраивается наиболее точно.
        Конкретней, вес базового классификатора на~объекте тем меньше,
        чем большее (по~модулю) значение принимает на~данном объекте
        линейная комбинация всех предыдущих классификаторов.
        Именно такими выбросами проявляют себя зашумлённые объекты.
        Таким образом, WeightBoost перестаёт настраиваться на~объектах,
        оказавшихся <<трудными>> для большинства базовых классификаторов,
        считая эти объекты зашумлёнными.
        Предложенный алгоритм сравнивается с~другими вариантами бустинга
        AdaBoost, $\epsilon$-Boost, WeightDecay на~8~реальных задачах из~репозитория~UCI.
        В~6~случаях из~8 результат WeightBoost оказывается не~хуже."
}

@inproceedings{maclin97empirical,
    author = "Richard Maclin and David Opitz",
    title = "An Empirical Evaluation of Bagging and Boosting",
    booktitle = "{AAAI}/{IAAI}",
    pages = "546-551",
    year = "1997",
    url = "citeseer.ist.psu.edu/maclin97empirical.html"
}

@inproceedings{tsymbal-ensemble,
    author = "A. Tsymbal and S. Puuronen",
    title = "Ensemble Feature Selection with the Simple Bayesian Classification in Medical Diagnostics",
    booktitle = "15 {IEEE} Symp. on Computer-Based Medical Systems {CBMS}",
    pages = "225",
    year = "2002",
    url = "citeseer.ist.psu.edu/623033.html"
}

@article{dietterich00experimental,
    author = "Thomas G. Dietterich",
    title = "An Experimental Comparison of Three Methods
        for Constructing Ensembles of Decision Trees: Bagging, Boosting, and Randomization",
    journal = "Machine Learning",
    volume = "40",
    number = "2",
    pages = "139-157",
    year = "2000",
    url = "citeseer.ist.psu.edu/article/dietterich98experimental.html"
}

@article{ho98random,
    author = "Tin Kam Ho",
    title = "The Random Subspace Method for Constructing Decision Forests",
    journal = "IEEE Transactions on Pattern Analysis and Machine Intelligence",
    volume = "20",
    number = "8",
    pages = "832-844",
    year = "1998",
    url = "citeseer.ist.psu.edu/ho98random.html"
}

@inproceedings{ting99improving,
    author = "Kai Ming Ting and Zijian Zheng",
    title = "Improving the Performance of Boosting for Naive Bayesian Classification",
    booktitle = "Pacific-Asia Conference on Knowledge Discovery and Data Mining",
    pages = "296-305",
    year = "1999",
    url = "citeseer.ist.psu.edu/article/ting99improving.html"
}

@inproceedings{zheng-multiple,
    author = "Z. Zheng and G. Webb",
    title = "Multiple Boosting: A combination of Boosting and Bagging",
    booktitle = "Proceedings of the 4th International Conference on Parallel
    and Distributed Processing Techniques and Applications. CSREA Press",
    pages = "1133-1140",
    year = "1998",
    url = "citeseer.ist.psu.edu/zheng98multiple.html"
}

@inproceedings{zheng98integrating,
    author = "Zheng, Z. and Webb, G.I. and Ting, K.M.",
    title = "Integrating Boosting and stochastic attribute selection committees
        for further improving the performance of decision tree learning",
    booktitle = "Proceedings of the 10th IEEE International Conference
        on Tools with Artificial Intelligence",
    publisher = "IEEE Computer Society Press",
    pages = "216-223",
    year = "1998",
    url = "http://citeseer.ist.psu.edu/article/zheng98integrating.html"
}

@inproceedings{zheng99stochastic,
    author = "Zijian Zheng and Geoffrey I. Webb",
    title = "Stochastic Attribute Selection Committees with Multiple Boosting:
        Learning More Accurate and More Stable Classifer Committees",
    booktitle = "Pacific-Asia Conference on Knowledge Discovery and Data Mining",
    pages = "123-132",
    year = "1999",
    url = "citeseer.ist.psu.edu/article/zheng98stochastic.html"
}

@article{zheng03multistrategy,
    author = "Zijian Zheng and Geoffrey I. Webb",
    title = "Multi Strategy Ensemble Learning: Reducing Error by Combining Ensemble Learning Techniques",
    journal = "IEEE transactions on knowledge and data engineering",
    volume = "16",
    number = "8",
    pages = "980-991",
    year = "2004",
    url = "www.csse.monash.edu.au/~webb/Files/WebbZheng03.pdf"
}

@inproceedings{ridgeway98interpretable,
    author = "Greg Ridgeway and David Madigan and Thomas Richardson and John O'Kane",
    title = "Interpretable Boosted Naive Bayes Classification",
    booktitle = "Knowledge Discovery and Data Mining",
    pages = "101-104",
    year = "1998",
    url = "citeseer.ist.psu.edu/ridgeway98interpretable.html"
}

@inproceedings{zheng98naive,
    author = "Zijian Zheng",
    title = "Naive Bayesian Classifier Committees",
    booktitle = "European Conference on Machine Learning",
    pages = "196-207",
    year = "1998",
    url = "citeseer.ist.psu.edu/zheng98naive.html"
}

@inproceedings{domingos97why,
    author = "Pedro Domingos",
    title = "Why Does Bagging Work? A Bayesian Account and its Implications",
    booktitle = "Knowledge Discovery and Data Mining",
    pages = "155-158",
    year = "1997",
    url = "citeseer.ist.psu.edu/21089.html"
}

@inproceedings{evgeniou00bounds,
    author = "Theodoros Evgeniou and Luis Perez-Breva and Massimiliano Pontil and Tomaso Poggio",
    title = "Bounds on the Generalization Performance of Kernel Machine Ensembles",
    booktitle = "Proc. 17th International Conf. on Machine Learning",
    publisher = "Morgan Kaufmann, San Francisco, CA",
    pages = "271--278",
    year = "2000",
    url = "citeseer.ist.psu.edu/evgeniou99bounds.html"
}

@bibsection{combinations,
    title = "Комбинации классификаторов (Combined Classifiers)"
}

@book{rastrigin81collectiv,
    author = "Л. А. Растригин  and Р. Х. Эренштейн",
    title = "Коллективные правила распознавания",
    publisher = "М.:~Энергия",
    pages = "244",
    year = "1981"
}

@book{braverman70potential,
    author = "М. А. Айзерман and Э. М. Браверман  and Л. И. Розоноэр",
    title = "Метод потенциальных функций в теории обучения машин",
    publisher = "М.:~Наука",
    pages = "320",
    year = "1970"
}

@article{mazurov71committee,
    author = "Мазуров, В. Д.",
    title = "Комитеты системы неравенств и задача распознавания",
    journal = "Кибернетика",
    publisher = "Киев",
    number = "3",
    year = "1971",
    language = "russian"
}

@book{mazurov90committee,
    author = "Вл. Д. Мазуров",
    title = "Метод комитетов в задачах оптимизации и классификации",
    publisher = "М.:~Наука",
    year = "1990"
}

@article{osborne77seniority,
    author = "Osborne, M. L.",
    title = "The Seniority Logic: A Logic for a  Committee Machine",
    journal = "IEEE Trans. on Comp.",
    volume = "C-26",
    number = "12",
    pages = "1302--1306",
    year = "1977"
}

@incollection{beletskii84seniority,
    author = "Н. Г. Белецкий",
    title = "Применение комитетов для многоклассовой классификации",
    booktitle = "Численный анализ решения задач линейного и~выпуклого программирования",
    publisher = "Свердловск",
    pages = "156--162",
    year = "1983",
    language = "russian"
}

@article{wolpert92stacked,
    author = "Wolpert, D. H.",
    title = "Stacked Generalization",
    journal = "Neural Networks",
    publisher = "Pergamon Press",
    number = "5",
    pages = "241-259",
    year = "1992",
    url = "citeseer.ist.psu.edu/wolpert92stacked.html"
}

@article{dempster77em,
    author = "Dempster, A. P. and  Laird, N. M. and Rubin, D. B.",
    title = "Maximum likelihood from incomplete data via the {EM} algorithm",
    journal = "J. of the Royal Statistical Society, Series B",
    number = "34",
    pages = "1-38",
    year = "1977"
}

@article{wu83convergence,
    author = "Wu, C. F. G.",
    title = "On~the convergence properties of the~{EM} algorithm",
    journal = "The Annals of Statistics",
    number = "11",
    pages = "95--103",
    year = "1983"
}

@techreport{xu93theoretical,
    author = "Lei Xu and Michael I. Jordan",
    title = "Theoretical and experimental studies of the~{EM} algorithm
        for unsupervised learning based on finite Gaussian mixtures",
    number = "9302",
    institution = "MIT Computational Cognitive Science, Cambridge, MA",
    year = "1993"
}

@techreport{jordan93convergence,
    author = "Michael I. Jordan and Lei Xu",
    title = "Convergence results for the~{EM} algorithm
        to mixtures of experts architectures",
    number = "A.I. Memo No. 1458",
    institution = "MIT, Cambridge, MA",
    year = "1993"
}

@article{jacobs93hierarchical,
    author = "Jacobs, R. A. and Jordan, M. I. and Nowlan, S. J. and Hinton, G. E.",
    title = "Adaptive Mixtures of Local Experts",
    journal = "Neural Computation",
    number = "3",
    pages = "79-87",
    year = "1991"
}

@article{jordan93hierarchical,
    author = "Michael I. Jordan and Robert A. Jacobs",
    title = "Hierarchical Mixtures of Experts and the {EM} Algorithm",
    journal = "Neural Computation",
    number = "6",
    pages = "181-214",
    year = "1994",
    url = "citeseer.ist.psu.edu/article/jordan94hierarchical.html"
}

@inproceedings{fritsch97adaptively,
    author = "Juergen Fritsch and Michael Finke and Alex Waibel",
    title = "Adaptively Growing Hierarchical Mixtures of Experts",
    booktitle = "Advances in Neural Information Processing Systems",
    volume = "9",
    publisher = "The {MIT} Press",
    editor = "Michael C. Mozer and Michael I. Jordan and Thomas Petsche",
    pages = "459",
    year = "1997",
    url = "citeseer.ist.psu.edu/73627.html"
}

@inproceedings{waterhouse94classification,
    author = "S. R. Waterhouse and A. J. Robinson",
    title = "Classification using hierarchical mixtures of experts",
    booktitle = "Proceedings of the 1994 {IEEE} Workshop on Neural Networks for Signal Processing {IV}",
    publisher = "IEEE Press",
    address = "Long Beach, CA",
    pages = "177--186",
    year = "1994",
    url = "citeseer.ist.psu.edu/waterhouse94classification.html"
}

@inproceedings{tresp95combining,
    author = "Volker Tresp and Michiaki Taniguchi",
    title = "Combining Estimators Using Non-Constant Weighting Functions",
    booktitle = "Advances in Neural Information Processing Systems",
    volume = "7",
    publisher = "The {MIT} Press",
    editor = "G. Tesauro and D. Touretzky and T. Leen",
    pages = "419--426",
    year = "1995",
    url = "citeseer.ist.psu.edu/tresp95combining.html"
}

@incollection{tresp01committee,
    author = "Volker Tresp",
    title = "Committee machines",
    booktitle = "Handbook for Neural Network Signal Processing",
    publisher = "CRC Press",
    editor = "Y. H. Hu and J.-N. Hwang",
    year = "2001",
    url = "citeseer.ist.psu.edu/tresp01committee.html"
}

@inproceedings{boser92training,
    author = "Bernhard E. Boser and Isabelle Guyon and Vladimir Vapnik",
    title = "A Training Algorithm for Optimal Margin Classifiers",
    booktitle = "Computational Learning Theory",
    pages = "144-152",
    year = "1992",
    url = "citeseer.ist.psu.edu/boser92training.html"
}

@inproceedings{bartlett97for,
    author = "Peter L. Bartlett",
    title = "For Valid Generalization
        the Size of the Weights is More Important than the Size of the Network",
    booktitle = "Advances in Neural Information Processing Systems",
    volume = "9",
    publisher = "The {MIT} Press",
    editor = "Michael C. Mozer and Michael I. Jordan and Thomas Petsche",
    pages = "134",
    year = "1997",
    url = "citeseer.ist.psu.edu/bartlett97for.html",
    annote = "Даётся качественно новое,
        по сравнению с~теорией Вап\-ни\-ка-Черво\-нен\-киса~\cite{vapnik74rus},
        обоснование применимости выпуклых комбинаций обучаемых алгоритмов,
        в~частности, нейронных сетей.
        Оказывается, сложность выпуклой комбинации классификаторов равна
        не~суммарной, и~даже не~максимальной (как ранее предполагалось),
        а~средней взвешенной сложности отдельных классификаторов
        с~теми~же весами, с~которыми они входят в~комбинацию.
        Вытекающие отсюда оценки обобщающей способности
        (generalization performance) существенно лучше сложностных оценок,
        хотя и~они всё ещё сильно завышены.
        Полученный результат дает теоретическое обоснование эвристикам,
        направленным на~уменьшение весов в~процессе обучения,
        таким как weight decay и early stopping."
}

@article{bartlett96fatshattering,
    author = "Peter L. Bartlett and Philip M. Long and Robert C. Williamson",
    title = "Fat-Shattering and the Learnability of Real-Valued Functions",
    journal = "Journal of Computer and System Sciences",
    volume = "52",
    number = "3",
    pages = "434-452",
    year = "1996",
    url = "citeseer.ist.psu.edu/bartlett95fatshattering.html"
}

@article{bartlett98ieee,
    author = "P.L. Bartlett",
    title = "The sample complexity of pattern classification with neural networks:
        the size of the weights is more important than the size of the network",
    journal = "IEEE Transactions on Information Theory",
    year = "1998",
    volume = "44",
    number = "2",
    pages = "525-536",
    url = "discus.anu.edu.au/~bartlett",
    annote = "Теория обучаемых систем говорит,
        что нейронная сеть имеет хорошую обобщающую способность,
        если число обучающих объектов зависит по~меньшей мере линейно
        от~количества настраиваемых параметров сети.
        В~статье показывается, что если алгоритм обучения находит
        сеть с~малыми весами и~малой квадратичной ошибкой на обучении,
        то~обобщающая способность зависит от~величины весов
        в~б\'ольшей степени, чем от~их~количества.
        Техника доказательств, основанная на понятиях отступа (margin)
        и~fat-размерности (fat-shattering dimension),
        может быть применена и~к~другим алгоритмам распознавания.
        В~частности, этот~же подход распространяется на~случай
        метрического пространства объектов, когда
        алгоритм обучения строит разделяющую поверхность,
        проходящую в~достаточном удалении от~обучающих объектов."
}

@article{lee98convexity,
    author = "Wee Sun Lee and Peter Bartlett and R. C. Williamson",
    title = "The importance of convexity in learning with squared loss",
    journal = "IEEE Transactions on Information Theory",
    volume = "44",
    number = "5",
    pages = "1974--1980",
    year = "1998",
    url = "citeseer.ist.psu.edu/206820.html"
}

@techreport{mason98direct,
    author = "L. Mason and P. Bartlett and J. Baxter",
    title = "Direct optimization of margins
        improves generalization in combined classifiers",
    text = "Llew Mason, Peter Bartlett, and Jonathan Baxter.
        Direct optimization of margins improves generalization in combined classifiers.
        Technical report,
        Deparment of Systems Engineering, Australian National University, 1998.",
    institution = "Deparment of Systems Engineering, Australian National University",
    year = "1998",
    url = "citeseer.ist.psu.edu/mason98direct.html"
}

@techreport{mason97generalization,
    author = "L. Mason and P. Bartlett and M. Golea",
    title = "Generalization error of combined classifiers",
    text = "Llew Mason, Peter Bartlett, and Mostefa Golea. Generalization error of
        combined classifiers. Technical report, Department of Systems Engineering,
        Australian National University, September 1997.",
    institution = "Department of Systems Engineering, Australian National University",
    year = "1997",
    url = "citeseer.ist.psu.edu/mason97generalization.html",
    annote = "Выводится верхняя оценка вероятности ошибки
        для решающих правил, представимых в~виде
        пороговой выпуклой комбинации
        пороговых выпуклых комбинаций базовых классификаторов.
        К~данному типу правил относятся нейросети с~одним скрытым уровнем,
        а~также алгоритмы взвешенного голосования
        (в~частности, бустинг~\cite{schapire01boosting}) над решающими деревьями.
        Полученные оценки зависят от~доли обучающих объектов
        с~малым отступом (margin) и~средневзвешенной сложности
        базовых классификаторов, взятых с~теми~же весами,
        с~которыми они входят в~выпуклую комбинацию.
        Используется представление бинарных решающих деревьев
        в~виде пороговых выпуклых комбинаций.
        Вводится новая мера сложности решающего дерева~---
        эффективное число листьев, которое зависит от~распределения
        обучающих объектов по~листьям дерева.
        Оно~может оказаться существенно меньше общего числа листьев,
        если значительная доля листьев редко используется при классификации,
        занимаясь обработкой <<исключительных ситуаций>>."
}

@phdthesis{mason99margins,
    author = "Llew Mason",
    title = "Margins and Combined Classifiers",
    school = "Australian National University",
    year = "1999"
}

@incollection{rosset03margin,
    author = "Saharon Rosset and  Ji Zhu and  Trevor Hastie",
    title = "Margin Maximizing Loss Functions",
    booktitle = "Advances in Neural Information Processing Systems 16",
    editor = "Sebastian Thrun and Lawrence Saul and Bernhard {Sch\"{o}lkopf}",
    publisher = "MIT Press",
    address = "Cambridge, MA",
    year = "2004",
    url = "citeseer.ist.psu.edu/rosset03margin.html"
}

@inproceedings{allwein00reducing,
    author = "Erin L. Allwein and Robert E. Schapire and Yoram Singer",
    title = "Reducing Multiclass to Binary: {A} Unifying Approach for Margin Classifiers",
    booktitle = "Proc. 17th International Conf. on Machine Learning",
    publisher = "Morgan Kaufmann, San Francisco, CA",
    pages = "9--16",
    year = "2000",
    url = "citeseer.ist.psu.edu/article/allwein00reducing.html" }

@inproceedings{golea98generalization,
    author = "Mostefa Golea and Peter Bartlett and Wee Sun Lee and Llew Mason",
    title = "Generalization in Decision Trees and {DNF}: Does Size Matter?",
    booktitle = "Advances in Neural Information Processing Systems",
    volume = "10",
    publisher = "The {MIT} Press",
    editor = "Michael I. Jordan and Michael J. Kearns and Sara A. Solla",
    year = "1998",
    url = "citeseer.ist.psu.edu/golea97generalization.html",
    annote = "Последние исследования~\cite{bartlett98ieee} продемонстрировали,
        что вероятность ошибки пороговых выпуклых комбинаций
        (таких, как машины опорных векторов, сигмоидальные нейросети и~бустинг)
        не~зависит от~сложности классификатора и~может быть существенно ниже границ,
        предсказываемых теорией Вапника-Червоненкиса~\cite{vapnik74rus}.
        В~данной статье этот результат обобщается на~класс булевых функций,
        представимых в~виде выпуклой комбинации булевых функций (термов)
        с~пороговым решающим правилом.
        В~таком виде представимы бинарные решающие деревья
        и дизъюнктивные нормальные формы.
        С~помощью техники~\cite{bartlett98ieee} показывается,
        что сложность комбинации равна средней взвешенной сложности термов,
        взятых с~теми~же весами, с~которыми они входят в~комбинацию.
        Вводится новая мера сложности~--- эффективное число термов,
        которое может оказаться существенно меньше, когда
        значительная доля термов редко используется при классификации,
        занимаясь обработкой <<исключительных ситуаций>>."
}

@article{bax98validation,
    author = "Eric T. Bax",
    title = "Validation of Voting Committees",
    journal = "Neural Computation",
    volume = "10",
    number = "4",
    pages = "975-986",
    year = "1998",
    url = "citeseer.ist.psu.edu/bax97validation.html"
}

@misc{smola00advances,
    author = "A. Smola and P. Bartlett and B. Scholkopf and D. Schuurmans",
    title = "Advances in Large Margin Classifiers",
    howpublished = "MIT Press, Cambridge, MA",
    year = "2000",
    url = "citeseer.ist.psu.edu/article/smola00advances.html"
}

@techreport{garg01generalization,
    author = "A. Garg and S. Har-Peled and D. Roth",
    title = "Generalization bounds for linear learning algorithms",
    institution = "University of Illinois, Department of Computer Science",
    number = "UIUCDCS-R-",
    year = "2001",
    url = "citeseer.ist.psu.edu/455960.html"
}

@inproceedings{garg02generalization,
    author = "Ashutosh Garg and Sariel Har-Peled and Dan Roth",
    title = "On Generalization Bounds, Projection Profile, and Margin Distribution",
    booktitle = "ICML'02",
    year = "2002",
    url = "citeseer.ist.psu.edu/600544.html"
}

@inproceedings{garg03margin,
    author = "Ashutosh Garg and Dan Roth",
    title = "Margin Distribution and Learning Algorithms",
    booktitle = "ICML'03",
    year = "2002",
    url = "citeseer.ist.psu.edu/600544.html"
}

@misc{koltchinskii00empirical,
    author = "V. Koltchinskii and D. Panchenko",
    title = "Empirical margin distributions
        and bounding the generalization error of combined classifiers",
    year = "2000",
    url = "citeseer.ist.psu.edu/koltchinskii00empirical.html"
}

@techreport{evgeniou-leave,
    author = "Theodoros Evgeniou and Massimiliano Pontil and Andre Elisseeff",
    title = "Leave one out error, stability, and generalization
        of voting combinations of classifiers",
    institution = "INSEAD",
    number = "2001-21-TM",
    year = "2001",
    url = "citeseer.ist.psu.edu/445768.html",
    annote = "
        Исследуется обобщающая способность алгоритмов взвешенного голосования
        вещественнозначных классификаторов.
        Рассматривается частный случай, когда
        голосование производится методом баггинга~\cite{breiman96bagging}
        при фиксированных весах,
        а~в~качестве классификаторов используются ядерные алгоритмы (kernel machines).
        В~частности, это могут быть машины опорных векторов
        (SVM,~support vector machines~\cite{cortes95supportvector}),
        построенные с~разными ядрами, по~разным обучающим подвыборкам,
        и/или по~различным подописаниям объектов.
        В~отличие от~принятого подхода, обобщающая способность характеризуется
        не~вероятностью ошибочной классификации,
        а~ошибкой скользящего контроля с~одним отделяемым объектом
        (Loo,~leave-one-out cross-validation).
        Выводится верхняя оценка Loo для машин опорных векторов.
        При фиксированных весах Loo~выпуклой комбинации нескольких~SVM
        оценивается сверху суммой их~Loo, взятых с~теми~же весами.
        Выводятся новые оценки стабильности выпуклой комбинации классификаторов.
        Ошибка скользящего контроля стабильных алгоритмов
        сходится к~вероятности ошибочной классификации
        со~скоростью порядка корня квадратного от~длины выборки.
        Это означает, что при определённых условиях
        баггинг может увеличивать стабильность базовых классификаторов.
        Теоретические оценки подтверждаются экспериментами
        на~4~реальных задачах из~репозитория~UCI,
        а~также на~выборке рукописных символов,
        предоставленной почтовой службой США~\cite{lecun89backprop}.
        Приводятся результаты экспериментального сравнения
        обобщающей способности взвешенного голосования
        при фиксированных и~настраиваемых весах,
        а~также отдельных классификаторов без голосования.
        Комбинации с~настраиваемыми весами существенно менее чувствительны
        к~изменениям ядер в~базовых классификаторах.
        Отмечается, что взвешенное голосование~SVM
        практически не~улучшает обобщающую способность по~сравнению с~отдельной~SVM.
        Тем~не~менее, взвешенное голосование обладает существенно большей
        эффективностью при распараллеливании,
        поскольку базовые алгоритмы можно настраивать на~подвыборках
        существенно меньшей длины."
}

@article{antos02datadependent,
    author = "Antos, A. and Kegl, B. and Linder, T. and Lugosi, G.",
    title = "Data-dependent margin-based generalization bounds for classification",
    journal = "Journal of Machine Learning Research",
    year = "2002",
    pages = "73--98",
    url = "citeseer.ist.psu.edu/article/antos02datadependent.html"
}

@article{khachay02psis67,
    author = "Mazurov, Vl.D. and Khachai, M.Yu. and Rybin, A.I.",
    title = "Committee Constructions for Solving Problems
        of~Selection, Diagnostics and Prediction",
    journal = "Proceedings of the Steklov Institute of mathematics",
    year = "2002",
    volume = "1",
    pages = "67-101",
    url = "tom.imm.uran.ru/khachay/publications/mine/psis67.pdf"
}

@article{voron05twim,
    author = "Воронцов, К. В. and Каневский, Д. Ю.",
    title = "Коэволюционный метод обучения алгоритмических композиций",
    journal = "Таврический вестник информатики и математики",
    year = "2005",
    number = "2",
    pages = "51-66",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron05twim.pdf",
    annote = "
        Рассматривается новый метод построения алгоритмических композиций
        в~задачах обучения по~прецедентам.
        Данный метод является развитием идей
        алгебраического подхода к~проблеме распознавания,
        а~также методов бустинга, бэггинга и~случайных подпространств.
        Для обучения базовых алгоритмов применяется
        специальный генетический алгоритм~--- кооперативная коэволюция.
        Метод является универсальным, то~есть может применяться
        к~любым семействам базовых алгоритмов,
        любым корректирующим операциям и~любым методам их~настройки.
        Эксперименты на реальных задачах классификации из~репозитария~UCI
        показывают, что данный метод
        позволяет строить композиции из~малого числа алгоритмов,
        обладающие достаточно высокой обобщающей способностью."
}

@bibsection{modelselection,
    title = "Выбор модели алгоритмов (Model Selection)"
}

@book{ivax87model,
    author = "Ивахненко, А. Г. and Юрачковский, Ю. П.",
    title = "Моделирование сложных систем по экспериментальным данным",
    publisher = "М.: Радио и связь",
    year = "1987",
    language = "russian"
}

@inproceedings{kearns95experimental,
    author = "Michael J. Kearns and Yishay Mansour and Andrew Y. Ng and Dana Ron",
    title = "An Experimental and Theoretical Comparison of Model Selection Methods",
    booktitle = "8th Conf. on Computational Learning Theory, Santa Cruz, California, US",
    pages = "21-30",
    year = "1995",
    url = "citeseer.ist.psu.edu/kearns95experimental.html",
    annote = "
        Сравнивается обобщающая способность трёх методов
        выбора модели оптимальной сложности в~задачах классификации:
        GRM~--- гарантированная минимизация риска по~Вапнику,
        MDL~--- принцип минимальной длины описания по~Риссанену,
        CV~--- скользящий контроль.
        Первые два основаны на~явном введении штрафа за сложность.
        На~модельной задаче ни~один из~них не~оказался универсально лучшим.
        GRM~склонен переупрощать, а~MDL~--- переусложнять модель.
        При наличии шума эти эффекты усиливаются
        и~не~устраняются умножением штрафной функции на~константу.
        Обобщающая способность~CV ограничена сверху оценкой,
        немного худшей, чем вероятность ошибки произвольного штрафного метода
        на~выборках несколько меньшего объёма.
        Для любого штрафного метода существует задача,
        на~которой он~вообще не~способен определить оптимум сложности модели.
        CV~более устойчив к~шуму и~быстрее сходится с~ростом длины выборки.
        Вывод: при отсутствии обоснованного предпочтения штрафных методов
        лучше применять~CV."
}

@techreport{andersson98measuring,
    author = "A. Andersson and P. Davidsson and J. Lind'en",
    title = "Measuring generalization quality",
    text = "A. Andersson, P. Davidsson, and J. Lind'en.
        Measuring generalization quality.
        Technical Report LU--CS--TR: 98--202,
        Department of Computer Science, Lund University, Lund, Sweden, 1998.",
    institution = "Department of Computer Science, Lund University, Lund, Sweden",
    number = "LU--CS--TR: 98--202",
    year = "1998",
    url = "citeseer.ist.psu.edu/andersson98measuring.html"
}

@bibsection{stability,
    title = "Стабильность алгоритмов обучения (Stability of Learning Algorithms)"
}

@article{rogers78measure,
    author = "Rogers, W. and Wagner, T",
    title = "A finite sample distribution-free performance bound for local discrimination rules",
    journal = "Annals of Statistics",
    volume = "6",
    number = "3",
    pages = "506-514",
    year = "1978"
}

@article{devroye79inequal,
    author = "L. P. Devroye and T. J. Wagner",
    title = "Distribution-free inequalities for the deleted and holdout error estimates",
    journal = "IEEE Transactions on Information Theory",
    volume = "25",
    number = "2",
    pages = "202--207",
    year = "1979"
}

@article{devroye79pfr,
    author = "L. P. Devroye and T. J. Wagner",
    title = "Distribution-free performance bounds for potential function rules",
    journal = "IEEE Transactions on Information Theory",
    volume = "25",
    number = "5",
    pages = "601--604",
    year = "1979"
}

@article{devroye94strong,
    author = "L. Devroye and L. Gyorfi and A. Krzyzak and G. Lugosi",
    title = "On the strong universal consistency of nearest neighbor
        regression function estimates",
    journal = "Annals of Statistics",
    year = "1994",
    number = "22",
    pages = "1371--1385",
    url = "citeseer.ist.psu.edu/devroye92strong.html"
}

@techreport{bax97similar,
    author = "Eric T. Bax",
    title = "Similar Classifiers and {VC} Error Bounds",
    number = "CalTech-CS-TR97-14",
    month = "6",
    pages = "19",
    year = "1997",
    url = "citeseer.ist.psu.edu/bax97similar.html"
}

@inproceedings{bousquet00algorithmic,
    author = "Olivier Bousquet and Andre Elisseeff",
    title = "Algorithmic Stability and Generalization Performance",
    booktitle = "Advances in Neural Information Processing Systems 13",
    pages = "196-202",
    year = "2001",
    url = "citeseer.ist.psu.edu/article/bousquet00algorithmic.html",
    annote = "
        Получены новые оценки обобщающей способности,
        которые не~зависят от~сложности семейства алгоритмов
        и~используют только свойство стабильности метода обучения.
        Метод обучения называется стабильным, если удаление одного обучающего
        объекта приводит к~незначительному изменению результирующего алгоритма.
        Для сопоставления полученных оценок с~классическими
        вместо функционала равномерной сходимости вводится
        новый функционал качества, явным образом зависящий от~метода обучения
        (отображения, которое обучающей выборке ставит в~соответствие алгоритм).
        Для данного функционала остаются верны все классические оценки,
        использующие различные меры сложности семейства алгоритмов:
        мощность покрытия, функцию роста или фат-размерность.
        Перечисленные общие результаты справедливы как~для задач классификации,
        так и~для восстановления регрессии.
        Показано, что алгоритмы построения линейной регрессии
        и~некоторые алгоритмы, использующие принцип регуляризации,
        являются стабильными.
        При~этом увеличение регуляризирующего коэффициента
        приводит к~увеличению стабильности.
        Отмечается, что в~общем случае стабильность не~даёт лучших оценок
        обобщающей способности, чем классический сложностный подход.
        Тем не~менее, усиление оценок возможно
        при наличии подходящей априорной информации.
        Такой информацией может быть
        распределение на~множестве исходных объектов в~случае линейной регрессии,
        либо модель предметной области в~случае методов регуляризации."
}

@article{bousquet01stability,
    author = "Olivier Bousquet and Andre Elisseeff",
    title = "Stability and generalization",
    journal = "Journal of Machine Learning Research",
    number = "2",
    pages = "499-526",
    year = "2002",
    url = "citeseer.ist.psu.edu/article/bousquet00stability.html",
    annote = "
        Работа является развитием~\cite{bousquet00algorithmic}.
        Выводятся новые верхние оценки обобщающей способности
        стабильных алгоритмов классификации и~восстановления регрессии.
        Оценивается отклонение средней ошибки на~обучении от~матожидания ошибки,
        а~также отклонение скользящего контроля с~одним отделяемым объектом
        (leave-one-out cross-validation) от~матожидания ошибки.
        В~обоих случаях оценки не~зависят от~сложности семейства алгоритмов,
        а~только от~стабильности метода обучения,
        причём во~втором случае оценки несколько точнее.
        Вводятся несколько понятий стабильности.
        Условие равномерной стабильности (uniform stability)
        сильнее стабильности результирующих алгоритмов (hypothesis stability),
        которое, в~свою очередь, сильнее стабильности ошибок (error stability).
        Стабильность классификации (classification stability)
        является вариантом равномерной стабильности,
        адаптированным для случая вещественнозначных классификаторов.
        Для равномерно стабильных методов получены полиномиальные оценки,
        обобщающие результаты Девроя и~Вагнера~\cite{devroye79inequal}.
        Для случая стабильности алгоритмов получены новые экспоненциальные оценки.
        Ранее свойство стабильности было доказано только для локальных
        методов типа ближайших соседей.
        В~данной работе доказывается стабильность широкого класса методов,
        основанных на~минимизации регуляризованных функционалов.
        Этот результат применяется к~методу опорных векторов (SVM)
        и~регуляризации с~использованием дивергенции Кульбака-Лейблера
        (относительной энтропии)."
}

@misc{kutin-interaction,
    author = "Samuel Kutin and Partha Niyogi",
    title = "The interaction of stability and weakness in {A}da{B}oost",
    year = "2001",
    url = "citeseer.ist.psu.edu/kutin01interaction.html"
}

@techreport{kutin02almosteverywhere,
    author = "Samuel Kutin and Partha Niyogi",
    title = "Almost-everywhere algorithmic stability and generalization error",
    text = "S. Kutin and P. Niyogi.
        Almost-everywhere algorithmic stability and generalization error.
        Technical report TR-2002-03, University of Chicago, 2002. 6",
    number = "TR-2002-03",
    institution = "University of Chicago",
    year = "2002",
    url = "citeseer.ist.psu.edu/kutin02almosteverywhere.html"
}

@article{elisseeff05stability,
    author = "Andre Elisseeff and Theodoros Evgeniou and Massimiliano Pontil",
    title = "Stability of Randomized Learning Algorithms",
    journal = "Journal of Machine Learning Research",
    number = "6",
    pages = "55-79",
    year = "2005",
    url = "jmlr.csail.mit.edu"
}


@bibsection{crossval,
    title = "Скользящий контроль (Cross Validation)"
}

@book{efron82jackboot,
    author = "Efron, B.",
    title = "The Jackknife, the Bootstrap, and Other Resampling Plans",
    publisher = "SIAM, Philadelphia",
    year = "1982",
}

@book{efron88moscow,
    author = "Эфрон, Б.",
    title = "Нетрадиционные методы многомерного статистического анализа",
    publisher = "М: Финансы и статистика",
    year = "1988",
}

@inproceedings{kohavi95study,
    author = "Ron Kohavi",
    title = "A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection",
    booktitle = "14th International Joint Conference on Artificial Intelligence,
        Palais de Congres Montreal, Quebec, Canada",
    pages = "1137-1145",
    year = "1995",
    url = "citeseer.ist.psu.edu/kohavi95study.html"
}

@inproceedings{kearns96bound,
    author = "Michael Kearns",
    title = "A Bound on the Error of Cross Validation
        Using the Approximation and Estimation Rates,
        with Consequences for the Training-Test Split",
    booktitle = "Advances in Neural Information Processing Systems",
    volume = "8",
    publisher = "The {MIT} Press",
    editor = "David S. Touretzky and Michael C. Mozer and Michael E. Hasselmo",
    pages = "183--189",
    year = "1996",
    url = "citeseer.ist.psu.edu/kearns96bound.html",
    annote = "
        Рассматривается метод структурной минимизации риска, в~котором
        семейство оптимальной сложности выбирается по~результату теста
        на~независимой контрольной выборке.
        Выводится оценка вероятности ошибки для алгоритма,
        получаемого данным методом.
        Оценка зависит от ёмкости (VC-dimension) рассматриваемых семейств.
        На~модельной задаче <<выделения одномерных интервалов>>
        исследуется вопрос об~оптимальном соотношении
        между числом обучающих и~тестовых объектов.
        При невысокой сложности восстанавливаемой зависимости
        оценка слабо зависит от~этого соотношения.
        По~мере увеличения сложности оптимум становится более выраженным,
        оптимальное значение доли тестовых объектов уменьшается.
        Рекомендуемое соотношение, подходящее для большинства случаев~---
        около~10\% тестовых объектов."
}

@inproceedings{kearns97algorithmic,
    author = "Michael J. Kearns and Dana Ron",
    title = "Algorithmic Stability and Sanity-Check Bounds
        for Leave-one-Out Cross-Validation",
    booktitle = "Computational Learning Theory",
    pages = "152--162",
    year = "1997",
    url = "citeseer.ist.psu.edu/kearns97algorithmic.html",
    annote = "
        Принято считать, что скользящий контроль
        характеризует обобщающую способность алгоритма лучше,
        чем частота ошибок на обучающей выборке.
        В~данной статье авторам удаётся показать лишь то,
        что он не~может характеризовать её существенно хуже.
        Рассматривается задача классификации на два класса
        и~функционал скользящего контроля с~одним отделяемым объектом
        (leave-one-out cross-validation).
        Выводится верхняя оценка отклонения скользящего контроля
        от~вероятности ошибки алгоритма, полученного по~той~же выборке.
        Данная оценка аналогична оценкам
        отклонения частоты ошибок на~обучении от~вероятности ошибки,
        полученным в~статистической теории Вапника-Червоненкиса.
        Она также зависит от~ёмкости семейства алгоритмов,
        и~также справедлива при произвольном распределении вероятностей
        на~множестве объектов, то~есть является оценкой <<худшего случая>>.
        Отличие заключается в~том, что для оценивания скользящего контроля
        потребовалось ввести два дополнительных предположения.
        Во-первых, метод обучения должен обладать свойством стабильности,
        когда малое изменение обучающей выборки приводит
        к~малому изменению обученного алгоритма.
        Вводится два различных понятия стабильности:
        стабильность результирующих алгоритмов (hypothesis stability),
        и стабильность ошибок (error stability).
        Предположение о~стабильности ошибок является менее обременительным
        и~лучше подходит для случая, когда восстанавливаемая зависимость
        не~обязательно содержится в~семействе алгоритмов (unrealizable case).
        Доказывается, что для семейств конечной ёмкости
        метод минимизации эмпирического риска является стабильным.
        Во-вторых, скользящий контроль должен <<переоценивать>> (overestimate)
        частоту ошибок на~обучении, то~есть
        значение скользящего контроля с~высокой вероятностью
        должно быть не~сильно меньше частоты ошибок на~обучении.
        Несмотря~на указанные дополнительные предположения,
        полученная оценка даёт всего лишь <<разумные>> верхние границы
        (sanity-check bounds) для отклонения скользящего контроля
        от~вероятности ошибок.
        Выводятся также нижние оценки, показывающие необходимость
        требований стабильности, переоценивания и~конечной ёмкости.
        Таким образом, подтвердить исходное предположение
        об~<<особой эффективности>> скользящего контроля пока не~удаётся."
}

@inproceedings{ng97preventing,
    author = "Andrew Y. Ng",
    title = "Preventing Overfitting of cross-validation data",
    booktitle = "Proc. 14th International Conference on Machine Learning",
    publisher = "Morgan Kaufmann",
    pages = "245--253",
    year = "1997",
    url = "citeseer.ist.psu.edu/ng97preventing.html",
    annote = "
        Исследуется эффект переобучения, возникающий при выборе модели
        из~заданного конечного набора моделей методом скользящего контроля~(CV).
        Если число моделей велико, а~контрольная выборка
        имеет небольшую длину и~достаточно сильно <<зашумлена>>,
        то~оценка скользящего контроля может случайно оказаться
        наилучшей для модели, весьма далёкой от~оптимальной.
        Предлагается метод обнаружения и~устранения эффекта переобучения,
        основанный на~следующих соображениях.
        Если частота ошибок на~контроле оказывается меньше
        присущего выборке уровня шума, то~это свидетельствует о~переобучении.
        Вероятность выбора наилучшей модели максимальна,
        когда частота ошибок на контроле совпадает с~уровнем шума.
        Поэтому в~качестве оптимальной предлагается выбирать модель
        с~числом ошибок на~контроле, немного большим наименьшего.
        Точнее говоря, предлагается отбрасывать $k$\%~моделей
        с~наименьшим числом ошибок на~контроле.
        Этот алгоритм назван $k$-процентным скользящим контролем
        ($k$-percentile-CV).
        Предлагается также алгоритм оптимального выбора числа~$k$
        с~помощью обычного скользящего контроля с~одним отделяемым объектом
        (leave-one-out cross-validation или LOOCV).
        Полученный в~результате объединения этих двух процедур алгоритм
        назван LOOCVCV (leave-one-out cross-validated cross-validation).
        Эффективность данного алгоритма иллюстрируется
        на~модельных задачах с~искусственно генерируемым шумом.
        При уровне шума более 5--10\% алгоритм LOOCVCV
        выбирает лучшие модели, чем обычный~CV.
        При меньшем уровне шума,
        когда нет оснований подозревать~CV в~переобучении,
        рекомендуется применять обычный~CV."
}

@techreport{holden96crossvalidation,
    author = "Sean B. Holden",
    title = "Cross-Validation and the PAC Learning Model",
    number = "RN/96/64",
    institution = "Dept. of CS, Univ. College, London",
    year = "1996"
}

@inproceedings{anthony98crossvalidation,
    author = "Martin Anthony and Sean B. Holden",
    title = "Cross-Validation for Binary Classification by Real-Valued Functions:
        Theoretical Analysis",
    booktitle = "Computational Learing Theory",
    pages = "218-229",
    year = "1998",
    url = "citeseer.ist.psu.edu/anthony98crossvalidation.html"
}

@article{zhu96no,
    author = "Huaiyu Zhu and Richard Rohwer",
    title = "No Free Lunch for Cross-Validation",
    journal = "Neural Computation",
    volume = "8",
    number = "7",
    pages = "1421--1426",
    year = "1996",
    url = "citeseer.ist.psu.edu/zhu96no.html"
}

@article{goutte97note,
    author = "Cyril Goutte",
    title = "Note on Free Lunches and Cross-validation",
    journal = "Neural Computation",
    volume = "9",
    number = "6",
    pages = "1245-1249",
    year = "1997",
    url = "citeseer.ist.psu.edu/goutte97note.html"
}

@inproceedings{bontempi99bound,
    author = "Gianluca Bontempi and Mauro Birattari",
    title = "A bound on the cross-validation estimate for algorithm assessment",
    booktitle = "Eleventh Belgium/Netherlands Conference on Artificial Intelligence (BNAIC)",
    pages = "115-122",
    year = "1999",
    url = "citeseer.ist.psu.edu/225930.html",
    annote = "Вводятся два различных понятия обобщающей способности:
        первое характеризует отдельный алгоритм, полученный в результате обучения,
        второе характеризует метод обучения в~целом.
        В~предшествовавших работах~\cite{kearns96bound,kearns97algorithmic,holden96crossvalidation}
        оценивалось отклонение скользящего контроля
        от~обобщающей способности отдельного алгоритма.
        Скорость сходимости этой величины к~нулю очень мала,
        зависит от~ёмкости семейства и~стабильности метода обучения.
        Отсюда делался слишком слабый вывод о~том, что
        скользящий контроль характеризует качество алгоритма
        всего лишь не~хуже, чем частота ошибок на~обучении (sanity-check bounds).
        В~данной работе получена оценка отклонения скользящего контроля
        от~обобщающей способности {\it метода обучения},
        которая не~зависит от~ёмкости семейства,
        а~только от~длины обучения и~контроля.
        Таким образом, данная работа проясняет природу скользящего контроля.
        Завышенность предыдущих оценок объясняется
        неудачным выбором функционала качества."
}

@inproceedings{blum99beating,
    author = "Avrim Blum and Adam Kalai and John Langford",
    title = "Beating the Hold-Out: Bounds for K-fold and Progressive Cross-Validation",
    booktitle = "Computational Learing Theory",
    pages = "203-208",
    year = "1999",
    url = "citeseer.ist.psu.edu/blum99beating.html"
}

@inproceedings{mullin-complete,
    author = "Matthew Mullin and Rahul Sukthankar",
    title = "Complete Cross-Validation for Nearest Neighbor Classifiers",
    booktitle = "Proceedings of International Conference on Machine Learning",
    year = "2000",
    url = "citeseer.ist.psu.edu/309025.html",
    annote = "
        Для алгоритма ближайших соседей и некоторых его вариаций
        получены эффективные формулы вычисления
        функционала полного скользящего контроля.
        Данный функционал определяется через множество всех разбиений выборки
        на~обучающую и~контрольную подвыборки заданной длины.
        Сложность вычисления квадратична по~длине выборки,
        в~то время как непосредственный перебор разбиений экспоненциален."
}

@inproceedings{scheffer00predicting,
    author = "Tobias Scheffer",
    title = "Predicting the Generalization Performance of Cross Validatory Model Selection Criteria",
    booktitle = "Proc. 17th International Conf. on Machine Learning",
    publisher = "Morgan Kaufmann, San Francisco, {CA}",
    pages = "831--838",
    year = "2000",
    url = "citeseer.ist.psu.edu/scheffer00predicting.html"
}

@bibsection{apriori,
    title = "Априорные ограничения (A Priory Knowledge)"
}

@article {abumostafa95hints,
    author = "Yaser S. Abu-Mostafa",
    title = "Hints",
    journal = "Neural Computation",
    volume = "7",
    number = "4",
    pages = "639--671",
    year = "1995",
    url = "citeseer.ist.psu.edu/abu-mostafa95hints.html"
}

@inproceedings{sill97monotonicity,
    author = "Joseph Sill and Yaser S. Abu-Mostafa",
    title = "Monotonicity Hints",
    booktitle = "Advances in Neural Information Processing Systems",
    volume = "9",
    publisher = "The {MIT} Press",
    editor = "Michael C. Mozer and Michael I. Jordan and Thomas Petsche",
    pages = "634",
    year = "1997",
    url = "citeseer.ist.psu.edu/sill97monotonicity.html"
}

@inproceedings{sill98monotonic,
    author = "Joseph Sill",
    title = "Monotonic Networks",
    booktitle = "Advances in Neural Information Processing Systems",
    volume = "10",
    publisher = "The {MIT} Press",
    editor = "Michael I. Jordan and Michael J. Kearns and Sara A. Solla",
    year = "1998",
    url = "citeseer.ist.psu.edu/156430.html"
}

@misc{sill-generalization,
    author = "Joseph Sill",
    title = "Generalization Bounds for Connected Function Classes",
    url = "citeseer.ist.psu.edu/127284.html"
}

@article{sill-capacity,
    author = "Joseph Sill",
    title = "The Capacity of Monotonic Functions",
    journal = "Discrete Applied Mathematics (special issue on {VC} dimension)",
    volume = "86",
    pages = "95-107",
    year = "1998",
    url = "citeseer.ist.psu.edu/49191.html",
    annote = "Исследуется семейство монотонных бинарных классификаторов,
        имеющее бесконечную ёмкость (VC-dimension).
        Показывается, что его эффективная ёмкость равна
        длине максимальной антицепи в~заданной выборке
        и~принимает небольшие значения на~выборках,
        близких к~линейно упорядоченным.
        Рассматривается ещё одна характеристика сложности семейства,
        зависящая от~выборки, и~определяемая как длина выборки,
        разделимой в~данном классе функций с~вероятностью~50\%
        после случайного перемешивания исходных классификаций.
        На~модельных данных показывается, что обе ёмкостные характеристики
        могут быть существенно ниже для семейства монотонных классификаторов,
        чем для нейронных сетей.
        Тем самым обосновывается, что монотонность является достаточно
        сильным ограничением, способным обеспечить высокое качество обучения."
}

@inproceedings{blum98learning,
    author = "Avrim Blum and Carl Burch and John Langford",
    title = "On Learning Monotone Boolean Functions",
    booktitle = "{IEEE} Symposium on Foundations of Computer Science",
    pages = "408-415",
    year = "1998",
    url = "citeseer.ist.psu.edu/article/blum98learning.html"
}

@bibsection{decisiontrees,
    title = "Решающие деревья и списки
        (Decision Trees and Lists)"
}

@article{quinlan86induction,
    author = "Quinlan, J.R.",
    title = "Induction of Decision Trees",
    journal = "Machine Learning",
    volume = "1",
    number = "1",
    pages = "81-106",
    year = "1986"
}

@book{quinlan93programs,
   author = "J. Ross Quinlan",
   title = "C4.5: Programs for machine learning",
   publisher = "Morgan Kaufmann, San Francisco, CA",
   year = "1993"
}

@article{rivest87learning,
    author = "Ronald L. Rivest",
    title = "Learning Decision Lists",
    journal = "Machine Learning",
    volume = "2",
    number = "3",
    pages = "229-246",
    year = "1987",
    url = "citeseer.ist.psu.edu/rivest87learning.html",
    annote = "Предлагается новый класс бинарных классификаторов~---
        решающие списки $k$-DL,
        основанные на последовательном вычислении конъюнкций длины не~более~$k$.
        Показано, что класс $k$-DL богаче классов $k$-ДНФ, $k$-КНФ
        $k$-конъюнктивных ДНФ, $k$-дизъюнктивных КНФ
        и~решающих деревьев глубины не более~$k$.
        Показано, что достаточно простой <<жадный>>
        алгоритм обучения решающих списков
        является полиномиально обучаемым по Валианту~\cite{valiant84theory}."
}

@incollection{norusis90method,
    author = "Норушис, А.",
    title = "Построение логических (древообразных) классификаторов
        методами нисходящего поиска (обзор)",
    booktitle = "Статистические проблемы управления. Вып.~93",
    editor = "Раудис, Ш.",
    publisher = "Вильнюс",
    pages = "131-158",
    year = "1990",
    language = "russian"
}

@article{donskoy82algorithms,
    author = "Донской, В. И.",
    title = "Алгоритмы обучения, основанные на построении решающих деревьев",
    journal = "ЖВМиМФ",
    year = "1982",
    volume = "22",
    number = "4",
    pages = "963-974",
    language = "russian"
}

@book{donskoy92bashta,
    author = "Донской, В. И. and Башта, А. И.",
    title = "Дискретные модели принятия решений при неполной информации",
    publisher = "Симферополь: Таврия",
    year = "1992",
    pages = "166",
    language = "russian"
}

@inproceedings{john94irrelevant,
    author = "George H. John and Ron Kohavi and Karl Pfleger",
    title = "Irrelevant Features and the Subset Selection Problem",
    booktitle = "International Conference on Machine Learning",
    pages = "121-129",
    year = "1994",
    url = "citeseer.ist.psu.edu/john94irrelevant.html"
}

@article{martin97exact,
    author = "J. Kent Martin",
    title = "An Exact Probability Metric for Decision Tree Splitting and Stopping",
    journal = "Machine Learning",
    volume = "28",
    number = "2-3",
    pages = "257-291",
    year = "1997",
    url = "citeseer.ist.psu.edu/martin97exact.html",
    annote = "Предлагается критерий ветвления решающих деревьев,
        основанный на~точном тесте Фишера (Fisher's Exact Test).
        Этот тест использует гипергеометрическое распределение для проверки
        нулевой гипотезы о~независимости двух предикатов.
        Стандартные информационные критерии (IGain, ORT, Beta,~$X^{2}$,~$G^{2}$)
        являются асимптотическими аппроксимациями предложенного точного критерия.
        Данный критерий более точен на~малых подвыборках,
        не~приводит к~чрезмерному дроблению поддеревьев
        и~не~смещён в~сторону выбора признаков с~б\'ольшим числом градаций.
        В~работе показано,что он~позволяет повысить эффективность
        процедуры раннего усечения (pre-pruning) дерева."
}

@article{breslow97simplifying,
    author = "Breslow, L. A. and Aha, D. W.",
    title = "Simplifying decision trees: a survey",
    journal = "Knowledge Engineering Review",
    volume = "12",
    number = "1",
    pages = "1-40",
    year = "1997",
    url = "citeseer.ist.psu.edu/breslow96simplifying.html"
}

@article{chipman98bayesian,
    author = "Hugh A. Chipman and Edward I. George and Robert E. McCulloch",
    title = "{Bayesian {CART}} Model Search",
    journal = "Journal of the American Statistical Association",
    volume = "93",
    number = "443",
    pages = "935--947",
    year = "1998",
    url = "citeseer.ist.psu.edu/chipman97bayesian.html"
}

@inproceedings{freund98self,
    author = "Yoav Freund",
    title = "Self Bounding Learning Algorithms",
    booktitle = "{COLT}: Proceedings of the Workshop on Computational Learning Theory,
        Morgan Kaufmann Publishers",
    year = "1998",
    url = "citeseer.ist.psu.edu/freund98self.html"
}

@inproceedings{freund99decisiontree,
    author = "Yoav Freund and Llew Mason",
    title = "The alternating decision tree learning algorithm",
    booktitle = "Sixteenth International Conference on Machine Learning",
    pages = "124--133",
    year = "1999"
}

@inproceedings{mansour00generalization,
    author = "Yishay Mansour and David Mc{A}llester",
    title = "Generalization Bounds for Decision Trees",
    booktitle = "Proc. 13th Annu. Conference on Comput. Learning Theory",
    publisher = "Morgan Kaufmann, San Francisco",
    pages = "69--80",
    year = "2000",
    url = "citeseer.ist.psu.edu/mansour00generalization.html"
}

@inproceedings{esmeir04lookahead,
    author = "S. Esmeir and S. Markovitch",
    title = "Lookahead-based Algorithms for Anytime Induction of Decision Trees",
    booktitle = "Proceedings of the 21st International Conference on Machine Learning (ICML-2004)",
    year = "2004",
    url = "citeseer.ist.psu.edu/esmeir04lookaheadbased.html"
}

@inproceedings{marchand01learning,
    author = "Mario Marchand and John Shawe-Taylor",
    title = "Learning with the Set Covering Machine",
    booktitle = "Proc. 18th International Conf. on Machine Learning",
    publisher = "Morgan Kaufmann, San Francisco, CA",
    pages = "345--352",
    year = "2001",
    url = "citeseer.ist.psu.edu/452556.html"
}

@inproceedings{marchand03halfspaces,
    author = "Mario Marchand and Mohak Shah and John Shawe-Taylor and Marina Sokolova",
    title = "The set covering machine with data-dependent half-spaces",
    booktitle = "Proc. 20th International Conf. on Machine Learning",
    publisher = "Morgan Kaufmann",
    pages = "520--527",
    year = "2003",
    url = "www.hpl.hp.com/conferences/icml03/titlesAndAuthors.html"
}

@inproceedings{sokolova03decision,
    author = "Marina Sokolova and Mario Marchand and Nathalie Japkowicz and John Shawe-Taylor",
    title = "The Decision List Machine",
    booktitle = "Advances in Neural Information Processing Systems 15",
    publisher = "MIT-Press, Cambridge, MA, USA",
    pages = "921--928",
    year = "2003",
    url = "citeseer.ist.psu.edu/597803.html"
}

@article{anthony04generalization,
    author = "Martin Anthony",
    title = "Generalization Error Bounds for Threshold Decision Lists",
    journal = "Journal of Machine Learning Research",
    volume = "5",
    pages = "189--217",
    year = "2004",
    url = "jmlr.csail.mit.edu"
}

@article{dulicheva02pruning,
    author = "Дюличева, Ю. Ю.",
    title = "Стратегии редукции решающих деревьев (обзор)",
    journal = "Таврический вестник информатики и математики",
    number = "1",
    pages = "10-17",
    year = "2002",
    language = "russian"
}

@article{dulicheva03vcdforest,
    author = "Дюличева, Ю. Ю.",
    title = "Оценка {VCD} $r$-редуцированного эмпирического леса",
    journal = "Таврический вестник информатики и математики",
    number = "1",
    pages = "31-42",
    year = "2003",
    language = "russian",
    url = "www.ccas.ru/frc/papers/dulicheva03vcdforest.pdf",
}

@misc{dulicheva04phd,
    author = "Дюличева, Ю. Ю.",
    title = "Модели коррекции редуцированных бинарных решающих деревьев",
    howpublished = "Диссертация на~соискание учёной степени к.ф.-м.н.,
        Симферополь: Таврический национальный университет
        им.~В.~И.~Вернадского",
    year = "2004",
    language = "russian",
    url = "www.ccas.ru/frc/papers/dulicheva04phd.pdf",
}

@bibsection{distancemethods,
    title = "Метрические алгоритмы (Distance Functions methods)"
}

@article{atkeson97locally,
    author = "Christopher G. Atkeson and Andrew W. Moore and Stefan Schaal",
    title = "Locally Weighted Learning",
    journal = "Artificial Intelligence Review",
    volume = "11",
    number = "1-5",
    pages = "11-73",
    year = "1997",
    url = "citeseer.ist.psu.edu/atkeson96locally.html"
}

@article{cost93weighted,
    author = "Scott Cost and Steven Salzberg",
    title = "A Weighted Nearest Neighbor Algorithm for Learning with Symbolic Features",
    journal = "Machine Learning",
    volume = "10",
    pages = "57-78",
    year = "1993",
    url = "citeseer.ist.psu.edu/cost93weighted.html"
}

@bibsection{genetic,
    title = "Эволюционные и генетические алгоритмы (Evolutionary \& Genetic Alrorithms)"
}

@book{redko03evolutionary,
    author = "В. Г. Редько",
    title = "Эволюционная кибернетика",
    publisher = "М.:~Наука",
    year = "2003",
    pages = "155",
    language = "russian"
}

@book{emelianov03theory,
    author = "Емельянов, В. В.  and  Курейчик, В. В. and  Курейчик, В. М.",
    title = "Теория и практика эволюционного моделирования",
    publisher = "М.:~Физматлит",
    year = "2003",
    pages = "432",
    language = "russian"
}

@book{gladkov06genetic,
    author = "Гладков, Л. А. and  Курейчик, В. В. and  Курейчик, В. М.",
    title = "Генетические алгоритмы",
    publisher = "М.:~Физматлит",
    year = "2006",
    pages = "320",
    language = "russian"
}

@article{whitley01overview,
    author = "Darrell Whitley",
    title = "An overview of evolutionary algorithms: practical issues and common pitfalls",
    journal = "Information and Software Technology",
    volume = "43",
    number = "14",
    pages = "817--831",
    year = "2001",
    url = "citeseer.ist.psu.edu/whitley01overview.html"
}

@misc{freitas01survey,
    author = "A. Freitas",
    title = "A survey of evolutionary algorithms for data mining and knowledge discovery",
    text = "Freitas, A.A. (2001). A survey of evolutionary algorithms for data mining
        and knowledge discovery. To appear in: Ghosh, A.; Tsutsui, S. (Eds.) Advances
        in evolutionary computation. Springer-Verlag.",
    year = "2001",
    url = "citeseer.ist.psu.edu/freitas01survey.html"
}

@misc{busetti-genetic,
    author = "Franco Busetti",
    title = "Genetic Algorithms Overview",
    year = "2002",
    url = "citeseer.ist.psu.edu/busetti01genetic.html"
}

@inproceedings{back91optga,
    author = "Thomas Back",
    title = "Optimization by Means of Genetic Algorithms",
    booktitle = "36th International Scientific Colloquium",
    editor = "E. Kohler",
    year = "1991",
    address = "Technical University of Ilmenau",
    pages = "163--169",
    url = "citeseer.ist.psu.edu/71967.html"
}

@misc{back91survey,
    author = "T. Back and F. Hoffmeister and H. Schwefel",
    title = "A survey of evolution strategies",
    text = "Thomas Back, Frank Hoffmeister, and Hans-Paul Schwefel. A survey of evolution
        strategies. In Lashon B. Belew, Richard K.; Booker, editor, Proceedings
        of the 4th International Conference on Genetic Algorithms, pages 2--9, San
        Diego, CA, July 1991. Morgan Kaufmann.",
    year = "1991",
    url = "citeseer.ist.psu.edu/back91survey.html"
}

@inproceedings{BakerSelection,
    AUTHOR =       "Baker, J. E.",
    booktitle = "Proceedings of an International Conference on Genetic Algorithms and their Applications",
    editor = "J. J. Grefenstette",
    TITLE =        "Adaptive Selection Methods for Genetic Algorithms",
    PUBLISHER =    "Lawrence Erlbaum Associates, Hillsdale, NJ",
    YEAR =         "1985"
}

@techreport{radcliffe92algebra,
    author = "Nicolas J Radcliffe",
    title = "The Algebra of Genetic Algorithms",
    number = "TR92-11",
    year = "1992",
    url = "citeseer.ist.psu.edu/article/radcliffe94algebra.html"
}

@inproceedings{hinterding95nature,
    author = "Robert Hinterding and Harry Gielewski and T. C. Peachey",
    title = "The Nature of Mutation in Genetic Algorithms",
    booktitle = "Proceedings of the Sixth International Conference on Genetic Algorithms",
    publisher = "Morgan Kaufmann",
    address = "San Francisco, CA",
    editor = "Larry Eshelman",
    pages = "65--72",
    year = "1995",
    url = "citeseer.ist.psu.edu/hinterding95nature.html"
}

@inproceedings{yang97feature,
    author = "Jihoon Yang and Vasant Honavar",
    title = "Feature Subset Selection Using {A} Genetic Algorithm",
    booktitle = "Genetic Programming 1997: Proceedings of the Second Annual Conference",
    month = "13-16",
    publisher = "Morgan Kaufmann",
    address = "Stanford University, CA, USA",
    editor = "John R. Koza and Kalyanmoy Deb and Marco Dorigo and David B. Fogel and Max Garzon and Hitoshi Iba and Rick L. Riolo",
    pages = "380",
    year = "1997",
    url = "citeseer.ist.psu.edu/article/yang97feature.html"
}

@article{giordana95searchintensive,
    author = "Attilio Giordana and Filippo Neri",
    title = "Search-Intensive Concept Induction",
    journal = "Evolutionary Computation",
    volume = "3",
    number = "4",
    pages = "375-419",
    year = "1995",
    url = "citeseer.ist.psu.edu/article/giordana95searchintensive.html"
}

@inproceedings{fidelis00discovering,
    author = "M. V. Fidelis and H. S. Lopes and A. A. Freitas",
    title = "Discovering Comprehensible Classification Rules a Genetic Algorithm",
    booktitle = "Proceedings of the 2000 Congress on Evolutionary Computation CEC00",
    month = "6-9",
    publisher = "IEEE Press",
    address = "La Jolla Marriott Hotel La Jolla, California, USA",
    isbn = "0-7803-6375-2",
    pages = "805--810",
    year = "2000",
    url = "citeseer.ist.psu.edu/fidelis00discovering.html"
}

@inproceedings{horn93markov,
    author = "Horn, J.",
    title = "{Finite Markov Chain Analysis of Genetic Algorithms with Niching}",
    booktitle = "{Proceedings of the Fifth International Conference on Genetic Algorithms}",
    publisher = "Morgan Kaufmann Publishers",
    address = "San Mateo, California",
    editor = "S. Forrest",
    pages = "110--117",
    year = "1993",
    url = "citeseer.ist.psu.edu/article/horn93finite.html"
}

@inproceedings{wright99markov,
    author = "Alden H. Wright and Yong Zhao",
    title = "Markov Chain Models of Genetic Algorithms",
    booktitle = "Proceedings of the Genetic and Evolutionary Computation Conference",
    volume = "1",
    month = "13-17",
    publisher = "Morgan Kaufmann",
    address = "Orlando, Florida, USA",
    editor = "Wolfgang Banzhaf and Jason Daida and Agoston E. Eiben and Max H. Garzon and Vasant Honavar and Mark Jakiela and Robert E. Smith",
    isbn = "1-55860-611-4",
    pages = "734--741",
    year = "1999",
    url = "citeseer.ist.psu.edu/wright99markov.html"
}

@article{sloman98semantics,
    author = "A. Sloman",
    title = "The ''Semantics'' of Evolution: Trajectories and Trade-offs in Design Space and Niche Space",
    journal = "Lecture Notes in Computer Science",
    volume = "1484",
    pages = "27--??",
    year = "1998",
    url = "citeseer.ist.psu.edu/75107.html"
}

@inproceedings{ficici00gametheoretic,
    author = "Sevan G. Ficici and Ofer Melnik and Jordan B. Pollack",
    title = "A Game-Theoretic Investigation of Selection Methods Used in Evolutionary Algorithms",
    booktitle = "Proceedings of the 2000 Congress on Evolutionary Computation CEC00",
    month = "6-9",
    publisher = "IEEE Press",
    address = "La Jolla Marriott Hotel La Jolla, California, USA",
    isbn = "0-7803-6375-2",
    pages = "880",
    year = "2000",
    url = "citeseer.ist.psu.edu/ficici00gametheoretic.html"
}

@inproceedings{hancock94empirical,
    author = "Peter J. B. Hancock",
    title = "An Empirical Comparison of Selection Methods in Evolutionary Algorithms",
    booktitle = "Evolutionary Computing, {AISB} Workshop",
    pages = "80-94",
    year = "1994",
    url = "citeseer.ist.psu.edu/hancock94empirical.html"
}

@incollection{angeline95adaptive,
    author = "Peter J. Angeline",
    title = "Adaptive and Self-Adaptive Evolutionary Computations",
    booktitle = "Computational Intelligence: A Dynamic Systems Perspective",
    publisher = "IEEE Press",
    editor = "Marimuthu Palaniswami and Yianni Attikiouzel",
    pages = "152--163",
    year = "1995",
    url = "citeseer.ist.psu.edu/angeline95adaptive.html"
}

@article{wiegand98applying,
    author = "Wiegand, R. Paul",
    title = "Applying Diffusion to a Cooperative Coevolutionary Model",
    journal = "Lecture Notes in Computer Science",
    volume = "1498",
    pages = "560--??",
    year = "1998",
    url = "citeseer.ist.psu.edu/442324.html"
}

@incollection{coello01microgenetic,
    author = "Carlos A. {Coello Coello} and Gregorio {Toscano Pulido}",
    title = "A {M}icro-{G}enetic {A}lgorithm for {M}ultiobjective {O}ptimization",
    booktitle = "First International Conference on Evolutionary Multi-Criterion Optimization",
    publisher = "Springer-Verlag. Lecture Notes in Computer Science No. 1993",
    editor = "Eckart Zitzler and Kalyanmoy Deb and Lothar Thiele and Carlos A. Coello Coello and David Corne",
    pages = "126--140",
    year = "2001",
    url = "citeseer.ist.psu.edu/444668.html"
}

@inproceedings{whitley97island,
    author = "Darrell Whitley and Soraya B. Rana and Robert B. Heckendorn",
    title = "Island Model genetic Algorithms and Linearly Separable Problems",
    booktitle = "Evolutionary Computing, {AISB} Workshop",
    pages = "109-125",
    year = "1997",
    url = "citeseer.ist.psu.edu/whitley97island.html"
}

@article{paredis95coevolutionary,
    author = "Jan Paredis",
    title = "Coevolutionary Computation",
    journal = "Artificial Life",
    volume = "2",
    number = "4",
    pages = "355-375",
    year = "1995",
    url = "citeseer.ist.psu.edu/158996.html"
}

@inproceedings{dejong95evolving,
    author = "Kenneth {De Jong} and Mitchell A. Potter",
    title = "Evolving Complex Structures via Cooperative Coevolution",
    booktitle = "Proc. on the {F}ourth {A}nnual {C}onf. on {E}volutionary {P}rogramming",
    publisher = "{MIT} {P}ress",
    address = "Cambridge, MA",
    pages = "307--317",
    year = "1995",
    url = "citeseer.ist.psu.edu/article/dejong95evolving.html"
}

@misc{eriksson96applying,
    author = "R. Eriksson",
    title = "Applying cooperative coevolution to inventory control parameter optimization",
    text = "R. Eriksson. Applying cooperative coevolution to inventory control parameter
        optimization. Master's thesis, University of Skovde, Sweden, 1996.",
    year = "1996",
    url = "citeseer.ist.psu.edu/eriksson96applying.html"
}

@inproceedings{potter94cooperative,
    author = "Mitchell A. Potter and Kenneth {De Jong}",
    title = "A Cooperative Coevolutionary Approach to Function Optimization",
    booktitle = "{P}arallel {P}roblem {S}olving from {N}ature -- {PPSN {III}}",
    publisher = "Springer",
    address = "Berlin",
    editor = "Yuval Davidor and Hans-Paul Schwefel and Reinhard M{\"a}nner",
    pages = "249--257",
    year = "1994",
    url = "citeseer.ist.psu.edu/potter94cooperative.html"
}

@inproceedings{potter95coevolutionary,
    author = "Mitchell A. Potter and Kenneth A. {De Jong} and John J. Grefenstette",
    title = "A Coevolutionary Approach to Learning Sequential Decision Rules",
    booktitle = "Proceedings of the Sixth International Conference on Genetic Algorithms",
    publisher = "Morgan Kaufmann",
    address = "San Francisco, CA",
    editor = "Larry Eshelman",
    pages = "366--372",
    year = "1995",
    url = "citeseer.ist.psu.edu/potter95coevolutionary.html"
}

@inproceedings{potter95evolving,
    author = "Mitchell A. Potter and Kenneth {De Jong}",
    title = "Evolving Neural Networks with Collaborative Species",
    booktitle = "Proc. of the 1995 {S}ummer {C}omputer {S}imulation {C}onf.",
    publisher = "The {S}ociety of {C}omputer {S}imulation",
    pages = "340--345",
    year = "1995",
    url = "citeseer.ist.psu.edu/potter95evolving.html"
}

@phdthesis{potter97design,
    author = "Mitchell A. Potter",
    title = "The Design and Analysis of a Computational Model of Cooperative Coevolution",
    school = "George Mason University",
    year = "1997",
    url = "citeseer.ist.psu.edu/potter97design.html"
}

@article{potter00cooperative,
    author = "Mitchell A. Potter and Kenneth A. {De Jong}",
    title = "Cooperative Coevolution: An Architecture for Evolving Coadapted Subcomponents",
    journal = "Evolutionary Computation",
    volume = "8",
    number = "1",
    pages = "1-29",
    year = "2000",
    url = "citeseer.ist.psu.edu/potter00cooperative.html"
}

@article{rosin97new,
    author = "Christopher D. Rosin and Richard K. Belew",
    title = "New Methods for Competitive Coevolution",
    journal = "Evolutionary Computation",
    volume = "5",
    number = "1",
    pages = "1--29",
    year = "1997",
    url = "citeseer.ist.psu.edu/rosin96new.html"
}

@inproceedings{wiegand02analyzing,
    author = "R. Wiegand and W. Liles and K. {De Jong}",
    booktitle = "Proceedings of CEC 2002",
    publisher = "IEEE Press",
    editor = "D. Fogel",
    title = "Analyzing cooperative coevolution with evolutionary game theory",
    year = "2002",
    url = "citeseer.ist.psu.edu/wiegand02analyzing.html"
}

@inproceedings{wiegand01empirical,
    author = "R. Paul Wiegand and William C. Liles and Kenneth A. De Jong",
    title = "An Empirical Analysis of Collaboration Methods in Cooperative Coevolutionary Algorithms",
    booktitle = "Proceedings of the Genetic and Evolutionary Computation Conference ({GECCO}-2001)",
    month = "7-11",
    publisher = "Morgan Kaufmann",
    address = "San Francisco, California, USA",
    editor = "Lee Spector and Erik D. Goodman and Annie Wu and W. B. Langdon and Hans-Michael Voigt and Mitsuo Gen and Sandip Sen and Marco Dorigo and Shahram Pezeshk and Max H. Garzon and Edmund Burke",
    isbn = "1-55860-774-9",
    pages = "1235--1242",
    year = "2001",
    url = "citeseer.ist.psu.edu/481900.html"
}

@misc{iorio02parameter,
    author = "A. Iorio and X. Li",
    title = "Parameter Control Within a Cooperative Coevolutionary Genetic Algorithm",
    text = "Iorio, A. W., Li, X.: Parameter Control Within a Cooperative Coevolutionary
        Genetic Algorithm. In: Merelo Guervos, J.J., Adamidis, P., Beyer, H.-G.,
        FernandezVillaca nas, J.-L., Schwefel, H.-P.(eds.): Proc. of Parallel Problem
        Solving From Nature VII (PPSN'02). Lecture Notes in Computer Science, Vol
        2439. SpringerVerlag, Berlin Germany (2002) 247--256",
    year = "2002",
    url = "citeseer.ist.psu.edu/iorio02parameter.html"
}

@inproceedings{FiciciCoevolution,
    author = "S. G. Ficici and J. B. Pollack",
    title = "A Game-Theoretic Approach to the Simple Coevolutionary Algorithm",
    booktitle = "Parallel Problem Solving from Nature --- {PPSN} {VI} 6th International Conference",
    month = "16-20",
    publisher = "Springer Verlag",
    address = "Paris, France",
    editor = "Hans-Paul Schwefel {Marc Schoenauer, Kalyanmoy Deb, G{\"u}nter Rudolph, Xin Yao, Evelyne Lutton, Juan Julian Merelo}",
    year = "2000",
    url = "citeseer.ist.psu.edu/322969.html"
}

@article{ficici01pareto,
    author = "Sevan G. Ficici and Jordan B. Pollack",
    title = "{Pareto} Optimality in Coevolutionary Learning",
    journal = "Lecture Notes in Computer Science",
    volume = "2159",
    pages = "316+",
    year = "2001",
    url = "citeseer.ist.psu.edu/article/ficici01pareto.html"
}

@misc{bucci02ordertheoretic,
    author = "A. Bucci and J. Pollack",
    title = "Order-theoretic analysis of coevolution problems: Coevolutionary statics",
    text = "Bucci, A., Pollack, J.: Order-theoretic analysis of coevolution problems:
        Coevolutionary statics. In Barry, A.M., ed.: GECCO 2002 Workshop on Understanding
        Coevolution: Theory and Analysis of Coevolutionary Algorithms. (2002) 229--235",
    year = "2002",
    url = "citeseer.ist.psu.edu/article/bucci02ordertheoretic.html"
}

@inproceedings{bucci03mathematical,
    author = "A. Bucci and J. Pollack",
    title = "A mathematical framework for the study of coevolution",
    booktitle = "FOGA 7: Proceedings of the Foundations of Genetic Algorithms Workshop, San Francisco, CA",
    publisher = "Morgan Kaufmann Publishers",
    editor = "De Jong, K., Poli, R., Rowe, J.",
    pages = "221--235",
    year = "2003",
    url = "citeseer.ist.psu.edu/bucci03mathematical.html"
}

@ARTICLE{wiegand03ccea,
    AUTHOR =       "R. Wiegand and T. Jansen",
    TITLE =        "The Cooperative Coevolutionary (1+1) EA",
    JOURNAL =      "MIT Press",
    YEAR =         "2003"
}

@PHDTHESIS{WiegandAnalysis,
    AUTHOR =       "R. Paul Wiegand",
    TITLE =        "An Analysis of Cooperative Coevolutionary Algorithms",
    SCHOOL =       "George Mason University, Fairfax, VA. ",
    YEAR =         "2004",
    url = "http://www.tesseract.org/paul/papers/rpw-dissertation.pdf"
}

@ARTICLE{WiegandCollaboration,
    AUTHOR =       "R. Paul Wiegand and  William C. Liles and Kenneth A. {De Jong}",
    TITLE =        "An Empirical Analysis of Collaboration Methods in Cooperative Coevolutionary Algorithms",
    JOURNAL =      "In Proceedings of the Genetic and Evolutionary Computation Conference (GECCO)",
    YEAR =         "2001"
}

@ARTICLE{WigandEAEquiv,
    AUTHOR =       "Sean Luke and R. Paul Wiegand",
    TITLE =        "When Coevolutionary Algorithms Exhibit Evolutionary Dynamics",
    JOURNAL =      "In Workshop Proceedings of the 2003 Genetic and Evolutionary Computation Conference",
    YEAR =         "2002"
}

@ARTICLE{WigandObjective,
    AUTHOR = "Sean Luke and R. Paul Wiegand",
    TITLE = "Guaranteeing Coevolutionary Objective Measures",
    JOURNAL = "In Foundations of Genetic Algorithms VII",
    publisher = "Morgan Kaufman",
    pages = "237-251",
    YEAR = "2002"
}

@inproceedings{minaei-Bigdoli,
    AUTHOR = "B. Minaei-Bigdoli  and G. Kortemeyer  and  W.F. Punch",
    TITLE = "Optimizing Classification Ensembles via a Genetic Algorithm for a Web-based Educational System",
    booktitle = "IAPR International workshop on Syntactical and Structural Pattern Recognition (SSPR 2004)
        and Statistical Pattern Recognition (SPR 2004), Lisbon, Portugal",
    year = "2004"
}

@misc{Zhou-NN,
    author = "Z.-H. Zhou and J.-X. Wu and Y. Jiang and S.-F. Chen",
    title = "Genetic algorithm based selective neural network ensemble",
    booktitle = "Proceedings of the 17th International Joint Conference on Artificial Intelligence",
    address = "Seattle, WA",
    volume = "2",
    pages = "797-802",
    year = "2001",
    url = "citeseer.ist.psu.edu/zhou01genetic.html"
}

@inproceedings{stefano-exploiting,
    author = "C. De Stefano and A. Della Cioppa and A. Marcelli",
    title = "Exploiting Reliability for Dynamic Selection of Classifiers by Means of Genetic Algorithms",
    booktitle = "Int. Conf. On Document Analysis and Recognition – ICDAR’03, Edinburgh (UK), August 3-6",
    pages = "671-675",
    year = "2003",
    url = "citeseer.ist.psu.edu/694137.html"
}

@article{islam03constructive,
    author = "M. Islam and X. Yao and K. Murase",
    title = "A constructive algorithm for training cooperative neural network ensembles",
    journal = "IEEE Transactions on Neural Networks",
    volume = "14",
    number = "4",
    month = "July",
    pages = "820--834",
    year = "2003",
    url = "citeseer.ist.psu.edu/islam03constructive.html"
}

@inproceedings{guerrasalcedo99genetic,
    author = "Cesar Guerra-Salcedo and Darrell Whitley",
    title = "Genetic Approach to Feature Selection for Ensemble Creation",
    booktitle = "Proceedings of the Genetic and Evolutionary Computation Conference",
    volume = "1",
    month = "13-17",
    publisher = "Morgan Kaufmann",
    address = "Orlando, Florida, USA",
    editor = "Wolfgang Banzhaf and Jason Daida and Agoston E. Eiben and Max H. Garzon and Vasant Honavar and Mark Jakiela and Robert E. Smith",
    isbn = "1-55860-611-4",
    pages = "236--243",
    year = "1999",
    url = "citeseer.ist.psu.edu/531553.html"
}

@inproceedings{oliveira03feature,
    author = "L. Oliveira and R. Sabourin and F. Bortolozzi and C. Suen",
    title = "Feature selection for ensembles:
        A hierarchical multi-objective genetic algorithm approach",
    booktitle = "International Conference on Document Analysis and Recognition, Edinburgh-Scotland",
    publisher = "IEEE Computer Society",
    year = "2003",
    url = "citeseer.ist.psu.edu/oliveira03feature.html"
}

@book{a-reyes-coevolutionary,
    author = "Carlos {Andre's Pena-Reyes}",
    title = "Coevolutionary Fuzzy Modeling",
    publisher = "Springer-Verlag New York",
    year = "2004",
    url = "citeseer.ifi.unizh.ch/569226.html"
}

@bibsection{clustering,
    title ="Кластеризация и таксономия"
}

@article{terentiev59correl,
    author = "Теpентьев, П. В.",
    title = " Метод корреляционных плеяд",
    journal = "Вест. Ленингр. ун-та",
    year = "1959",
    number = "9",
    pages = "137-141",
    language = "russian"
}

@article{lancewilliams67general,
    author = "G. N. Lance and W. T. Willams",
    title = "A General theory of classification sorting strategies. 1. Hierarchical Systems",
    journal = "Comp. J.",
    number = "9",
    pages = "373-380",
    year = "1967"
}

@incollection{lancewilliams86methods,
    author = "Уиллиамс, У. Т. and Ланс, Дж. Н.",
    title = "Методы иерархической классификации",
    booktitle = "Статистические методы для ЭВМ",
    editor = "Малютов, М. Б.",
    publisher = "М.: Наука",
    pages = "269-301",
    year = "1986",
    language = "russian"
}

@book{mandel88cluster,
    author = "И. Д. Мандель",
    title = "Кластерный анализ",
    publisher = "М.: Финансы и~Статистика",
    year = "1988",
    language = "russian"
}

@article{jain99data,
    author = "A. Jain and M. Murty and P. Flynn",
    title = "Data Clustering: A Review",
    journal = "ACM Computing Surveys",
    volume = "31",
    number = "3",
    pages = "264-323",
    year = "1999",
    url = "citeseer.ifi.unizh.ch/jain99data.html"
}

@bibsection{imageanalysis,
    title = "Анализ изображений (Image Analysis)"
}

@article{mestetskii98pria-eng,
    author = "Mestetskii, L. M. and Rudakov, K. V.",
    title = "Synthesis of a Multizone Survey Visualization Palette on the Learning Basis",
    journal = "Pattern Recognition and Image Analysis",
    year = "1998",
    volume = "8",
    number = "4",
    pages = "641-647",
    url = "www.ccas.ru/frc/papers/mestetskii98pria-eng.pdf"
}


@bibsection{forecasting,
    title = "Прогнозирование (Forecasting)"
}

@inproceedings{fm95short,
    author = "Frank M. Thiesing and Ulrich Middelberg and Oliver Vornberger",
    title = "Short term prediction of sales in supermarkets",
    booktitle = "Proceedings IEEE International Conference on neural networks",
    volume = "2",
    pages = "1028-1031",
    year = "1995",
    url = "citeseer.ist.psu.edu/fm95short.html"
}

@inproceedings{thiesing97forecasting,
    author = "Frank M. Thiesing and Oliver Vornberger",
    title = "Forecasting Sales Using Neural Networks",
    booktitle = "Fuzzy Days",
    pages = "321-328",
    year = "1997",
    url = "citeseer.ist.psu.edu/104829.html"
}

@inproceedings{frank97sales,
    author = "Frank M. Thiesing and Oliver Vornberger",
    title = "Sales Forecasting Using Neural Networks",
    booktitle = "Proceedings IEEE International Conference on neural networks",
    volume = "4",
    pages = "2125-2128",
    year = "1997",
    url = "citeseer.ist.psu.edu/43652.html"
}

@inproceedings{crone-training,
    author = "Sven F. Crone",
    title = "Training Artificial Neural Networks For Time Series Prediction Using Asymmetric Cost Functions",
    booktitle = "Computational Intelligence for the E-Age",
    pages = "2374-2380",
    year = "2002",
    url = "citeseer.ist.psu.edu/crone02training.html"
}

@techreport{arminger-frequent,
    author = "Gerhard Arminger and Carsten Schneider",
    title = "Frequent Problems of Model Specification and Forecasting of Time Series in Goods Management Systems",
    number = "21/1999, SFB 475",
    institution = "University of Dortmund",
    year = "1999",
    url = "citeseer.ist.psu.edu/236345.html"
}

@techreport{arminger-assymetric,
    author = "Gerhard Arminger and Carsten Schneider",
    title = "Asymmetric loss functions for evaluating the quality of forecasts in time series for goods management systems",
    number = "22/1999, SFB 475",
    institution = "University of Dortmund",
    year = "1999"
}

@techreport{schneider99evaluation,
    author = "C. Schneider and M. Klapper and T. Wenzel",
    title = "An evaluation of forecasting methods and forecast combination methods in goods management systems",
    number = "31/1999, SFB 475",
    institution = "University of Dortmund",
    year = "1999",
    url = "citeseer.ist.psu.edu/schneider99evaluation.html"
}

@bibsection{portfolioselection,
    title = "Динамические инвестиционные стратегии
        (Online Portfolio Selection)"
}

@book{markowitz59portfolio,
    author = "H. Markowitz",
    title = "Portfolio Selection: Efficient Diversification of Investments",
    publisher = "Wiley, New York",
    year = "1959"
}

@book{colby98encyclopedia,
    author = "Роберт Колби and Томас Мейерс",
    title = "Энциклопедия технических индикаторов рынка",
    publisher = "Издательский дом <<Альпина>>",
    year = "1998",
    language = "russian"
}

@article{cover91universal,
    author = "{T.M.} Cover",
    title = "Universal Portfolios",
    journal = "Mathematical Finance",
    volume = "1",
    number = "1",
    month = "January",
    pages = "1--29",
    year = "1991",
    url = "citeseer.ist.psu.edu/article/cover96universal.html",
    annote = "
        Вводятся понятия
        постоянно-балансируемого портфеля (CRP, constant rebalanced portfolio)
        и~универсального портфеля (universal portfolio).
        Стратегия CRP-портфеля заключается в~том,
        чтобы продавать и~покупать активы,
        поддерживая в~каждый момент времени
        заранее фиксированное распределение капитала по~активам.
        Универсальный портфель есть интегральное среднее всех
        CRP-портфелей, каждый их которых берётся с~весом,
        пропорциональным его доходности на~предыстории.
        Доказывается, что доходность универсального портфеля асимптотически
        приближается к~доходности наилучшего CRP-портфеля.
        Однако универсальный портфель является динамическим алгоритмом,
        использующим только информацию о~прошлом,
        в~то время как выбор наилучшего CRP-портфеля
        требует <<зяглядывания в~будущее>>."
}

@inproceedings{kalai00efficient,
    author = "Adam Kalai and Santosh Vempala",
    title = "Efficient Algorithms for Universal Portfolios",
    booktitle = "{IEEE} Symposium on Foundations of Computer Science",
    pages = "486-491",
    year = "2000",
    url = "citeseer.ist.psu.edu/kalai00efficient.html"
}

@article{cover96universal,
    author = "{T.M.} Cover and E. Ordentlich",
    title = "Universal Portfolios with Side Information",
    journal = "IEEE Transactions on Information Theory",
    volume = "42",
    number = "2",
    month = "March",
    year = "1996",
    url = "citeseer.ist.psu.edu/cover96universal.html"
}

@inproceedings{blum97universal,
    author = "Avrim Blum and Adam Kalai",
    title = "Universal Portfolios with and without Transaction Costs",
    booktitle = "{COLT}: Proceedings of the Workshop on Computational Learning Theory,
        Morgan Kaufmann Publishers",
    year = "1997",
    url = "citeseer.ist.psu.edu/blum97universal.html"
}

@inproceedings{singersingerswitching,
    author = "Yoram Singer",
    title = "Switching Portfolios",
    booktitle = "14th Conference on Uncertainty in Artificial Intelligence (UAI98)",
    pages = "488--495",
    year = "1998",
    url = "citeseer.ist.psu.edu/singer98switching.html"
}

@inproceedings{helmbold96line,
    author = "David P. Helmbold and Robert E. Schapire and Yoram Singer and Manfred K. Warmuth",
    title = "On-Line Portfolio Selection Using Multiplicative Updates",
    booktitle = "International Conference on Machine Learning",
    pages = "243-251",
    year = "1996",
    url = "citeseer.ist.psu.edu/article/helmbold98line.html",
    annote = "
        Предлагается алгоритм динамической (online) балансировки портфеля
        EG (Exponential Gradient).
        Для вычисления текущего вектора портфеля EG~используется
        только предыдущий вектор портфеля и~текущий вектор приращений цен.
        При таком способе балансировки
        больший вес в~портфеле автоматически получают те~акции,
        которые за~последнее время давали больший доход.
        Таким образом, вся необходимая информация о~доходности отдельных акций
        оказывается записанной в~самом векторе портфеля,
        и~полное знание всей предыстории не~требуется.
        Идея мультипликативного обновления весов эксплуатируется также
        в~алгоритмах взвешенного голосования~\cite{littlestone89weighted}
        и~бустинга~\cite{schapire01boosting}.
        Сложность алгоритма линейна по~числу акций,
        в~отличие от~алгоритма универсального портфеля~\cite{cover91universal},
        имеющего экспоненциальную сложность.
        Тем не менее EG даёт асимптотически тот~же результат.
        Нижняя граница доходности выводится без каких бы то ни было
        статистических предположений о~процессе ценообразования.
        Теоретические оценки несколько хуже~\cite{cover91universal}.
        Однако тесты на 22-летнем периоде ежедневных данных NYCE
        (без учёта транзакционных издержек)
        показывают превосходство данного алгоритма
        над универсальным портфелем~\cite{cover91universal}."
}

@inproceedings{borodin00competitive,
    author = "Allan Borodin and Ran El-Yaniv and Vincent Gogan",
    title = "On the Competitive Theory and Practice of Portfolio Selection (Extended Abstract)",
    booktitle = "Latin American Theoretical {INformatics}",
    pages = "173-196",
    year = "2000",
    url = "citeseer.ist.psu.edu/borodin02competitive.html",
    annote = "
        Статья содержит обзор основных концепций
        сравнительной теории (competitive theory) портфельных стратегий.
        Рассматриваются следующие алгоритмы:
        BAH (buy-and-hold~--- <<купи-и-держи>>),
        CBAL (constant rebalanced portfolio~--- постоянная балансировка),
        UNI (universal portfolio~\cite{cover91universal}),
        EG (exponential gradient~\cite{helmbold96line}),
        M0~и~T0 (предсказание бинарной последовательности),
        LZ (предсказание бинарной последовательности на~основе сжатия Лемпела-Зива).
        Описана техника доказательства оценок доходности портфельных стратегий,
        основанная на~последовательностях Кэлли.
        Предлагается новый алгоритм
        динамической (online) балансировки портфеля DELTA,
        основанный на~анализе матрицы корреляций между ценами акций
        на предшествующем интервале времени длиной~$w$.
        Алгоритмы тестируются и~сравниваются по~доходности на 4~рядах реальных данных,
        в~том числе на 22-летней истории NYCE.
        Сравнение производится при транзакционных издержках 0\%, 0.1\% и 2\%,
        а~также при ограничении частоты сделок с~1~дня до~1~месяца.
        Алгоритм DELTA демонстрирует нереально высокую доходность
        при малых транзакционных издержках, особенно на данных NYCE.
        При введении ограничений доходность DELTA становится реальной
        и~сравнимой с~лучшими результатами других алгоритмов.
        В~качестве основных направлений исследований называются две задачи:
        оптимальный выбор моментов времени для балансировки портфеля
        и~оптимальный выбор подмножества акций."
}

@incollection{borodin04can,
    author = "Allan Borodin and  Ran El-Yaniv and  Vincent Gogan",
    title = "Can We Learn to Beat the Best Stock",
    booktitle = "Advances in Neural Information Processing Systems 16",
    editor = "Sebastian Thrun and Lawrence Saul and Bernhard {Sch\"{o}lkopf}",
    publisher = "MIT Press",
    address = "Cambridge, MA",
    year = "2004",
    url = "citeseer.ist.psu.edu/630049.html",
    annote = "
        Предлагается алгоритм
        динамической (online) балансировки портфеля ANTICOR,
        основанный на~анализе матриц кросс-корреляций
        двух последних интервалов времени длиной~$w$ каждый.
        ANTICOR является усовершенствованным вариантом DELTA~\cite{borodin00competitive}.
        Алгоритм тестируется на 4~рядах реальных данных,
        в~том числе на 22-летней истории NYCE.
        Две версии ANTICOR сопоставляются с~9 известными портфельными стратегиями.
        Предлагаемый алгоритм демонстрирует нереально высокую доходность,
        особенно на данных NYCE, без учёта транзакционных издержек."
}

@article{hellstrom00outlier,
    author = "Thomas Hellstrom",
    title = "Outlier Removal for Prediction of Covariance Matrices~---
        with an Application to Portfolio Optimization",
    journal = "Theory of Stochastic Processes",
    volume = "6(22)",
    number = "3",
    pages = "47--63",
    year = "2000",
    url = "citeseer.ist.psu.edu/485368.html",
    annote = "
        В~рамках теории Марковица строятся оценки
        ковариационной матрицы и~вектора доходностей, устойчивые к~выбросам.
        Предлагается простой алгоритм, исключающий дни с~выбросами
        методом скользящего контроля.
        Алгоритм тестируется на~двухлетних данных
        американского и~шведского рынка акций.
        Оценки строятся по 200-дневным интервалам и~проверяются по~20-дневным.
        Устранение выбросов понижает ошибку ковариационной матрицы на~9\%
        и~повышает значение функционала (Доходность~--~2~Риск) на~2.5\%
        на~тестовой выборке."
}

@misc{parkes-multiagent,
    author = "D. Parkes and Bernardo A. Huberman",
    title = "Multiagent cooperative search for portfolio selection",
    url = "citeseer.ist.psu.edu/212121.html"
}

@article{dempster01computational,
    author = "Dempster, M. A. H. and Payne, T. W. and Romahi, Y. S. and Thompson, G. W. P.",
    title = "Computational learning techniques for intraday {FX} trading using popular technical indicators",
    journal = "IEEE Transactions on Neural Networks,
        special issue on Computational Finance",
    volume = "12",
    pages = "744-754",
    year = "2001",
    url = "www.jims.cam.ac.uk",
    annote = "
        Описывается применение генетического алгоритма для построения
        логического корректора над набором из~16 технических индикаторов рынка.
        Предложенная торговая стратегия сравнивается по~доходности
        с~алгоритмами, использующими активное обучение (reinforcement learning)
        и~линейное программирование.
        Сравнительный эксперимент проводится на~внутридневных данных валютного рынка."
}

@misc{dempster00profitability,
    author = "Dempster, M. A. H. and Jones, C. M.",
    title = "The profitability of intra-day {FX} trading using technical indicators",
    howpublished = "Working paper No.~35/00,
        Judge Institute of Management, University of Cambridge",
    year = "2000",
    url = "www.jims.cam.ac.uk"
}


@bibsection{tutorials,
    title ="Учебники, курсы лекций, обзоры"
}

@book{bongard67problema,
    author = "Бонгард, М. М.",
    title = "Проблема узнавания",
    publisher = "М.: Наука",
    year = "1967",
    language = "russian"
}

@misc{merkov04methods,
    author = "Мерков, А. Б.",
    title = "Основные методы, применяемые для распознавания рукописного текста",
    howpublished = "Лаборатория распознавания образов МЦНМО",
    year = "2004",
    language = "russian",
    url = "www.recognition.mccme.ru/pub/RecognitionLab.html/methods.html"
}

@book{fukunaga90intro,
    author = "K. Fukunaga",
    title = "Introduction to statistical pattern recognition",
    publisher = "Academic press, Inc., Boston, USA",
    edition = "2",
    year = "1990"
}

@book{knuth98concrete,
    author = "Грэхем, Р. and Кнут, Д. and Паташник, О.",
    title = "Конкретная математика",
    publisher = "М.:~Мир",
    year = "1998",
    language = "russian",
    annote = "Оригинальный учебник по дискретному анализу.
        Разнообразные технические приемы оперирования с~дискретными объектами
        рассматривается на~многочисленных примерах."
}

@article{lbov65spa,
    author = "Лбов, Г. С.",
    title = "Выбор эффективной системы зависимых признаков",
    journal = "Вычислительные системы",
    volume = "19",
    pages = "21-34",
    year = "1965",
    language = "russian"
}

@article{meerkov72spa-converge,
    author = "Меерков, С. М.",
    title = "Свойство замедления в~задаче поиска глобального экстремума функций",
    journal = "Автоматика и~телемеханика",
    number = "12",
    pages = "129-139",
    year = "1972",
    language = "russian"
}

@article{lbov73coral,
    author = "Лбов, Г. С. and Котюков, В. И. and Манохин, А. Н.",
    title = "Об~одном алгоритме распознавания в~пространстве разнотипных признаков",
    journal = "Вычислительные системы",
    volume = "55",
    pages = "98-107",
    year = "1973",
    language = "russian"
}

@article{lbov76temp,
    author = "Лбов, Г. С. and Котюков, В. И. and Машаров, Ю. П.",
    title = "Метод обнаружения логических закономерностей на эмпирических таблицах",
    journal = "Вычислительные системы",
    volume = "67",
    pages = "29-42",
    year = "1976",
    language = "russian"
}

@book{lbov81methods,
    author = "Лбов, Г. С.",
    title = "Методы обработки разнотипных экспериментальных данных",
    publisher = "Новосибирск: Наука",
    year = "1981",
    language = "russian"
}

@book{zagoruiko85algorithms,
    author = "Загоруйко, Н. Г. and Ёлкина, В. Н. and Лбов, Г. С.",
    title = "Алгоритмы обнаружения эмпирических закономерностей",
    publisher="Новосибирск: Наука",
    year= "1985",
    language="russian"
}

@book{zagoruiko99methods,
    author = "Загоруйко, Н. Г.",
    title = "Прикладные методы анализа данных и знаний",
    publisher = "Новосибирск: ИМ~СО~РАН",
    year = "1999",
    language = "russian"
}

@book{tihonov86methods,
    author = "Тихонов, А. Н. and Арсенин, В. Я. ",
    title = "Методы решения некорректных задач",
    publisher = "М.: Наука",
    year = "1986",
    language = "russian"
}

@misc{mestetskii04course,
    author = "Местецкий, Л. М.",
    title = "Математические методы распознавания образов",
    howpublished = "Курс лекций, ВМиК~МГУ, кафедра ММП",
    year = "2002",
    language = "russian",
    url = "www.ccas.ru/frc/papers/mestetskii04course.pdf"
}

@book{aivazyan83statI,
    author = "Айвазян, С. А. and Енюков, И. С. and Мешалкин, Л. Д.",
    title = "Прикладная статистика: основы моделирования и~первичная обработка данных",
    publisher = "М.: Финансы и статистика",
    year = "1983",
    language = "russian"
}

@book{aivazyan85statII,
    author = "Айвазян, С. А. and Енюков, И. С. and Мешалкин, Л. Д.",
    title = "Прикладная статистика: исследование зависимостей",
    publisher = "М.: Финансы и статистика",
    year = "1985",
    language = "russian"
}

@book{aivazyan89statIII,
    author = "Айвазян, С. А. and Бухштабер, В. М. and Енюков, И. С. and Мешалкин, Л. Д.",
    title = "Прикладная статистика: классификация и~снижение размерности",
    publisher = "М.: Финансы и статистика",
    year = "1989",
    language = "russian"
}

@book{shurygin99applied,
    author = "Шурыгин, А. М.",
    title = "Прикладная стохастика: робастность, оценивание, прогноз",
    publisher = "М.: Финансы и статистика",
    year = "2000",
    language = "russian"
}

@book{yablonskiy86intro,
    author = "Яблонский, С. В.",
    title = "Введение в дискретную математику",
    publisher = "М.: Наука",
    year = "1986",
    language = "russian"
}

@book{lawson86lsm,
    author = "Лоусон, Ч. and Хенсон, Р.",
    title = "Численное решение задач метода наименьших квадратов",
    publisher = "М.: Наука",
    year = "1986",
    language = "russian"
}

@article{jain00statistical,
    author = "Anil K. Jain and Robert P. W. Duin and Jianchang Mao",
    title = "Statistical Pattern Recognition: A Review",
    journal = "IEEE Transactions on Pattern Analysis and Machine Intelligence",
    volume = "22",
    number = "1",
    pages = "4-37",
    year = "2000",
    url = "citeseer.ist.psu.edu/article/jain00statistical.html"
}

@article{dietterich97machine,
    author = "Dietterich, T. G.",
    title = "Machine Learning Research: Four Current Directions",
    journal = "{AI} Magazine",
    year = "1997",
    volume = "18",
    number = "4",
    pages = "97-136",
    url = "citeseer.ist.psu.edu/dietterich97machine.html"
}

@book{mitchell97machine,
    author      = {Mitchell, T.},
    title       = {Machine Learning},
    year        = {1997},
    publisher   = {McGraw-Hill Science/Engineering/Math}
}

@book{hastie01elements,
    author      = {Hastie, T. and Tibshirani, R. and Friedman, J.},
    title       = {The Elements of Statistical Learning},
    year        = {2001},
    publisher   = {Springer}
}

@bibsection{theoryofprobability,
    title ="Теория вероятностей"
}

@book{kolmogorov87information,
    author = "А. Н. Колмогоров",
    title = "Теория информации и теория алгоритмов",
    publisher = "М.:~Наука",
    editor = "Ю. В. Прохоров",
    year = "1987",
    language = "russian"
}

@book{kolmogorov74basic,
    author = "А. Н. Колмогоров",
    title = "Основные понятия теории вероятностей",
    publisher = "М.:~Наука",
    year = "1974",
    language = "russian"
}

@book{kolmogorov95introduction,
    author = "А. Н. Колмогоров and И. Г. Журбенко and А. В. Прохоров",
    title = "Введение в~теорию вероятностей",
    publisher = "М.:~Наука-Физматлит",
    year = "1995",
    language = "russian"
}

@book{bolshev83tables,
    author = "Л. Н. Большев and Н. В. Смирнов",
    title = "Таблицы математической статистики",
    publisher = "М.:~Наука",
    year = "1983",
    language = "russian"
}

@book{gaek71theory,
    author = "Гаек, Я. and Шидак, З.",
    title = "Теория ранговых критериев",
    publisher = "М.:~Наука",
    year = "1971",
    language = "russian"
}

@book{belyaev75sampling,
    author = "Ю. К. Беляев",
    title = "Вероятностные методы выборочного контроля",
    publisher = "М.:~Наука",
    year = "1975",
    language = "russian"
}

@article{belyaev73nonparametric,
    author = "Ю. К. Беляев and Л. В. Рыкова",
    title = "Непараметрический критерий Колмогорова для выборок из~конечных совокупностей",
    journal = "ДАН СССР",
    volume = "210",
    number = "6",
    year = "1973",
    pages = "1261-1264",
    language = "russian"
}

@article{rykova74nonparametric,
    author = "Л. В. Рыкова",
    title = "Непараметрический критерий Колмогорова-Смирнова для выборок из~конечных совокупностей",
    journal = "ДАН СССР",
    volume = "214",
    number = "4",
    year = "1974",
    pages = "771-774",
    language = "russian"
}

@article{smirnov39estimate,
    author = "Н. В. Смирнов",
    title = "Оценка расхождения между эмпирическими кривыми распределения в~двух независимых выборках",
    journal = "Бюлл. Московского ун-та, серия~А",
    year = "1939",
    number = "2",
    pages = "3--14",
    language = "russian"
}

@book{alimov80alternativa,
    author = "Алимов, Ю. И.",
    title = "Альтернатива методу математической статистики",
    publisher = "Знание",
    year = "1980",
    language = "russian"
}

@ARTICLE{bauer99statistics,
  author = {M. Bauer and C. Godreche and J.~M. Luck},
  title = {Statistics of persistent events in the binomial random walk:
    Will the drunken sailor hit the sober man?},
  journal = {J.STAT.PHYS.},
  volume = {96},
  pages = {963},
  url = {www.citebase.org/abstract?id=oai:arXiv.org:cond-mat/9905252},
  year = {1999}
}

@article{parzen62estimation,
    author = "E. Parzen",
    title = "On the estimation of a probability density function and mode",
    journal = "Annals of Mathematical Statistics",
    volume = "33",
    pages = "1065--1076",
    year = "1962",
    url = "citeseer.ist.psu.edu/parzen62estimation.html"
}

@article{rosenblatt56remarks,
    author = "M. Rosenblatt",
    title = "Remarks on some nonparametric estimates of a density function",
    journal = "Annals of Mathematical Statistics",
    volume = "27",
    number = "3",
    pages = "832--837",
    year = "1956"
}

@book{lagutin03matstat,
    author = "М. Б. Лагутин",
    title = "Наглядная математическая статистика",
    publisher = "М.: П-центр",
    year = "2003",
    language = "russian"
}

@book{orlov04nonnumerical,
    author = "А.~И.~Орлов",
    title = "Нечисловая статистика",
    publisher = "М.: МЗ-Пресс",
    year = "2004",
    language = "russian"
}

@bibsection{misc,
    title ="Разное"
}

@techreport{blake98uci,
    author = "Blake, C.L. and Merz, C.J.",
    title = "{UCI} Repository of machine learning databases",
    institution = "Department of Information and Computer Science,
        University of California, Irvine, {CA}",
    year = "1998",
    url = "www.ics.uci.edu/~mlearn/MLRepository.html",
    annote = "Крупнейший репозиторий реальных задач
        классификации и восстановления зависимостей,
        свободно доступный через Интернет. "
}

@incollection{voron93remedi,
    author = "Воронцов, К. В. and Кобзева, Н. В.",
    title = "Численные методы обработки данных
        для высокоэффективной жидкостной хроматографии",
    booktitle = "Информационные проблемы клинической токсикологии",
    publisher = "Москва",
    year = "1993",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron93remedi.pdf",
    annote = "
        Рассматривается алгоритм идентификации лекарственных препаратов
        в~биосредах организма по~данным жидкостной хроматографии.
        Алгоритм основан на~матричном подходе к~обработке числовых данных,
        поступающих со~сканирующего ультрафиолетового детектора.
        Более полное использование первичных данных в~совокупности
        с~математическим моделированием формы хроматографических пиков
        позволяет существенно улучшить качество идентификации.
        Алгоритм позволяет корректно выделять спектры веществ,
        отсутствующих в~базе данных системы,
        эффективно (в~сотни раз) сжимать ранее полученные хроматограммы
        практически без потери точности представления данных,
        ускорить самообучение системы,
        повысить чувствительность прибора при предельно низких концентрациях.
        Все предлагаемые модификации относятся к~программному обеспечению
        и~не~затрагивают аппаратной части хроматографической установки."
}

@misc{voron94diplom,
    author = "Воронцов, К. В.",
    title = "Предварительная обработка данных
        для решения задач распознавания в жидкостной хроматографии",
    howpublished = "Дипломная работа. Московский физико-технический институт",
    year = "1994",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron94diplom.pdf",
    annote = "Рассматривается один из подходов к~идентификации
        компонентов смеси химических веществ по~данным
        высокоэффективной жидкостной хроматографии.
        Предлагаемые алгоритмы ориентированы на~обработку
        исходных данных системы экстренной токсикологии
        REMEDI (Bio-Rad Laboratories, США),
        предназначенной для оперативного анализа образцов плазмы крови."
}

@article{voron95jvm,
    author = "Воронцов, К. В.",
    title = "Предварительная обработка данных
        для решения специального класса задач распознавания",
    journal = "ЖВМ и МФ",
    year = "1995",
    volume = "35",
    number = "10",
    pages = "1565-1575",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron95jvm.pdf",
    annote = "
        Рассматриваются алгоритмы предварительной обработки данных
        для~прикладной задачи, описанной в~\cite{voron93remedi}."
}

@article{voron95jvm-eng,
    author = "Vorontsov, K. V.",
    title = "Preliminary data processing for a~special class of recognition problems",
    journal = "Comp. Maths Math. Phys.",
    year = "1995",
    volume = "35",
    number = "10",
    pages = "1259-1267",
    url = "www.ccas.ru/frc/papers/voron95jvm-eng.pdf",
    annote = "The English version of \cite{voron95jvm}"
}

@article{voron00sdl,
    author = "Воронцов, К. В.",
    title = "Язык и среда для описания и исследования алгоритмических суперпозиций",
    journal = "Искусственный Интеллект",
    publisher = "Донецк",
    year = "2000",
    number = "2",
    pages = "36--41",
    language = "russian",
    annote = "Рассматриваются общие концепции нового инструментального средства,
        предназначенного для решения широкого класса задач обучения по~прецедентам~---
        среды и~языка для разработки обучаемых алгоритмических композиций ASDIEL.
        Очерчен класс задач, для решения которых это средство предназначено,
        описана формальная модель данных, лежащая в его основе."
}

@article{voron02imitrade,
    author = "Воронцов, К. В. and Пшеничников, С. Б.",
    title = "Имитационное моделирование торгов:
        новая технология биржевых тренажеров",
    journal = "Индикатор",
    publisher = "Москва",
    year = "2002",
    number = "2(42)",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron02imitrade.pdf",
    annote = "В статье представляется биржевой тренажёр Имитрейд,
        позволяющий освоить навыки биржевых операций в условиях,
        максимально приближенных к реальным торгам.
        В~тренажёре используется имитационная модель торгов,
        способная в~точности воспроизводить реальную торговую сессию
        и~адекватно реагировать на~возмущающие воздействия обучаемых."
}

@inproceedings{voron03imitrade,
    author = "Воронцов, К. В.",
    title = "Имитационное моделирование реальных биржевых торгов",
    booktitle = "ИММОД-2003: 1-ая Всеросс. конф.: Докл.",
    publisher = "Спб.",
    year = "2003",
    pages = "25--29",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron03imitrade.pdf",
    annote = "Рассматривается имитационная модель биржевых торгов,
        позволяющая детально воспроизводить реальные торговые сессии ММВБ.
        Для настройки модели используются методы распознавания образов.
        В~докладе описываются основные свойства и~строение модели,
        рассматривается биржевой тренажёр Имитрейд
        и~другие прикладные задачи, решаемые с помощью данной модели."
}

@misc{voron05yandex,
    author = "Воронцов, К. В. and Рудаков, К. В. and Лексин, В. А.",
    title = "Технология выявления взаимосогласованных структур сходства
        пользователей и ресурсов сети {Интернет}",
    howpublished = "Яндекс",
    year = "2005",
    language = "russian",
    url = "www.ccas.ru/frc/papers/voron05yandex.pdf",
    annote = "Для выявления предпочтений и~информационных потребностей
        огромного числа пользователей по~отношению
        к~огромному числу ресурсов простейшая тактика
        <<пользователи ресурса $X$ посещают также множество ресурсов $Y$>>
        представляется не вполне адекватной.
        Предлагается более тонкий анализ, основанный на принципе
        <<схожи те~пользователи, которые посещают схожие множества ресурсов,
        и~схожи те~ресурсы, на~которые заходят схожие пользователи>>.
        На~этом принципе построена технология анализа клиентских сред~(АКС),
        разработанная в компании Форексис (www.forecsys.ru).
        В~данной работе рассматривается применение~АКС
        к~обработке логов поисковой машины.
        Технология~АКС позволяет решать задачи персонализации поиска,
        направленного предложения ресурсов пользователям,
        поиска схожих ресурсов
        и~визуализации структуры Интернета в~виде карт сходства."
}