форум асутп
 На главную                       Здесь может быть Ваша реклама, подробнее...


 Наверх  |  Перейти к теме  |  Поиск  |  Вход  |  Дерево    
 ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   29.09.06 17:41

Artificial neural networks (ANN) или Искусственные Нейронные Сети (ИНН) в настоящем  форуме подвергаются обсуждению с разных сторон.
Попытаюсь и я нести свою лепту (при этом постараюсь не выносить чужую!).
Начиная дискуссию, я сразу хочу оговорить правила.
1 Правило:   Высказывать свое мнение по вопросу, если только сам что-то сделал или пробовал сделать в ИНС.
2 Правило:   можно задавать любые вопросы только для прояснения сути полученных результатов (как положительных, так и отрицательных).
3 Резюмировать свое мнение выводами (пусть и не достаточно обоснованными) для последующего обсуждения.
4 Давать ссылки на первоисточники, если привлекается не собственный аргумент.


Для начала дискуссии я выражу свое мнение:
Работа с использованием ИНС - всегда скорее НИОКР (или если нравится - кулинарная книга), чем готовое меню.
Тем. кто не не пробовал готовить блюда из этой кулинарной книги, прелагаю самим аппроксимировать нейронной сетью функцию: Y=x на отрезке: {-11;+23} и сравнить (благо это легко!) точность полученных результатов.

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   08.01.07 19:20

А какие могут возникнуть проблемы при аппроксимации функции Y=x?

В наиболее распространенном общем случае нейросетевой аппарат - это инструмент для аппроксимации многомерных нелинейных функций. Этот инструмент не одинок в своем классе. Проблемы, которые могут здесь возникнуть - фундаментальные и присущи любым аналогичным инструментам. Например, нельзя гарантировать качесво восстановления нелинейной функции на интервале от 5 до 10, если обучение ИНС (или параметризация, например, аппроксимирующего степенного полинома) выполнялось на интервале от 0 до 5.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   08.01.07 21:55

Так Вы сами уже провели НС аппроксимацию функции Y=x?
Интересно, какие результаты?

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   09.01.07 05:07

Функция ж линейная. Здесь результат можно достичь абсолютный. Главное адекватную структуру ИНС выбрать. В данном случае сеть лучше брать линейную (один нейрон с линейной функцией активации).

Адрес этого сообщения    Ответить на это сообщение
 
 Re[2]: ANN-ИНС: мифы и реальность
Автор: zyubin@xxx.xxx.xx 
Дата:   09.01.07 10:25

Hello Борис,

"Одинаковое одинаковому рознь"...
В том смысле, что под апппроксимацией можно понимать и интерполяцию и
экстраполяцию... для статистических методов моделирования (к каковым
относится и нейросети) экстраполяция - слабое место.
Интерполяция - это та область, где СММ хорошо себя проявляют.

т.ч. "...нейросетевой аппарат - это
инструмент для..." интерполяции различных функций, в том числе, и
"многомерных нелинейных функций"

Monday, January 08, 2007, 10:20:57 PM, you wrote:

БН> А какие могут возникнуть проблемы при аппроксимации функции Y=x?

БН> В наиболее распространенном общем случае нейросетевой аппарат - это
БН> инструмент для аппроксимации многомерных нелинейных функций. Этот
БН> инструмент не одинок в своем классе. Проблемы, которые могут здесь
БН> возникнуть - фундаментальные и присущи любым аналогичным инструментам.
БН> Например, нельзя гарантировать качесво восстановления нелинейной функции
БН> на интервале от 5 до 10, если обучение ИНС (или параметризация, например,
БН> аппроксимирующего степенного полинома) выполнялось на интервале от 0 до 5.



--
Best regards,
 zyubin

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   09.01.07 11:40

Теоретически Вы абсолютно правы!
Однако на практике мы (да наверное и Вы)  пользуете какую либо программу обучения НС.
и настраивание этой программы на решение конкретной задачи уже не представляется таким простым делом как в теории: ошибки округления, ошибки метода, нормирование границ и т.д. и т.п. будут вносить дополнительные искажения с которыми надо будет бороться.
Именно это я имел в виду, когда говорил о применении НС как о НИОКРе.

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: Re[2]: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   09.01.07 14:47

> ...под апппроксимацией можно понимать и интерполяцию и экстраполяцию...

Все же аппроксимация, интерполяция и экстраполяция это разные вещи. Собственно в этом то и проблема: при обучении основным индикатором является ошибка аппроксимации, а интересую нас, как правило, качество обобщения, т.е. качество интерполяции и/или экстраполяции. Поэтому не могу согласиться с Вами в том, что ИНС - это инструмент для интерполяции. Прямая задача - это все же аппроксимация. Все остальное - это "побочный" продукт. А вот уже управление качеством этого "побочного" продукта и является мастерством разработчика. Здесь, в первую очередь, - подготовка и анализ данных. Нужно понимать, что мы получить можем и при каких условиях, чего можем, но лишь при удачном стечении обстоятельств, и чего получить не можем в принципе. Никакие "сверхмощные" алгоритмы за человека эту работу не проделают, поскольку именно на этом уровне формализуется сама задача. Если на этом этапе все сделано правильно, то уже практически не важно в какой форме будет представлено решение. Безусловно, в зависимости от задачи, т.е. от природы данных, с которыми мы работаем, в одном случае искомую функцию более гармонично будет представлена нейросетью, а в другом, например, МГУА. На мой взгляд, говорить о преимуществах одного метода над другим, можно лишь привязавшись к конкретной задаче и только в отношении этой частной задачи.

> ... для..." интерполяции различных функций, в том числе, и "многомерных нелинейных
> функций"...

В том числе? А какая функция не является частным случаем "многомерной нелинейной функции"?

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   09.01.07 15:39

> Однако на практике мы (да наверное и Вы)  пользуете какую либо программу обучения НС.

Я пользую MATLAB, и откровенно признаюсь, даже не вникал в тонкости реализации пакета Neural Network Toolbox. Представляю лишь общие принципы, и не чувствую себя при этом ущербным. Мне ж для моделирования моделей в симулинке не надо знать его внутренние устройство..:). Вот такое отношение и к нейросетям. Я лишь пользователь. Нейронные сети в моих руках - это инструмент. Технические характеристики этого инструмента мне известны и этого мне вполне хватает для успешного решения практических задач. Откровенно говоря, всегда забавляло рвение некоторых товарищей самостоятельно чего-то писать, реализовывать алгоритмы десяти, а то и двадцатилетней давности, когда есть целый ряд готовых современных продуктов, написанных высококвалифицированными специалистами. Не думаю, что виной тому является стремление сохранить авторские права производителей этих продуктов..:) Ну да ладно, это лирика.

> ошибки округления, ошибки метода, нормирование границ и т.д. и т.п. будут вносить
> дополнительные искажения с которыми надо будет бороться.

В моем случае выбор параметров сети сводится к заданию ее структуры (как правило, это одно число, отвечающее за количество нейронов в скрытом слое), остальное делается автоматически. Мне остается лишь оценить адекватность обученной сети. Опять же, как правило, выборки я готовлю таким образом и структуры нейросетей выбираю так, что о такой проблеме, как переобучение и не вспоминаю, а ошибка обучения фактически и является ошибкой обобщения. Мне остается лишь перебрать с пяток сетей и выбрать из них ту, на которой достигнута наименьшая ошибка обучения.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: Re[2]: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   09.01.07 17:37

Спасибо!
Вы подтвердили невольно мой тезис о том, что применение НС - НИОКР!

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: Re[2]: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   09.01.07 19:33

Да я собственно и не оспаривал Вашу позицию. Единственное, что хотелось, так это несколько сместить акцент с "работы с ИНС" на "работу с информацией". То есть с необходимости знания тонкостей нейроинформатики на необходимость хорошего понимания той предметной области, к которой принадлежит решаемая задача. Использовать в своей практике нейросети можно и не являясь специалистом в области нейроинформатики. Поскольку не сеть решает задачу, а человек, который выбирает чему эту сеть учить. Сеть - это всего лишь нелинейная функция, которая представляет решение. Наличие готовых программных продуктов позволяет сосредоточиться непосредственно на задаче и не вникать в детали процесса обучения. В отношении непосредственно обучения ИНС важно иметь лишь общие представления о проблемах, возникающих при аппроксимации нелинейных функций, а так же об особенностях методов численной оптимизации (коими и является алгоритмы обучения). И чем совершенно голову забивать себе не надо так это всякими аналогиями с биологическим нейроном. Аксонами и дендиридами пусть нейрофизиологи занимаются. А то молодежь поначитается этого мракобесия, и считает, что чем больше нейронов затулить в сеть, тем она "умней" будет.

Адрес этого сообщения    Ответить на это сообщение
 
 Re[4]: ANN-ИНС: мифы и реальность
Автор: zyubin@xxx.xxx.xx 
Дата:   10.01.07 10:59

Hello Борис,

Tuesday, January 09, 2007, 5:47:24 PM, you wrote:

>> ...под апппроксимацией можно понимать и интерполяцию и экстраполяцию...

БН> Все же аппроксимация, интерполяция и экстраполяция это разные вещи.

Разумеется разные я об этом и пишу: И. и Э. - это частные случаи
аппроксимации.

Вот и учебники об этом толкуют.
"Аппроксимация (от лат. approximo   _приближаюсь_), замена одних
математических объектов другими, в том или ином смысле близкими к
исходным... Некоторые разделы математики целиком посвящены
А.(аппроксимации - В.З.); например, приближение и _интерполирование_
функций..."

"Интерполяция в математике и статистике, отыскание промежуточных
значений величины по некоторым известным её значениям. Например,
отыскание значений функции f (x) в точках х, лежащих между точками
(узлами И.) x0 < x1 < ... < xn, по известным значениям yi = f (xi)
(где i = 0, 1, ..., n). В случае, если х лежит вне интервала,
заключённого между x0 и xn, аналогичная задача называется задачей
_экстраполяции_."

"Экстраполяция (от экстра... и лат. polio   приглаживаю, выправляю,
изменяю) в математике и статистике, _приближённое_ определение значений
функции..." и т.д.

БН> Собственно в этом то и проблема: при обучении основным индикатором
БН> является ошибка аппроксимации, а интересую нас, как правило, качество
БН> обобщения, т.е. качество интерполяции и/или экстраполяции. Поэтому не могу
БН> согласиться с Вами в том, что ИНС - это инструмент для интерполяции. Прямая

Отсутствие экстраполирующих свойств - это по определению беда всех
статистических методов моделирование, это факт, который я лично даже и
не собираюсь обсуждать.

БН> задача - это все же аппроксимация. Все остальное - это "побочный" продукт.
БН> А вот уже управление качеством этого "побочного" продукта и является
БН> мастерством разработчика. Здесь, в первую очередь, - подготовка и анализ
БН> данных. Нужно понимать, что мы получить можем и при каких условиях, чего
БН> можем, но лишь при удачном стечении обстоятельств, и чего получить не
БН> можем в принципе. Никакие "сверхмощные" алгоритмы за человека эту работу
БН> не проделают, поскольку именно на этом уровне формализуется сама задача.
БН> Если на этом этапе все сделано правильно, то уже практически не важно в
БН> какой форме будет представлено решение. Безусловно, в зависимости от
БН> задачи, т.е. от природы данных, с которыми мы работаем, в одном случае
БН> искомую функцию более гармонично будет представлена нейросетью, а в
БН> другом, например, МГУА. На мой взгляд, говорить о преимуществах одного
БН> метода над другим, можно лишь привязавшись к конкретной задаче и только в
БН> отношении этой частной задачи.

>> ... для..." интерполяции различных функций, в том числе, и "многомерных
БН> нелинейных
>> функций"...

БН> В том числе? А какая функция не является частным случаем "многомерной
БН> нелинейной функции"?

Не отвечу, лень думать. Но зачем-то же написано, про многомерность и нелинейность...
я же это дело обобщил до просто "функций". Короче и понятнее.

--
Best regards,
Vladimir E. Zyubin

Адрес этого сообщения    Ответить на это сообщение
 
 Re: Re[4]: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   11.01.07 10:40

> Отсутствие экстраполирующих свойств - это по определению беда всех
> статистических методов моделирование...

Ну почему же отсутствие, к тому же и всех методов.
Все не так печально. Во-первых, не полное отсутствие свойств, а мягче - отсутствие гарантий удовлетворительного результата. А во-вторых, линейные зависимости очень даже хорошо экстраполируются. Если задача линейна сама и аппроксимирована адекватной линейной функцией, то с экстраполяцией вообще нет никаких проблем.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: Re[4]: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   11.01.07 10:56

А по поводу интерполяции и аппроксимации...
Качественная аппроксимация функции по точкам (по критерию минимума отклонения) не гарантирует качественной интерполяции, скорее бывает даже наоборот. Поэтому в контексте обучения ИНС я бы все же остерегся подменять эти термины.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   11.01.07 21:11

Похоже, обсуждение уходит в мелочи, недостойные форума таких специалистов.
Разумеется, по теореме Колмогорова об аппроксимации всегда можно подобрать более простую зависимость, удовлетворяющую практика. Но для НС это не главное достоинство.
Не так давно я оппонировал в МЭИ одной очень перспективной кандидатской по применению НС для прогноза частичных отказов измерительных каналов АСУ ТП. Вот это достойное применение НС. Кроме того автор диссертации разработал еще и программу обучения НС на основе применения генетических алгоритмов. Это позволило ему решать задачу обучения большой размерности (ясно, что АСУ ТП блока ТЭЦ - это серьезный пример) и результаты работы очень впечатляют. Конечно разные студенческие MATLABы не смогут даже приблизиться к подобным задачам, но и они помогают подготовиться к штурмам больших высот. Не зря же серьезные игроки на рынке программного обеспечения НС (напр. Neuro Dimension), как правило, имеют облегченную версию своих пакетов для MATLABа. Но всё-таки, как ни крути, применение НС - НИОКР, и чем серьезней проблема тем сложнее НИОКР.

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   12.01.07 12:04

> Это позволило ему решать задачу обучения большой размерности...

О какой размерности идет речь? Размерности чего? В работе приводятся объективные доводы в пользу необходимости разработки новых алгоритмов обучения? Количественными примерами доказана жизненная необходимость применения эволюционных алгоритмов? Выполнено сравнение эффективности применения разработанных алгоритмов и существующих?

> Конечно разные студенческие MATLABы не смогут даже приблизиться к подобным
> задачам...

"студенческие MATLABы"... ну насмешили..:) А насколько хорошо Вы знакомы с этой средой?

> Но всё-таки, как ни крути, применение НС - НИОКР, и чем серьезней проблема тем
> сложнее НИОКР.

Представление периода синусоиды путем, например, разложения в ряд Тейлора - это, очевидно, не НИОКР, а решение этой же задачи, но с помощью нейросетевого аппарата - это НИОКР. Так получается? Ведь условие, которое Вы отнесли к статусу достаточных, выполнено - нейросети используются.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   13.01.07 01:00

> o какой размерности идет речь? Размерности чего? В работе приводятся объективные > > доводы в пользу необходимости разработки новых алгоритмов обучения?
> Количественными примерами доказана жизненная необходимость применения
> эволюционных >алгоритмов? .Выполнено сравнение эффективности применения
> разработанных алгоритмов и существующих?

Размерность обучаемой системы (если Вы представляете себе АСУ ТП блока 100 Мвт - несколько тысяч сигналов) более 50 входных параметров и около 20 выходов.
Кстати могу Вам дать "студенческий" пример (2 входа 14 выходов) который MATLAB не "тянет". Не думайте, что если задачу можно решить просто, надо специально "накручивать" заказчиков работы (или как говорять Чукчи об оленях - "бить панты"). Вся проблема здесь заключается в сложности рельефа оптимизируемой функции которая, как назло, всегда имеет много локальных минимумов. Всякие "методы моментов", сопряженные градиенты, дельта-бар-дельта не "тянут". Левенберг-Маквардт не лезет в память или считает неделями (можно правда арендовать CRAY-3 если есть "бабки"). А челове на обычном пентиуме-4 за день просчитывал такие задачи генетическим алгоритмом.

Что касается MATLABа. Я отношусь к нему очень хорошо. Всегда стараюсь сам и другим предлагаю сначала применить его для решения какой либо задачи. Особенно в целях экономии денег на ПО.

Но есть одна немаловажная деталь: в серьезных практических задачах недостаточно получать качественно правильный результат, требуется  еще и точность.
К примеру, можно ли с помощью SIMULINKa моделировать нестационарныую теплогидравлику парового котла? Конечно можно! Но точность модели будет никудышняя! А вот с помощью RELAP-5 можно, да еще и наперед заданной точностью, хотя RELAP-5 исходно предназначен для моделирования блоков АЭС с водоохлаждаемыми реакторами.
И так практически с любой проблемой (моделирование напряженного состояния сложных конструкций - ANSYS, гидроаэродинамика - FLUENT, CFX, STAR, и т.д. и т.п.) везде есть реальная альтернатива  MATLABу. Другое дело это альтернатива недешевая! Но для получения практически применимого результата приходиться платить.
 Ситуация с НС ничем не отличается. Есть много бесплатных программ, в тот же MATLAB встроено много пакетов разных разработчиков, но Neural-Works Professional II/Plus или NeuroSolution все равно на голову превосходят  MATLABовские примочки по своим функциональным возможностям.

> Представление периода синусоиды путем, например, разложения в ряд Тейлора - это,
> очевидно, не НИОКР, а решение этой же задачи, но с помощью нейросетевого аппарата -> это НИОКР. Так получается? Ведь условие, которое Вы отнесли к статусу достаточных, > выполнено - нейросети используются.

Когда я приводил пример с Y=x, я специально утрировал проблему с НС, чтобы у многих, прочитавших научно-популярную литературу по НС, не сложилось мнение, что НС быстро и просто решат их задачи, которые ранее решать другими методами не удавалось.

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   14.01.07 08:14

> Размерность обучаемой системы (если Вы представляете себе АСУ ТП блока 100 Мвт -
> несколько тысяч сигналов) более 50 входных параметров и около 20 выходов.

Ну так а кто мешает выполнить декомпозицию задачи и рассматривать не одну сеть с 20-ю выходами, а 20 сетей, каждую с одним выходом? В этом случае можно (нужно!!!) выполнить анализ факторов (информационных входов) объективно влияющих на каждый из прогнозируемых параметров и отбросить сомнительные и малозначимые. И за тот же день работы на "обычном  пентиуме-4" с помощью штатных ресурсов того же MATLAB получить решение (в виде относительно простых 20 обученных сетей), которое, как минимум, не будет проигрывать по точности, но существенно будет выигрывать по показателю надежности и даже интерпретируемости.

> К примеру, можно ли с помощью SIMULINKa моделировать нестационарныую
> теплогидравлику парового котла? Конечно можно! Но точность модели будет
> никудышняя!

А какая связь между симулинком и точностью модели? Модель создается человеком. Если модель не адекватна реальности, то причем тут среда моделирования? Симулинк, по существу,  выполняет лишь численное интегрирование процессов в той модели, которую ему "предложит" человек.

> ... везде есть реальная альтернатива  MATLABу. Другое дело это альтернатива
> недешевая! Но для получения практически применимого результата приходиться
> платить...

> ... Есть много бесплатных программ, в тот же MATLAB встроено много пакетов разных
> разработчиков, но Neural-Works Professional II/Plus или NeuroSolution все равно на
> голову превосходят  MATLABовские примочки по своим функциональным
> возможностям.

Вы как-то все время упускаете тот факт, что вообще-то МАТЛАБ - это коммерческий продукт, и он далеко не бесплатный. Выстраивая связь стоимости ПО и его функциональных возможностей правильней ориентироваться на лицензионные ценники.

У меня и в мыслях не было настаивать на безальтернативности МАТЛАБа. Узкоспециализированный софт, конечно же, есть, и он по определению должен быть чем- то лучше и удобней. Но ели меня интересует результат функционирования какого-то алгоритма обучения, и он под копирку реализован как в МАТЛАБе так и в какой-нибудь специализированной программе, то разницы в какой среде я его запущу - нет. В МАТЛАБе мне это сделать удобней. МАТЛАБ имеет достаточно обширный объем основных инструментов по работе с нейросетям. Да, в количественном плане (кол-во инструментов) он, скорее всего, проигрывает специализированному ПО, но не в качественном (качество инструментов). Этими инструментами просто нужно уметь пользоваться.

> Когда я приводил пример с Y=x, я специально утрировал проблему с НС, чтобы у
> многих, прочитавших научно-популярную литературу по НС, не сложилось мнение, что
> НС быстро и просто решат их задачи, которые ранее решать другими методами не
> удавалось.

"Для любой задачи, которую может решить нейрокомпьютер, можно построить более стандартную специализированную ЭВМ, которая решит ее не хуже, а чаще всего даже лучше" [Нейроинформатика / А.Н. Горбань, В.Л. Дунин-Барковский, А.Н. Кирдин и др. - Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296с]

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   15.01.07 00:22

> Ну так а кто мешает выполнить декомпозицию задачи и рассматривать не одну сеть с >20-ю выходами, а 20 сетей, каждую с одним выходом? В этом случае можно (нужно!!!) >выполнить анализ факторов (информационных входов) объективно влияющих на каждый из >прогнозируемых параметров и отбросить сомнительные и малозначимые. И за тот же день >работы на "обычном  пентиуме-4" с помощью штатных ресурсов того же MATLAB получить >решение (в виде относительно простых 20 обученных сетей), которое, как минимум, не >будет проигрывать по точности, но существенно будет выигрывать по показателю >надежности и даже интерпретируемости.

1. В АСУ ТП стараются не заводить малозначимые параметры, особенно аналоговые (накладно впустую ставить термопару, тянуть провод, УСОшник недешевый, да монтаж-наладка ныне дороги!). А предсказать частичный отказ ИК надо. И так по каждому ИК, а в особенности ИК в защитах и блокировках. А 20 ИК ведь даже не 20% всех ИК на блоке, иначе и огород не надо было городить!
2. Провести правильно декомпозицию и разбить одну сеть на 20 и при этом не утерять важные взаимосвязи - задачка уже 20-ти НИОКРов, причем делать их будет человек, а не машина (вот и пойдут ошибки, сбои, просмотры, недоразумения и тд. и тп. - человеку в отличии от машины свойственно ошибаться). А общность подхода? Что, с переходом от блока ТЭЦ 100 Мвт к парогазовому блоку 450 Мвт, надо заново проводить декомпозицию? Ведь там уже и структура блока другая, и взаимосвязи другие!?  Ну и где тут будет ускорение решения основной задачи? Так что выходит хрен редьки не слаще!

> Вы как-то все время упускаете тот факт, что вообще-то МАТЛАБ - это коммерческий >продукт, и он далеко не бесплатный. Выстраивая связь стоимости ПО и его >функциональных возможностей правильней ориентироваться на лицензионные ценники.

Мне после этих фраз показалось, что Вы сейчас живете в США или Канаде и никогда не видели Российских студентов с CD под мышкой (на CD отчетливо читается: "TLF-SOFT-Mathworks.Matlab.R2006b-ACMEiSO-CD1-4.bin"). По-моему уже нет ВУЗа в России, где в копьютерном классе нельзя было бы запустить или скопировать Matlab ( и без какого либо прейскуранта). Специализированные пакеты, о которых я говорил, защищены гораздо лучше и "на халяву" студентам их не получить! Это понимают и разработчики таких пакетов, когда кидают свою Lite-версию в Matlab, аудитория ведь большая, возможно кто-то, не удовлетворенный Matlabом, купит и полную версию.


>"Для любой задачи, которую может решить нейрокомпьютер, можно построить более >стандартную специализированную ЭВМ, которая решит ее не хуже, а чаще всего даже >лучше" [Нейроинформатика / А.Н. Горбань, В.Л. Дунин-Барковский, А.Н. Кирдин и др. - >Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296с]

"Предметная область нейронных сетей лежит на пересечении многих наук. Ее корни уходят в нейробиологию, математику, статистику, физику, науку о компьютерах и инженерию. В частности нейронным сетям есть что предложить, когда решение интересующей задачи становиться сложным по одной из следующих причин:
- из-за отсутствия физического либо статистического понимания системы;
- из-за статистического разброса наблюдаемых данных;
- из-за нелинейности механизма, ответственного за обобщение данных".
[Саймон Хайкин, "Нейронные сети, полный курс", Изд. дом "Вильямс" Москва, 2006 г. -1104 стр.]

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   15.01.07 11:31

> Провести правильно декомпозицию и разбить одну сеть на 20 и при этом не утерять
> важные взаимосвязи - задачка уже 20-ти НИОКРов...

Да какие 20-ть НИОКРов. Это 20-ть тривиальных задачек с единой схемой решения. Все вообще может происходить в автоматическом режиме без участия человека. Причем для каждого из прогнозируемых параметров могут быть выбраны уникальные входные вектора сетей, содержащие лишь ту информацию, которая объективно необходима для принятия адекватного решения. При этом размерность входного вектора каждой из таких сетей, скорее всего, сократиться, а суммарное количество информационных входов по всем 20 сетям может не ограничиваться 50-ю. Благодарю этому, решение, скорее всего, окажется и проще и качественней. Зачем было героически усложнять себе задачу, городить огород из генетических алгоритмов и тащить сюда еще и их проблемы, которые, скорее всего, также отразились на качестве решения, не понимаю. Решая задачу с использованием нейронных сетей работать нужно с информацией, а не с нейронными сетями.

> Мне после этих фраз показалось, что Вы сейчас живете в США или Канаде и никогда не
> видели Российских студентов с CD под мышкой (на CD отчетливо читается: "TLF-
> SOFT-Mathworks.Matlab.R2006b-ACMEiSO-CD1-4.bin").

Не вижу повода для бравады. Это наша с Вами общая беда. Вы начали апеллировать к стоимости ПО, и сопоставлять пиратскую стоимость MATLABа с лицензионной стоимостью иных продуктов, подразумевая что функциональные возможности сравниваемых продуктов пропорциональны этим цифрам. Мне кажется, что это некорректно. С фактической стоимостью МАТЛАБа можно ознакомится на сайте MathWorks или на сайтах его официальных российских дистрибьюторов. Уверяю Вас, масштаб халявы, любезно предоставленной пиратами, Вас приятно удивит. Причем пираты воруют не какие-то купированные студенческие версии, а полностью функциональный продукт.

> Специализированные пакеты, о которых я говорил, защищены гораздо лучше и "на
> халяву" студентам их не получить! Это понимают и разработчики таких пакетов, когда
> кидают свою Lite-версию в Matlab, аудитория ведь большая, возможно кто-то, не
> удовлетворенный Matlabом, купит и полную версию.

Мне кажется неверным мнение, что МАТЛАБ является своего рода "помойкой", в которую третьи производители в рекламных целях сливают то, что им не жалко отдать бесплатно. Скорее наоборот, МАТЛАБ просто подминает эти продукты под себя. А отсутствие взломанных версий узкоспециализированных пакетов в первую очередь обусловлено не качеством их защиты, а отсутствием широкого спроса на них.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   15.01.07 12:11

А в отношении

"Предметная область нейронных сетей лежит на пересечении многих наук. Ее корни уходят в нейробиологию, математику, статистику, физику, науку о компьютерах и инженерию. В частности нейронным сетям есть что предложить, когда решение интересующей задачи становиться сложным по одной из следующих причин:
- из-за отсутствия физического либо статистического понимания системы;
- из-за статистического разброса наблюдаемых данных;
- из-за нелинейности механизма, ответственного за обобщение данных".
[Саймон Хайкин, "Нейронные сети, полный курс", Изд. дом "Вильямс" Москва, 2006 г. -1104 стр.]

так это не отменяет

"Для любой задачи, которую может решить нейрокомпьютер, можно построить более >стандартную специализированную ЭВМ, которая решит ее не хуже, а чаще всего даже >лучше" [Нейроинформатика / А.Н. Горбань, В.Л. Дунин-Барковский, А.Н. Кирдин и др. - >Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296с]

Альтернатива сущесвует всегда. Мало знать о ее сущесвовании, необходимо уметь трезво оценить все приемущесва и недостатки каждого из подходов и объективно выбрать наиболее подходящей для конкретных условий его применения. Это в полном объеме справедливо и для нейросетей.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   15.01.07 17:00

>Да какие 20-ть НИОКРов. Это 20-ть тривиальных задачек с единой схемой решения. Все >вообще может происходить в автоматическом режиме без участия человека. Причем для >каждого из прогнозируемых параметров могут быть выбраны уникальные входные вектора >сетей, содержащие лишь ту информацию, которая объективно необходима для принятия >адекватного решения. При этом размерность входного вектора каждой из таких сетей, >скорее всего, сократиться, а суммарное количество информационных входов по всем 20 >сетям может не ограничиваться 50-ю. Благодарю этому, решение, скорее всего, >окажется и проще и качественней. Зачем было героически усложнять себе задачу, >городить огород из генетических алгоритмов и тащить сюда еще и их проблемы, >которые, скорее всего, также отразились на качестве решения, не понимаю. Решая >задачу с использованием нейронных сетей работать нужно с информацией, а не с >нейронными сетями.

Я удивлен что Вы, с Вашими подходами и уверенностью, не опередили того "нерасторопного" диссертанта. Например, для АСУ ТП АЭС проблема распознания частичных отказов ИК на вес золота! Я готов немедленно открыть договор с Вами на разработку такой программы по АЭС с ВВЭР-1000. Сообщите что Вам потребуется для выполнения работы.

Должен заметить, что на защите тот диссертант провел достаточно большое и качественное исследование альтернативных методов решения задачи распознавания отказов. И у меня и у другого оппонента было много вопросов, на оторые он грамотно отвечал. А одному выступавшему (очевидно идейному противнику), который утверждал что его программа считает в три раза быстрее и занимает в два раза меньше памяти, он возразил: "Зато моя программа выдает правильный результат!"

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   15.01.07 19:11

> Я готов немедленно открыть договор с Вами на разработку такой программы по АЭС с
> ВВЭР-1000.

Ну Вы же лично знакомы с автором, располагающим интересующим Вас продуктом. Этот продукт вполне работоспособен. Зачем платить за разработку нового? Или же не все так безоблачно?

> Я удивлен что Вы, с Вашими подходами и уверенностью, не опередили того
> "нерасторопного" диссертанта.

Я с этой работой, собственно как и с самой проблемой, лично незнаком. Представление о ней получил лишь с Ваших слов, из которых понял, что изюминка работы состоит в применении какой-то специфической модификации генетического алгоритма для обучения нейросети размерностью около 50 входов и 20 выходов (т.е. нейросети, обучить которую градиентными методами не удавалась). Причем эту работу Вы привели, как пример необходимости писать уникальный нейрософт под каждую серьезную задачу. Собственно от сюда и моя критика, поскольку я противник этого, и успешный исход применения нейросетей вижу в другом. Фактически же, положения новизны этой работы наверняка не ограничились применением генетического алгоритма. Если результат этой работы действительно стоящий, то достигнут он был за счет каких то иных нововведений. Возможно, это специальные целевые функции или хитрое представление и предобработка входных данных или что-то другое. Ну не может быть так, что всего лишь факт применение особого метода оптимизации (в данном случае – эволюционного, кстати, достаточно простого по своей природе) параметров модели позволил решить проблему, считающуюся ранее чуть-ли неразрешимой (цитирую: "на вес золота").

> Сообщите что Вам потребуется для выполнения работы.

Я не отказываюсь от своих слов. Если задача обучения нейросети сведена к задаче аппроксимации, то ради спортивного интереса можно провести сравнительный эксперимент. Для этого мне потребуется обучающая выборка (для чистоты эксперимента - та же, что использовалась при обучении генетическим алгоритмом), и выборка, на которой можно сравнить оба решения (штатная градиентная оптимизация vs. специализированная эволюционная оптимизация). Естественно, что для сравнения гонять по всем 20-ти прогнозируемым параметрам нет смысла, и можно ограничится одним - наиболее критическим показателем.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   16.01.07 11:09

Чтобы вернуть разговор в конструктивное русло давайте на примере задачи "распознания частичных отказов измерительных каналов АЭС с ВВЭР-1000" рассмотрим типовые этапы синтеза нейросетевого решения и попытаемся определить, где здесь НИОКР, а где не очень.

Насколько я понимаю, в основу этого решения положена гипотеза о возможности косвенного оценивания значения измеряемой величины через значения других измеряемых величин. Существенное отклонение фактического измерения от оцениваемого косвенным путем, будет говорить о наличии неполадок в рассматриваемом измерительном канале (ИК).

Глобально это решение состоит из двух этапов.
1. Анализ и подготовка данных.
2. Представление решения путем обучения нейросети.

На первом этапе последовательно для каждой из прогнозируемых величин должны быть решены следующие задачи (лишь перечень наиболее очевидных).
1.1. Определение наиболее значащих ИК, т.е. ИК, которые физически, структурно или технологически связанных с диагностируемым ИК.
1.2. Выявление тех ИК, показатели которых интересны (полезны) в динамике (это касается как исходных, так и диагностируемых ИК).
1.3. Фильтрация. Особенно актуальна при необходимости оценивания  динамики ИК (например может так получиться, что, вторая производная от какого-то одного ИК несет больше информации, чем все остальные ИК вместе взятые)
1.4. Если по каким-то ИК есть запаздывания, то их, скорее всего, необходимо будет компенсировать, а возможно и искусственно форсировать процесс, если последствия отказа ИК проявляются не в момент отказа, и по истечению некоторого времени.

Пояснения. Задачи по пунктам 1.3. и 1.4. решать "вручную" не обязательно. Но необходимо четко себе представлять, какая дополнительная информация необходима для их решения, и также подать эту информацию на вход ИНС, чтобы у нее был необходимый информационный ресурс для их разрешения в своем чреве.

Это только то, что касается входных данных. Отдельный вопрос – форма представления результатов диагностики Она может быть представлена как вероятность отказа ИК, как численное значение наиболее вероятностного отклонения (например, для введения поправок в системы регулирования), как степень износа ИК и прогнозируемое время до ремонта и т.д. В принципе, может быть даже предусмотрена следующая возможность. Если есть уверенность, что отказал лишь ИК, а сам узел (устройство, процесс) функционирует в штатном режиме, то на время ремонта ИК, дабы не останавливать весь процесс, фактические показания ИК могут быть кратковременно заменены на прогнозируемые (конечно, эта возможность  зависит от точности прогноза и критичности ошибки измерения).

После того как решены все вышеперечисленные задачи (и решена еще целая куча проблем, которые обязательно возникнут в процессе исследования). Можно переходить ко второму и завершающему этапу - финальному обучению ИНС. Здесь схема "накатанная". Она универсальна для задач любой физической (или даже шире - информационной) природы. Настройки сети выбираются в зависимости от планируемого режима ее функционирования (в скобках рекомендации, для случая обучения по критерию минимума среднеквадратичной ошибки без регуляризации):
а) тупо в режиме памяти  (выбирая количество нейронов можно не стесняться и ориентироваться лишь на показатель среднеквадратичной ошибки);
б) в режиме интерполяции  (желательно найти разумный баланс между кол-вом нейронов  и ошибкой обучения);
в) в режиме экстраполяции (здесь действует правило: чем ниже нелинейности нейросети (т.е. чем меньше нейронов) - тем выше вероятность качества экстраполяции, но гарантий никаких).

Первый этап рассмотренной схемы формально вообще может быть не привязан к нейронным сетям. Он не требует знания нейроинформатики, он требует глубоко понимания предметной области, или, как минимум, возможность продолжительного контакта с экспертами. Никакая нейроинформатика или генетический алгоритм за человека этот этап работы не выполнят. Если на этом этапе не будет проанализирована, собрана и подготовлена информация для принятия качественного решения, то никаким обучением нейросети это не восполнить. И именно этап подготовки и анализа данных для обучения ИНС является наиболее сложным, требует понимания решаемой задачи, профессиональной интуиции и творческого подхода.

Я еще раз хочу обратить внимание на то, что этап подготовки и анализа данных для обучения ИНС формально вообще не связан с обучением ИНС – он связан с исследованием проблемы. Не важно какими инструментами будет пользовать человек при решении этой задачи, это может быть и строгая аналитика и нейронные сети и что-то еще. В любом случае для достижения хоть сколько ни будь гарантировано качественного и надежного результата человек должен понимать решаемую задачу. Разница лишь в том, что в одном случае это понимание формализуется в виде строгих математических формул, а в другом, в виде обучающих выборок и "мягких формул", реализованных путем обучения ИНС.

Слить нейросети всю информацию, которой располагаем - не сложно. И в некоторых случаях такой подход даже приносит удовлетворительные плоды. Вот здесь действительно могут актуализироваться проблемы обучения, ведь нужно из мусора на входе получить качественный результат на выходе. Если же стоит задача получить не хоть какой-то, а действительно качественный результат, то действовать надо другим способом -  попытаться понять решаемую задачу и сосредоточиться на подготовке и анализе данных для обучения, а не на самом процессе обучения. Кстати, в последнем случае проблем обучения, как правило, не возникает. А если и возникают, то их природа, по крайней мере, ясна, что положительно сказывается на преодолении этих проблем.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   16.01.07 20:25

1. Ваше первое утверждение:

>Да какие 20-ть НИОКРов. Это 20-ть тривиальных задачек с единой схемой решения. Все >вообще может происходить в автоматическом режиме без участия человека. Причем для >каждого из прогнозируемых параметров могут быть выбраны уникальные входные вектора >сетей, содержащие лишь ту информацию, которая объективно необходима для принятия >адекватного решения. При этом размерность входного вектора каждой из таких сетей, >скорее всего, сократиться, а суммарное количество информационных входов по всем 20 >сетям может не ограничиваться 50-ю. Благодарю этому, решение, скорее всего, >окажется и проще и качественней. Зачем было героически усложнять себе задачу, >городить огород из генетических алгоритмов и тащить сюда еще и их проблемы, >которые, скорее всего, также отразились на качестве решения, не понимаю. Решая >задачу с использованием нейронных сетей работать нужно с информацией, а не с >нейронными сетями.

2.Ваше второе утверждение:

>Слить нейросети всю информацию, которой располагаем - не сложно. И в некоторых >случаях такой подход даже приносит удовлетворительные плоды. Вот здесь >действительно могут актуализироваться проблемы обучения, ведь нужно из мусора на >входе получить качественный результат на выходе. Если же стоит задача получить не >хоть какой-то, а действительно качественный результат, то действовать надо другим >способом -  попытаться понять решаемую задачу и сосредоточиться на подготовке и >анализе данных для обучения, а не на самом процессе обучения.

3. Ваше второе более продуманно чем первое!

В этой задаче в полной мере реализуется тезис:
"Предметная область нейронных сетей лежит на пересечении многих наук. Ее корни уходят в нейробиологию, математику, статистику, физику, науку о компьютерах и инженерию. В частности нейронным сетям есть что предложить, когда решение интересующей задачи становиться сложным по одной из следующих причин:
- из-за отсутствия физического либо статистического понимания системы;
- из-за статистического разброса наблюдаемых данных;
- из-за нелинейности механизма, ответственного за обобщение данных".
[Саймон Хайкин, "Нейронные сети, полный курс", Изд. дом "Вильямс" Москва, 2006 г. -1104 стр.]

Воспринимайте мое предложение о НИОКРе по отказам ИК АСУ ТП АЭС как шутку.
Я отчетливо понимаю, что у Вас нет стартовых ресурсов для решения проблемы.
А здесь надо задействовать специализированное ПО по моделированию процессов в реакторной устаноке (напр. RELAP-5), "проиграть" на тренажере блока (например в Электрогорском ЭНИЦ) различные режимы работы с имитацией работы АСУ ТП со всеми ИК (на АЭС нет второстепенных ИК!), определить взаимозависимость измеряемых параметров, провести статистическую обработку сигналов, определить представительную выборку обучающих массивов.

Боюсь до декомпозиции задачи (см. п. 1) дело дойдет очень нескоро!

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   16.01.07 20:57

> Воспринимайте мое предложение о НИОКРе по отказам ИК АСУ ТП АЭС как шутку.
> Я отчетливо понимаю, что у Вас нет стартовых ресурсов для решения проблемы.

Да я и не убеждаю Вас в обратном. Уже какой день Вам твержу, что для качесвенного решения задачи тебуется глубокое понимание предметной области. Я АЭС видел только по телевизору.

Вы видите  разницу между обучением нейросети и подготовкой данных для обучения нейросети. Это разные задачи!!!!!!!!!!!

Ваше первое утверждение:

 А челове на обычном пентиуме-4 за день просчитывал такие задачи генетическим алгоритмом.

Ваше второе утверждение:

А здесь надо задействовать специализированное ПО по моделированию процессов в реакторной устаноке (напр. RELAP-5), "проиграть" на тренажере блока (например в Электрогорском ЭНИЦ) различные режимы работы с имитацией работы АСУ ТП со всеми ИК (на АЭС нет второстепенных ИК!), определить взаимозависимость измеряемых параметров, провести статистическую обработку сигналов, определить представительную выборку обучающих массивов.

Это генитический алгоритм ходит в Электрогорское ЭНИЦ играться режимами на тренажере?

Вот это мое утверждение:

>Да какие 20-ть НИОКРов. Это 20-ть тривиальных задачек с единой схемой решения. Все >вообще может происходить в автоматическом режиме без участия человека. Причем для >каждого из прогнозируемых параметров могут быть выбраны уникальные входные вектора >сетей, содержащие лишь ту информацию, которая объективно необходима для принятия >адекватного решения. При этом размерность входного вектора каждой из таких сетей, >скорее всего, сократиться, а суммарное количество информационных входов по всем 20 >сетям может не ограничиваться 50-ю. Благодарю этому, решение, скорее всего, >окажется и проще и качественней. Зачем было героически усложнять себе задачу, >городить огород из генетических алгоритмов и тащить сюда еще и их проблемы, >которые, скорее всего, также отразились на качестве решения, не понимаю. Решая >задачу с использованием нейронных сетей работать нужно с информацией, а не с >нейронными сетями.

относится к обучению ИНС.

А вот это:

>Слить нейросети всю информацию, которой располагаем - не сложно. И в некоторых >случаях такой подход даже приносит удовлетворительные плоды. Вот здесь >действительно могут актуализироваться проблемы обучения, ведь нужно из мусора на >входе получить качественный результат на выходе. Если же стоит задача получить не >хоть какой-то, а действительно качественный результат, то действовать надо другим >способом -  попытаться понять решаемую задачу и сосредоточиться на подгототовке и >анализе данных для обучения, а не на самом процессе обучения.

к подготовке данных для обучения.

А их еще десять раз могу повторить.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: indian 
Дата:   16.01.07 22:52

Я смотрю толковые вы мужики!
А значит сможете ответить на вопрос - возможно ли применить ANN для моделирования web winding process?
И если да то как?

Удачи!

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   17.01.07 05:57

А что ткое web winding process?

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   17.01.07 14:28

Можно, но есть:
http://www.selectronic.com/WWC.htm
http://www.laas.fr/~henrion/Papers/isic2006.pdf
http://www.freepatentsonline.com/6527218.html

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: indian 
Дата:   17.01.07 16:50

Yes, you may well say so.

Given links well cover different strategies of web winding process control. But I am looking for SW tools for modeling this process itself. Main aim of my pains is finding boundaries of wrinkling. The physical property of web, tension, diameter of intermediate rolls, degree of roll's enveloping, speed of winding (air entrainment) - this is short list of variables should be taken in account.
My departure point is control strategie chosen right. (I has read up yours links.) It seems so. But at speeding we have wrinkling.
Would you be so kind to give my any advice about software for numerical modeling this process?

Удачи!

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   17.01.07 19:40

What do you wish to develop?
The program of management in the speed winding or the program of recognition of occurrence of wrinkles?

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: indian 
Дата:   17.01.07 19:49

the second one

in meaning runability of mill

Удачи!

Адрес этого сообщения    Ответить на это сообщение
 
 RE: ANN-ИНС: мифы и реальность
Автор: d_miloserdov@xxxxxxx.xx 
Дата:   18.01.07 08:35

Мужики, хорош выпендриваться с аглицким :)

С уважением,
Милосердов Дмитрий Николаевич

> the second one
>
> in meaning runability of mill

Адрес этого сообщения    Ответить на это сообщение
 
 RE: ANN-ИНС: мифы и реальность
Автор: indian 
Дата:   18.01.07 10:23

Хорошо, не будем.
Вообщем много чего прочитал, но понял только одно - для того чтобы определить узкое место (в смысле разгона перематывающих тонкие материалы станков) очень здорово было бы промоделировать численно систему, но не знаю при помощи чего. Какой матаппарат использовать приблизительно понятно - FEM. Какой софт его реализует? FEMLAB вроде бы не подходит.

Удачи!

Адрес этого сообщения    Ответить на это сообщение
 
 RE: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   18.01.07 11:38

Вот этот форум Вам точно поможет:
http://sapr2000.ru/invision/index.php?showtopic=15036

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 RE: ANN-ИНС: мифы и реальность
Автор: indian 
Дата:   18.01.07 21:16

ОНО

Удачи!

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Зуек 
Дата:   27.01.07 22:33

Считаю, что нейронные сети в АСУТП вообще неактуальны. И не будут актуальны еще лет 100 примерно. Учитывая уровень проектирования и разработки. В большинсве случаев даже внедрение связанного регулятора до сих пор вызывает кучу проблем. Начиная от полевого оборудования и кончая программным обеспечением, включая степень кваллификации технического и операторского персонала. Большинство технологических объектов работает в России полность на руках. Это и есть лучшие нейроны. Нейроны в голове человека. У меня смутные подозрения, что и за рубежом тоже самое. )

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   28.01.07 14:56

За весь комплекс задач АСУТП судить не берусь, а вот то, что касается чистого автоматического управления, здесь ситуацию могу попытаться прояснить. Вы совершенно правы, что ни в России, ни даже за рубежом системы автоматического нейроуправления к сегодняшнему дню широкого применения не нашли. Более того, судя по публикациям из разряда intelligent computing, за рубежом наблюдается устойчивая тенденция к смещению приложений автоматического управления в область fuzzy logic, где практические успехи куда как существенней.
Практическая "неактуальность" нейронных сетей в задачах автоматического управления, на мой взгляд, обусловлена следующими положениями.
   1. Статистика говорит, что подавляющее большинство промышленных систем автоматического управления (свыше 95%) - это системы ПИД-типа, большинство из которых фактически являются системами ПИ-регулирования [Astrom K. J., Hagglund T. Advanced PID Control. – The Instrumentation, Systems, and Automation Society, 2005, 461 pp.].  Таким образом, в ПРОЦЕНТНОМ ОТНОШЕНИИ практический спрос на продвинутые алгоритмы управления достаточно низок, и "не у дел" остаются не только нейросетевые, но и многие другие современные техники автоматического управления. Вряд ли стоит ожидать, что в ближайшее время это процентное соотношение принципиально изменится, разве что если вдруг изменятся законы физики...:)
   2. Если же ПИД-регулирование не обеспечивает удовлетворительного качества управления, то вряд ли стоит ожидать, что разработчики полностью откажутся от традиционной платформы, резко перейдя на концептуально иные "нейросетевые принципы" синтеза САУ. Психологический барьер, который необходимо преодолеть разработчику, переходя от ПИД-регулирования к нейросетевому управлению более существенный, чем тот же путь, но до, например той же нечеткой логики, не говоря уж о более традиционных технологиях управления.
   3. И последнее в этом списке, но не по значимости  – это попросту отсутствие конкурентоспособных на практике нейросетевых алгоритмов автоматического управления. Тысячи научных статей и десятки книг, во всех красках восхваляющих это направление, да простят меня их авторы, по сути, всего лишь являются ярким подтверждением тезиса А. А. Красовского "Главное негативное влияние на практическое внедрение современной теории автоматического управления оказывает масса оторванных от практических потребностей и возможностей работ и даже направлений, интересных в математическом отношении, но бесплодных в отношении современных приложений". И эта ситуация действительно вряд ли изменится пока "нейропарадигму" будут рассматривать как нечто обособленное в своей "интеллектуальности", абстрагированное от фундаментальных проблем и наделенное исключительно одними уникальными преимуществами.

Нейронные сети (в их наиболее распространенных и нашедших место под солнцем приложениях) – это не более чем аппарат статистической обработки данных. Разве
можно говорить о неактуальности этого класса задач в АСУТП, к тому же и в перспективе на 100 лет вперед?

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   29.01.07 10:51

Продвижение НС в системы управления схоже с продвижением программируемых контроллеров (т.н. "железо") в АСУ ТП. Т.е. сегодня есть тандем (симбиоз) технмческих и программных средств, решающих задачи управления таким способом.
Для реализации возможностей НС  необходимо свое "железо" и оно уже появляется (напр. http://www.module.ru/). И это не через 100 лет, а сегодня.
Если вспомнить, какими были системы управления 10 лет назад и какие у них были возможности, и сколько было спецов в этом деле? А что сейчас!
Я понимаю, что составлять прогноз на 100 лет безопасно для личной репутации (средняя продолжительность жизни это позволяет), но потомкам может быть неприятно напоминание об этом пророчестве.

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: AI 
Дата:   17.01.08 15:04

Набрел почти случайно на почти забытую тему и решил решить с помощью нейросетей простую задачку - аппроксимировать функцию y=x как и предлагалось. Ну ради интереса.
Конечно, решение банально, но хотелось посмотреть, как относительно сложная сеть решит такую задачу.
Взял трехслойный персептрон с пятью нейронами в скрытом слое. Активационная функция нейронов скрытого слоя - гиперболический тангенс. 10 синаптических коэффициентов (настройечных параметров).
Обучающую выборку сделал в диапазоне -10..10 с шагом 1.
Обучал сеть на минимум квадрата разности эволюционным алгоритмом оптимизации (собственной разработки).
Что и следовало ожидать, обучение прошло успешно. Точность аппроксимации составила 0,001 в абсолютном выражении (как и точность обучения).

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   18.01.08 08:57

Меня всегда радует, когда человек САМ пробует что-то сделать, а не занимается критиканством.
Еще хочу сказать что нейросети в АСУ ТП - это не только (а может и не столько) ПИД-регуляторы, сколько универсальный аппарат для обобщения потоков данных, получаемых в системе. Грамотное нейросетевое обобщение позволяет решать многие практически важные задачи, напр. по прогнозу и  анализу отказов оборудования.
Желаю Вам успехов в Ваших исследованиях с применением НС!

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re[2]: ANN-ИНС: мифы и реальность
Автор: Лагоша В. Г. 
Дата:   18.01.08 10:34

Здравствуйте, Eugeen.
Вы писали 18 января 2008 г., 7:57:07:

> Меня всегда радует, когда человек САМ пробует что-то сделать, а не
> занимается критиканством.
> Еще хочу сказать что нейросети в АСУ ТП - это не только (а может и не
> столько) ПИД-регуляторы, сколько универсальный аппарат для обобщения

> Желаю Вам успехов в Ваших исследованиях с применением НС!
А где можно подробнее почитать о нейросетях и их применении  для нужд АСУТП ?
Есть ли какие-то преимущества у НС для задач АСУТП ?



--
С Уважением,  Лагоша Вадим Геннадиевич
инженер-электроник ОАО "АМК"  г. Алчевск
E-Mail: X-Files00892@xxxx.xx , Lagosha@xxx.xx.xx
ICQ:    222202857"

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: AI 
Дата:   18.01.08 13:05

...Есть ли какие-то преимущества у НС для задач АСУТП ?

Современная теория  управления оперирует только линейными регуляторами, коими являются всем известные ПИД-регуляторы (которые зачастую превращают в ПИ). Однако большинство объектов управления являются нелинейными системами. следовательно, линейный регулятор обеспечивает работоспособность лишь в окрестности точки линеаризации (расчетного режима) и при других режимах работает далеко не оптимально, а то и вовсе АСР теряет устойчивость. Так как оптимальный регулятор должен в какой-то степени отражать структуру обекта  (обратно пропорционально), то очевидно, что регулятор должен иметь по крайней мере нелинейную статическую характеристику (и динамические тоже). Аппарат нейронных сетей (рекуррентных) в совокупности с эффективными алгоритмами обучения как раз подходит для синтеза оптимальных регуляторов (учитывая его уникальные и эффективные способности к идентификации).
Однако аппарат нейрорегуляторов пока не приживается...Почему? Потому что ещё есть много вопросов и белых пятен (в частности, ограничение на запас устойчивости при обучении). Хотя существуют довольно убедительные примеры внедрения таких систем (по крайней мере на Западе). В Германии ежегодно проводится конференция FuzzyControl. Есть много докладов по внедрениям (даже на АЭС). Нейро-фаззи системы уже реально функционируют, причем эффективно не только в Японии, но уже и в Германии и странах Восточной Европы.
Что почитать? Существующая литература, по нейро-фази сетям изобилует лишь теоретичекими выкладками. К сожалению, каких-то серьезных монографий по практическому применению нейро-фази регуляторов у нас в России по видимому не существует (ПОКА). Всё лежит "в столах" разработчиков.

Вот у немцев видел у немцев хорошую литературу с практическими применениями нейро-фази систем на экспериментальной АЭС для тренажеров и технической диагностики.

С уважением, Репин А.И.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: Re[2]: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   18.01.08 13:40


Лагоша В. Г. писал(а):

> Здравствуйте, Eugeen.
> Вы писали 18 января 2008 г., 7:57:07:
>
> > Меня всегда радует, когда человек САМ пробует что-то сделать, а не
> > занимается критиканством.
> > Еще хочу сказать что нейросети в АСУ ТП - это не только (а может и не
> > столько) ПИД-регуляторы, сколько универсальный аппарат для обобщения
>
> > Желаю Вам успехов в Ваших исследованиях с применением НС!
> А где можно подробнее почитать о нейросетях и их применении  для нужд АСУТП ?
> Есть ли какие-то преимущества у НС для задач АСУТП ?
>
>
>
> --
> С Уважением,  Лагоша Вадим Геннадиевич
> инженер-электроник ОАО "АМК"  г. Алчевск
> E-Mail: X-Files00892@xxxx.xx , Lagosha@xxx.xx.xx
> ICQ:    222202857"

Посмотрите для начала:
http://www.mayak-pkf.ru/projects/neiroforecast.php
http://mmtt20.ystu.ru/sections/8/
http://neurnews.iu4.bmstu.ru/news/knigi.htm
http://www.madi.ru/study/kafedra/asu/metod/uch_autosys_sod.shtml
http://www.tgizd.ru/mag/aviakos/aviakos_5_11_6.shtml
http://www.infomag.ru/journals/j082r/11925.html
http://www.szma.com/art19.pdf
http://www.eltech.ru/kafedrs/apu/#4
http://www.osp.ru/os/2001/05-06/180165/_p2.html
http://energy.komisc.ru/seminar/Allsem.pdf
http://www.amursu.ru/ics/ics_pdf/N06_17.pdf
http://korolenko.kharkov.com/m/viewdoc.pl?num=51465
http://library.mephi.ru/data/scientific-sessions/2002/1/1360.html
http://www.iacp.dvo.ru/russian/institute/history/abramov.html
http://www.masters.donntu.edu.ua/2007/kita/nasadyuk/links/index.htm
http://model.exponenta.ru/auto_reg.html

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Valery Bobekh 
Дата:   18.01.08 14:10

AI писал(а):


> АЭС). Нейро-фаззи системы уже реально функционируют, причем эффективно не только
> в Японии, но уже и в Германии и странах Восточной Европы.


Я всегда думал, что нейро и фаззи разные вещи. Их что, уже успели поженить?

Бобех В.И.

ИНЕОС, Германия

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   18.01.08 16:42

> Меня всегда радует, когда человек САМ пробует что-то сделать, а не занимается
> критиканством.

"Критиканство" - это, похоже, в мой адрес..;)
Евгений Александрович, Вы меня неправильно поняли. Я всего лишь отстаивал свою позицию и делился своим опытом, который приобрел, проведя десятки тысяч(!) экспериментов за более чем пятилетнюю историю изучения и разработки методов применения ИНС для целей автоматического управления динамическими объектами, а также анализа конкурентоспособности этих методов. Если я и критиковал, то не сами нейронные сети, а изрядно переоцененные качества этого аппарата в результате "цепной популяризации", которая проходила под флагом нового витка развития науки - "искусственный интеллект". На сегодняшний день нейронные сети - это один из современных методов вычислительной математики, который обладает своими преимуществами, недостатками и областью целесообразного применения. Поэтому? я считаю, что и относится к ИНС нужно соответствующим образом и уже прекратить создавать культ вокруг применения этого МАТЕМАТИЧЕСКОГО аппарата.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   18.01.08 17:04

> Современная теория  управления оперирует только линейными регуляторами

В первую очередь позвольте Вас поправить. Линейными объектами/регуляторами оперирует КЛАССИЧЕСКАЯ теория управления, а современная как раз таки сосредоточена на нелинейных объектах.

> (учитывая его уникальные и эффективные способности к идентификации)

Откуда Вы это взяли? Ладно "эффективные", но "уникальные"!!! Иными словами, Вы можете привести пример хотя бы одной задачи, которая оказалась по зубам только ИНС? Сомневаюсь, поскольку любая математическая задача, если решается, то решается разными методами (пусть даже и формально, но разными) - и это аксиома.
Чтобы разрушить пустые иллюзии предлагаю Вам провести простенький численный эксперимент: выполните идентификацию ЛИНЕЙНОГО динамического объекта (возьмите любую передаточную функцию второго порядка) по зашумленным данным (аддитивный белый шум амплитудой 1% от номинального выхода объекта)... Не получается? А классические методы идентификации с такой задачей справляются в раз. Я Вас обнадежу. В соответствии вышеуказанной аксиомой, эту задачу можно решить и с привлечением нейросетевого аппарата. Но как только становится понятно, как это сделать, одновременно становится понятно, что успех решения этой задачи никак не связан с фактом применения нейронных сетей. Нейронные сети - это всего лишь удобный инструмент обработки ПОДГОТОВЛЕННЫХ ЧЕЛОВЕКОМ данных. Подготовили криво - ничего путного не получите, даже если будете год обучать ИНС на суперкомпьютере. Кстати, в данном случае (в случае идентификации линейного динамического объекта) ИНС далеко не самый удобный инструмент, хотя и возможный. Список, где применение ИНС возможно, но нецелесообразно можно продолжать еще очень долго.


> Так как оптимальный регулятор должен в какой-то степени отражать структуру обекта
> (обратно пропорционально), то очевидно, что регулятор должен иметь по крайней мере > нелинейную статическую характеристику (и динамические тоже).

Здесь, насколько я понял, логика следующая: для качественного управления нелинейным объектом нам требуется нелинейный регулятор ==> Нейросеть способна отобразить нелинейное преобразование ==> Будем ее использовать в качестве регулятора.

Но ведь нейронные сети - это не единственный аппарат, способный реализовывать нелинейное отображение!!! Возьмите y=k*x^2. Мало? Возьмите, например, ряд Фурье с сотней членов.
Ну и, собственно, вопрос: какой такой нелинейностью обладают нейронные сети, что она делает их безапелляционно эффективным средством решения задач управления нелинейными динамическими объектами?

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   18.01.08 17:09

> Я всегда думал, что нейро и фаззи разные вещи. Их что, уже успели поженить?

Да давненько уже. Более того, я где-то видел работы, где авторы эти нейрофази с помощью генетических алгоритмов настраивают.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: AI 
Дата:   18.01.08 17:29

///Я всегда думал, что нейро и фаззи разные вещи. Их что, уже успели поженить?
Да, давно уже.

...Вы можете привести пример хотя бы одной задачи, которая оказалась по зубам только ИНС?

Я согласен, если провести декомпозицию нейросети, то получим грубо говоря функцию от суммы функций от суммы функций от и т.д.... Единственных и неповторимых методов не существует, всегда есть альтернатива.

/*Чтобы разрушить пустые иллюзии предлагаю Вам провести простенький численный эксперимент: выполните идентификацию ЛИНЕЙНОГО динамического объекта (возьмите любую передаточную функцию второго порядка) по зашумленным данным (аддитивный белый шум амплитудой 1% от номинального выхода объекта)... Не получается? */

Что значит не получается??? Легко! 1000 раз уже такое проделывал


/*Но ведь нейронные сети - это не единственный аппарат, способный реализовывать нелинейное отображение!!! Возьмите y=k*x^2. Мало? Возьмите, например, ряд Фурье с сотней членов.
Ну и, собственно, вопрос: какой такой нелинейностью обладают нейронные сети, что она делает их безапелляционно эффективным средством решения задач управления нелинейными динамическими объектами?
*/

Вы абсолютно правы. Альтернатив много. Их не две и не три (и не десять).Но это не значит что надо отказаться от нейросетей и использовать ряд фурье с сотней членов.  Но только для меня по крайней мере использование нейросетей (и их программирование и обучение) является наиболее удобным и наглядным инструментом.
Разве не красиво для многосвязного объекта поставить один многосвязный нелинейный регулятор (этакий мозг), который бы автоматически настраивался и в процессе эксплуатации подстраивался под изменяющуюся динамику объекта, а не 15 регуляторов, каждый из которых является разложением в ряд Фурье с сотней членов. (По крайней мере цель такая)

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   18.01.08 21:49

> согласен, если провести декомпозицию нейросети, то получим грубо говоря функцию от
> суммы функций от суммы функций от и т.д....

На практике в большинстве случаев обходятся без "и т.д" и ограничиваются взвешенной суммой от функций от взвешенной суммы входных аргументов ИНС, т.е. ИНС с одним скрытым слоем. Именно для этой структуры впервые для ИНС была доказана теорема об универсальной аппроксимации (уже позже она была обобщена на случаи большего числа скрытых слоев). Причем в основе обеих теорем лежит теорема Колмогорова, которая была доказана вообще без привязки к ИНС.

> Что значит не получается??? Легко! 1000 раз уже такое проделывал

Ээээ... Нет. Это вопрос фундаментальный. Эта задача в общем случае не решается так просто, а если и решается, то с массой оговорок. Начну с самого простого. Тестирование обученной ИНС выполнялось путем замыкания обученной ИНС "саму на себя" и моделирования (непосредственно в качестве самостоятельной модели объекта, где задержанные значения выхода объекта генерируются выходом нейросетевой модели на предыдущих итерациях) или простым прогоном по тестовой выборке (задержанные значения выхода объекта генерируются самим объектом)?

> Альтернатив много. Их не две и не три (и не десять).Но это не значит что надо
> отказаться от нейросетей...

Я обеими руками за использование ИНС. Сам регулярно использую этот аппарат для решения широкого спектра задач, который далеко выходит за рамки задач управления. Но если критичными оказываются надежность, интерпретируемость и др. показатели, по которым ИНС проигрывают альтернативным методам, то я использую альтернативные методы, чего и всем желаю...;)

> Разве не красиво для многосвязного объекта поставить один многосвязный нелинейный
> регулятор (этакий мозг), который бы автоматически настраивался и в процессе
> эксплуатации подстраивался под изменяющуюся динамику объекта, а не 15
> регуляторов,

Вам уже приходилось на базе ИНС строит систему управления 15-ти координатным объектом, или это только в планах..?;) Проблема состоит в том, что теоретически ИНС в состоянии реализовать любую непрерывную функцию. И с эти невозможно спорить. Но именно это послужило теоретически неопровержимым фундаментом для всяческого рода спекуляций на тему возможностей ИНС. Фактически же, для нейросетевой реализации такой функции, ее (функцию) необходимо предварительно каким-то образом получить. Если мы говорим о системах регулирования, то для того чтобы обучить нейросеть какому-то закону регулирования, мы должны располагать этим законом регулирования. А его на практике нет, а если бы и был, то нафиг нам его аппроксимировать с помощью ИНС, если он уже есть? Вот и Вы, пишете, "подстраиваться под изменяющуюся динамику объекта" - а по какому критерию? Чтобы подстраивать ИНС нужно уметь оценить ошибку обучения, т.е. фактически нужно знать эталонное управление, относительно которого можно будет вычислить ту самую ошибку, необходимую для корректировки коэффициентов ИНС. Но если мы уже имеем эталонное управление, нафига нам его дублировать ИНС?

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Eugeen 
Дата:   18.01.08 21:53

Я и не думал Вас обидеть! Избави Бог в такой праздничничный день!
Мало того, я и в топике утверждал что НС - это НИОКР (т.е. тяжелая работа!).
И Вы своими словами это подтверждаете!
Всех поздравляю с Крещением Господним!
Здоровья Вам и успехов!

С уважением, Катковский Е.А.

Адрес этого сообщения    Ответить на это сообщение
 
 Re: ANN-ИНС: мифы и реальность
Автор: Борис Ноткин 
Дата:   19.01.08 09:07

> Всех поздравляю с Крещением Господним!
> Здоровья Вам и успехов!

Спасибо! Взаимно!

> Мало того, я и в топике утверждал что НС - это НИОКР (т.е. тяжелая работа!).

НС - это раздел математики. Поэтому фраза "НС - это НИОКР" по смыслу звучит так же, как, например, "дифференциальное исчисление - это НИОКР (т.е. тяжелая работа!)".
Решение нетривиальных научных задач - вот это НИОКР. А если разработчик тащит в решение своей проблемы модный математический аппарат, которым он не владеет, занимается изучением этого аппарата, а не проблемы, поскольку уверен, что этот аппарат решит за него все проблемы, то тут, действительно, даже тривиальная задача может по уровню сложности превратиться в НИОКР.

Адрес этого сообщения    Ответить на это сообщение
 Список форумов    


 Список форумов  |  Нужен логин? Регистрируйтесь здесь 
 Логин пользователя
 Имя пользователя:
 Пароль:
 Помнить пароль:
   
 Забыли ваш пароль?
Введите имя пользователя или e-mail, и новый пароль будет послан на email, указанный в вашем профиле.

Рейтинг@Mail.ru