Человек и механизм. Часть 1.

[fixik_papus]

Сегодня я предлагаю ознакомиться с отличным образцом классической советской сатиры, а также с его (образца) практическим применением.

А во время ознакомления - подумать над одним из множества нюансов, отличающих "хорошее" оборудование от "плохого".
Предположим, у нас есть некоторые важные настройки, неправильное ковыряние в которых приведет к мелким и не очень пакостям, вплоть до физической поломки.
Как лучше "закрыть" доступ туда паролем (или токеном, не суть важно) операторам и прочим уборщицам:
1) заблокировать возможность перехода на экран настроек
2) разрешить переход на экран настроек, но заблокировать возможность их изменения.
?

Правильный ответ будет в конце второй части завтра. А сейчас - смотрим (и думаем, чтобы время зря не терять)

Watch on YouTube

Посмотрели? Пора ознакомиться с практическим применением (2 раза).

Лирическое отступление. Как сделать конфету с начинкой? Самый очевидный (но далеко не единственный) вариант - отлить в форму сперва "стаканчик" (кондитеры говорят "корпус"), затем начинку, и сверху отлить-запечатать донышко.
Как видим, в теории все просто. А на практике - всегда что-нибудь может "пойти не так".

Например, если первая разливочная машина не разлила шоколад - разливать в форму начинку категорически нельзя.
Почему? Потому что начинка, когда теплая - липкая, а когда остыла (а охладить нужно перед отливкой донышка, иначе все перемешается) - прочная.
Даже для "штатного" вытряхивания конфет из формы - по ней приходится лупить пневмомолотком. А начинку и острый пар в моечной машине не всегда за один проход берет.

Соответственно, для проверки разливки - на формы смотрит видеокамера с распознавалкой. Если хоть в одной лунке формы шоколада нет - она помечается внутри контроллера как бракованная. Форма путешествует по конвейеру, а соответствующая ей метка-байтик путешествует в сдвиговом регистре в памяти контроллера. Соответственно, больше в эту форму ничего не разливается ни при каких условиях, а на выходе "недоделанные" конфеты, если есть - вытряхиваются не на упаковку, а в реворк.
Видеокамера общается с контроллером по Ethernet.
Работает все это хорошо и надежно. Но...

Но довольно часто нужно протестировать на остановленной линии, как работает разливочная машина начинки "сама по себе", вообще без форм.
Поскольку разливка наглухо заблокирована - народ наладился вытаскивать "хвост" от видеокамеры из коммутатора в шкафу. Тогда контроль разливки, очевидно, не работает, а возникающая "ошибка связи по шине" с камерой идет только на индикацию. Все хорошо и удобно. Но...

Но как-то раз на линию добавляли то ли насос, то ли вентилятор - не помню, но управляемый с частотного привода. Как обычно у нас бывает, электрики сделали свою работу быстрее механиков. Частотник тоже подключен по Ethernet (profinet, если быть точным). Электрики все сделали - и частотник обесточили и отключили от коммутатора, пока механики монтаж не закончат. Соответственно, появилась "ошибка связи по шине" с новым частотником. "Ошибка связи" эта одна на все устройства; бывает она крайне редко (вообще не припомню такого), а если и будет - наладчики с программатора посмотрят, что "отвалилось".
Сейчас ошибку эту операторам было велено до завершения работ - игнорировать. Но...

Но в выходные другая смена механиков меняла манжеты на плунжерах разливочной машины начинки. Поменяли, включили (выдернув кабель от камеры), проверили, воткнули кабель на место. Но...

Но они воткнули НЕ ТОТ кабель. Они воткнули кабель от неиспользуемого пока частотника. Он в тот же коммутатор идет.

Несколько дней все работало без замечаний. Потом из-за какой-то мелкой проблемы в другом цеху вырубилась на полчаса подача шоколада на линию. Из-за чего встали разливочные машины корпуса и донышка. Такое бывает иногда, и ни к чему плохому не приводит (кроме небольшого недовыполнения плана). Но...

Но в этот раз контроль розлива не работал. И об этом никто не знал.
Операторы же - надежно уверовали в автоматику; и факт работающей разливочной машины начинки при стоящих разливочных машинах шоколада их никак не смутил. Хотя это не только видно, но и слышно замечательно.

Причем достоверно известно, что кто-то пытался озадачиться этим вопросом, но старший сказал "оно само разбирается, куда разливать, а куда - нет".

В конце линии, после "выбоя" продукта, тоже стоит видеокамера. Она смотрит, чтобы формы стали пустыми. Не-пустые автоматически складываются в отдельную стопку, вместо них на конвейер, тоже автоматически, кладутся чистые. Как набирается достаточное количество грязных - операторы получают сигнал "пора увезти грязные формы на мойку, а взамен привести чистые". Что они честно и добросовестно и сделали.
Но пока ездили на погрузчике на мойку и обратно - мало того что стопка "грязных" форм, которая и за неделю не набирается обычно, снова уже полная, так и линия уже аварийно встала по ее переполнению.

Потому что начинка без шоколада - из форм не выколачивается.
И теперь нужно вытаскивать из линии бОльшую часть форм и отмывать по полной программе острым паром.

Результат - полсмены простоя линии и несколько сотен килограммов продукта в канализацию.

Затем, как водится, был разбор полетов. На котором единогласно решили, что выдергивание хвоста из коммутатора - совсем не есть good manufacturing practice.
Больше так делать строго-настрого запретили. А для отладочных целей разливочной машины - сделали режим "автономной работы", включаемый в сервисном меню ее.
Также сделали отдельную диагностику связи и исправности всех четырех камер на линии, и в случае проблем с ними - формы стали считаться негодными.

Все стало замечательно? Замечательно, но....
Но об этом уже в следующий раз.
Пока же попробуйте пока сами угадать способ повторного наступания на те же грабли, после досконального и тщательного разбора и устранения причин первого наступания.

Comments

[leh-a.livejournal.com]

На пельменной фабрике отзоды производства в канализацию НИЗЯ. Специальная машина за ними приезжает.

[fixik-papus.livejournal.com]

У нас очистные, специально заточенные под утилизацию шоколада и прочей когда-то вкусной фигни.

[dennis_chikin.livejournal.com]

"А для отладочных целей разливочной машины - сделали режим "автономной работы", включаемый в сервисном меню ее."

Ой, блин. И КАК это можно проверить ???
Причем плюс к человечинке здесь добавляется еще и возможность багов в коде/глюков в железе.

Лучше б оставили как было, добавив пинг на камеры и стоп, если не проходит. Адреса, естественно - статика.

[fixik-papus.livejournal.com]

Хвост вытаскивать - решение ничуть не лучше

[gray-bird.livejournal.com]

Меня вызывает изумление, как это всё работало до появления электроники!

[fixik-papus.livejournal.com]

Элементарно.
Вместо видеокамеры - сидит девочка и 12 часов смены пялится на формы.
Если чего не так - орет в другой конец цеха "Маня, тормози разливку! Ваня, сейчас брак приедет!"

[psn84.livejournal.com]

Кнопочку в сервисном режиме сделали, а индикацию БОЛЬШИМИ БУКВАМИ на главном экране - заб[ы,и]ли?

[fixik-papus.livejournal.com]

Примерно так

[kuigoroj.livejournal.com]

"Все стало замечательно?"

Нет. Потому что состояний должно быть два. Видит нормальную форму и видит ненормальную форму. Других состояний быть не должно.

[fixik-papus.livejournal.com]

Вот, еще один оптимист.

Забыли состояния "ничего не видит", "нет связи" и так далее

По моему опыту:
сделать, чтобы все работало когда все хорошо - это 30% работы
остальные 70% - это обработать аварийные ситуации

[prostak-1982.livejournal.com]

Эм, поставить рядом с видеокамерой лазерный, условно говоря, дальномер. Если расстояние до поверхности меньше определенного значения - шоколад есть, ОК. Если расстояние больше - шоколада нет.

[fixik-papus.livejournal.com]

Так сделано на другой линии, ВМЕСТО видеокамеры.
Работает ничуть не хуже, за одним нюансом:
видеокамера видит ВСЕ лунки.
Датчик - только один ряд лунок.
Но на практике это некритично.

А лазерный дальномерный датчик - это ныне ширпотреб уже.

[tervv.livejournal.com]

Ессно правильно сохранять настройки только после ввода пароля, а экран это экран, мало ли откуда изменения настроек прийти могут.

[fixik-papus.livejournal.com]

Это понятно.
Вопрос по факту сводится к "давать ли всем подряд разрешение на просмотр настроек"

[eddie-blackarch.livejournal.com]

Как, как... Классически.
Сервисный режим "автономной работы" нигде явно не индицируется, кроме того самого сервисного меню, а в это сервисное меню доступ у ограниченного круга лиц, даже и на просмотр.
Наладчики режим запустили и по какой-то причине не выключили. Диспетчеров и сменное начальство об этом уведомить "забыли". А поскольку режим "автономный", отключить его электроника по сигналам с камер не может. Вуаля!

Я бы при таком раскладе задал условие, что "автономный режим" работает только пока в машину воткнут токен доступа в сервисное меню. Токен -привязан к наладчику шкертиком. В такой ситуации, даже если наладчик отцепил от себя токен и забыл его в машине, восстановить удалённое управление можно довольно быстро и без особых привилегий доступа - выдернул и всё. Доступ в меню, разумеется, двухфакторый: токен+пароль.

[fixik-papus.livejournal.com]

Вот, сразу видно, специалист с опытом

Именно так, только чуток веселее :)

[http://users.livejournal.com/bernard_/]

--- Но в этот раз контроль розлива не работал. И об этом никто не знал.
Во второй раз что-то сломалось, и контроль отключил инженер кнопкой по приказу. Смене поручили следить. Сменилась смена или даже две, следить все забыли, произошла неисправность, которую должно было отследить отключенное оборудование.

[reedcat1965.livejournal.com]

По вопросу:
Часть настроек вообще не показывать оператору (рампа разгона/остановки мотора частотником или IP-адрес ему нафиг не упали), часть показывать, но не давать менять.

[fixik-papus.livejournal.com]

Это понятно.
Тут интереснее, например, обсудить параметры а-ля уставка частоты

[mindfactor.livejournal.com]

в общем случае лучше давать видеть настройки.

потому что это упрощает понимание того, как идут процессы (конечно, только у того, кто пытается разобраться), и в некоторых случаях спасает от факапа или хотябы снижает его последствия

[fixik-papus.livejournal.com]

Садись, пять!
:)

[egh0st.livejournal.com]

тут всё-таки большой процент факапа от настройщиков-наладчиков.

ладно тут human error был -- не торт кабель -- но ведь могли быть хардварные проблемы с самой камерой (отсуствие питания, обрыв сетевого кабеля или просто зависла).
всё-таки камеру надо было проверять на наличие связи с консоли, и соотвественно гонять отладку только после оверрайда с консоли.

[chieftain-yu.livejournal.com]

Настройки (если они не заКТшены, конечно) должен видеть любой обалдуй.
Чтобы в случае чего знающий человек мог не выдергиваться на сам объект, а по телефону с обычной уборщицей возле консоли узнать настройки и сообразить, что не так - возможно, ему и ехать не надо, и простой меньше будет.

Вот если настройки подпадают под КТ - тады ой, надо показывать только ответственным товарищам.

[antontsau.livejournal.com]

проектировщика вешать сразу. Ошибка "нет сигнала" должна приводить к состоянию "НЕ НОРМА!" и блокировке, а не наоборот "не ссы, все в порядке, никто об ошибке не рапортует, работаем!".

А служебная блокировка, для тестов, должна быть не тихой и незаметной, а включать все мигалки и перделки, разблокировать же критические действия должно требовать отдельной операции, не просто "все в тестовый режим!". Совсем же хорошая практика - принудительное отключение такого тестового режима через N минут, чтоб даже если включившего его механика хватит кондратий на рабочем месте и его внезапно увезут на скорой, то вставший на замену боец не прохлопает факт включения такой блокировки.

С настройками же конечно лучше давать readonly доступ, так как часто требуется всего лишь посмотреть и проверить, и если ради этого надо запускать опасный режим редактирования, то грабли вполне возможны. Но это редко где реализуется, ибо слишком вумно.

[Виталий (from livejournal.com)]

Только добавлю, что нужна возможность квартировать ошибку если нет сигнала с камеры. Ибо если она ВНЕЗАПНО :)) подохнет, адов простой и убытки. А так послали бабу Маню глазами вместо камеры проверять и "на руках" все держим. Если квитировали и бабу не послали, по журналу будет кого расстрелять :)

[nivanych.livejournal.com]

> нужно протестировать на остановленной линии,
> как работает разливочная машина начинки "сама по себе"

Очевидно, что для этого, нужно предусмотреть соответствующий режим работы.
И конечно же, его просто так включить низзя возможно

[snowman-sailor.livejournal.com]

Электроника вас избаловала. Я бы вывел на панель физический ключ и привязал к этому самому ключу ленту "Remove before flight" или даже лучше примерно такой шарик, чтоб в кармане машинально не унесли.



Этот ключ включает режим наладки и разблокирует сервисное меню. При вынимании ключа, система автоматически переходит в рабочий режим или режим останова.

Ну и принципы конфигурационного управления никто не отменял. Любое действие с системой документируется в журнале, временные изменения обозначаются красными карточками, журнал читается и подписывается при передаче смены и т.п.

[fixik-papus.livejournal.com]

Журнал - вещь однозначно хорошая и полезная, и он, разумеется, присутствует. В электронном виде и с подписью токеном (пропуском).
Но увы! с журналом ОЧЕНЬ силен человеческий фактор и 100% надежность обеспечить нереально

[partyzandr.livejournal.com]

>> способ повторного наступания на те же грабли

Точно так же, только вместо забытого шнура теперь забытая галочка в меню. Я бы сделал постоянное звуковое бреньканье для этого режима, аналогично напоминайке непристёгнутого ремня в машине.

[goto-kaz.livejournal.com]

както на своём джипе поехал по пересеченной местности (реально - по вспаханному полю), и у меня после этого загорелась "новая" красная лампочка на приборной панели.
Оказалось, что у меня есть датчик не пристёгнутого ремня.
Видимо, предыдущий владелец его заблокировал, а от тряски блокировка отвалилась....

[Леша Бякин (from livejournal.com)]

Подскажите, пожалуйста. Сегодня сожгли два частотника на станке однофазных. По схеме подается фаза и нейтраль, плюс земля на корпус. к станку подвели только четыре провода - 3 фазы и землю, т.е. нейтрали нет. При включении частотники умерли с хлопками и дымом. Могло это быть из-за отсутствия нейтрали?

[fixik-papus.livejournal.com]

Конечно!
С вероятностью 90% именно из-за этого и сдохли.

Дело в том, что далеко не все однофазные частотники рассчитаны на подачу 2 фаз вместо фазы и нуля (и соответственно линейного напряжения вместо фазного, которое в корень из 3 раз больше).
"Умерли с хлопками и дымом" - это бахнули электролиты на шине постоянного тока. Возможно, и что-то после них еще.

Землю вместо нейтрали использовать либо вообще нельзя, либо можно, но не нужно (смотря какая система переменного тока сделана). А вот заземлить частотник и экран кабеля от него до мотора - обязательно!

[mik25.livejournal.com]

Этот "Фитиль" удивительным образом предвосхитил историю "Адмирала Нахимова". Именно так все и произошло.
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Т/х "Петр Васев" по графику работы флота должен был прибыть в порт Новороссийск 01 сентября с.г.

31 августа 1986 года с 20.00 на судоводительскую вахту заступил 3-й помощник капитана Зубюк Петр Александрович и матрос I класса Павлюк В.М.

В 21.45 главный двигатель перевели в маневренный режим; обороты винта 120 об/мин, скоростью 11,5 узла.

В 22.04 вошли в систему разделения движения, следуя курсом 58о.

В 22.47 легли на курс 36о в точке - 44о 32,5 сев. широты, 37о 48,9 вост. долготы. По радиотелефону связались с ПРДС порта Новороссийск и получили информацию о п/х "Адмирал Нахимов", который прошел буи Пенайской банки, его курсе 160о и о просьбе пропустить его.

В это время на мостик поднялся капитан, которому была доложена обстановка и просьба. Капитан согласился и дал подтверждение п/х "Адмирал Нахимов".

Капитан Ткаченко В.И. встал к САРПу и начал работу с ним с целью оценки ситуации расхождения с п/х "Адмирал Нахимов". В это время дистанция между судами составляла 7,2 мили.

Сосредоточив свое внимание на работе с САРПом, капитан Ткаченко полностью отключился от визуального контроля развивающейся обстановки, не предпринимал никаких мер, чтобы уступить дорогу п/х "Адмирал Нахимов" заблаговременно.

Вахтенный помощник Зубюк П.А. производил определение места судна и визуальное наблюдение за обстановкой, вел радиотелефонные переговоры с п/х "Адмирал Нахимов" и несколько раз напоминал капитану о режиме работы главного двигателя, готового к маневрам, давая понять, что можно уменьшить скорость движения, чтобы п/х "Адмирал Нахимов" прошел впереди по курсу на безопасном расстоянии.

Однако, продолжая работать только с САРПом, капитан не обращал внимания на информацию вахтенного помощника, не менял скорости и курса. Судно следовало курсом 36о полным ходом со скоростью 11,5 узлов на опасное сближение с п/х "Адмирал Нахимов".

В 23.05 капитан Ткаченко В.И. после очередного обращения с п/х "Адмирал Нахимов" уступить дорогу, наконец дал команду уменьшить ход до среднего, а затем в 23.07 до малого и в 23.07,5 дал команду "стоп-машина". Дистанция между судами в это время была 11 кабельтовых, скорость практически не изменилась.

В 23.10 дал команду "средний" и сразу - "полный назад", сопроводив его звуковым сигналом - 3 коротких гудка. Около 23.11 положили руль право на борт, однако судно вправо не пошло.

В 23.12 произошло столкновение судов под углом, близким к прямому (ок. 110о), скорость - около 5 узлов, руль право на борту.

Удар был нанесен в правый борт п/х "Адмирал Нахимов" в районе 90-110 шпангоутов верхней частью форштевня т/х "Петр Васев" выше ватерлинии и бульбом ниже ватерлинии в два отсека: дизель-генераторное и машинное отделения.
[ http://admiral-nakhimov.net.ru/new/index.php/exp ]

[fixik-papus.livejournal.com]

Спасибо!

А то я сутки думал над эпиграфом ко второй части поста :)

[Виталий (from livejournal.com)]

У меня вопросы доступа, решаются как и у всех :)) - ролями.
Guest - readonly. На практике применяться для вывода на видеостену.
User - может переключать режимы работы.
Main user - тоже что и юзер, но режим установленные main user-ом не может переключить user. Заменяет таблички "не включать работают люди".
Admin. Имеет доступ к критическим настройкам и редактору. Его действие отменить не может никто (на самом деле зависит от конкретного бардака на объекте, бывает включат ченить из под этой роли и спать поехали. На таких объектах main user может отменить действия admin-а). Но это отдельная боль заставить логинится под кем надо а не от балды. Админ чере нцать секунд автоматически разлогиневаеться.

[fixik-papus.livejournal.com]

"Заменяет таблички "не включать работают люди"."
Табличку такую заменяет только замок на рубильнике. Да и то не заменяет, а дополняет :)

"заставить логинится под кем надо а не от балды"
Простой и надежный способ: логин при помощи токена (в нашем случае - пропуска, в нем RFID чип). Simatic Logon это поддерживает.

Вообще удобная штука: ей же и двери открываются, и в столовой расплачиваешься, и убытие-прибытие отмечаешь, и документы в SAP подписываешь. Главное - не потерять :)