Сбой Workday начался с теста резервной системы, сотрудники не могли отметиться на работе

Workday — программное обеспечение, которым многие крупные работодатели пользуются для расчёта зарплат, учёта рабочего времени и отпусков, — перестала работать у клиентов после неудачного тестирования собственной системы аварийного восстановления. Проверяя системы восстановления после сбоев, компания обнаружила, что резервные сервисы неожиданно подключились к рабочим базам данных, с которыми взаимодействуют клиенты, и привели записи в несогласованное состояние. Workday отключила затронутые системы, чтобы устранить проблему.

Для сотрудников сбой означал, что вместо входа в систему они видели сообщение: «Workday сейчас недоступна». Работники затронутых компаний не могли отмечать начало и конец смены, проверять сведения о зарплате, запрашивать отпуск или завершить регистрацию в программе льгот; кроме того, могли перестать выполняться запланированные задания, передающие данные в другие корпоративные системы. Защитный механизм, созданный для поддержания работы сервиса во время катастрофы, сам вывел его из строя.

Масштаб компании объясняет, почему последствия затронули не только отделы кадров. По данным Workday, её программами пользуются более 11 500 организаций. Среди клиентов, перечисленных на сайте компании, — Walmart, Target, Netflix, Chipotle, Southwest Airlines, Министерство энергетики США и Лаборатория реактивного движения NASA. Workday не сообщила, сколько именно клиентов пострадало, ограничившись формулировкой «некоторые из наших клиентов». Поэтому вирусные публикации, утверждающие, что сбой затронул всех перечисленных работодателей, выходят за рамки подтверждённых фактов. По данным UC Today, сервисы мониторинга сбоев зарегистрировали сообщения о проблемах из США и Индии.

Объяснение самой Workday, опубликованное на странице статуса для клиентов и процитированное IT-командой Вашингтонского университета, необычайно прямолинейно. «В ходе проверки еженедельного окна обслуживания арендаторов Disaster Recovery мы обнаружили, что сервисы в среде DR неожиданно подключились к рабочим базам данных», — говорится в сообщении. Там также сказано, что данные оказались «в несогласованном состоянии», из-за чего при открытии аккаунтов могли возникать ошибки, а задания — завершаться сбоем. Затем компания перевела на обслуживание все рабочие среды клиентской группы, которую называет WD1, и пообещала сообщать о ситуации каждые 30 минут.

При этом главное остаётся без ответа. Резервная копия для аварийного восстановления нужна, чтобы неполадки в одной среде не затронули другую, однако в данном случае тест добрался до рабочей системы. Workday не объяснила, как возник такой путь подключения и были ли какие-либо записи утрачены, а не просто рассогласованы. Претензии вызвала и коммуникация компании. Администраторы на форумах Reddit sysadmin и Workday утверждали, что проблема началась за несколько часов до первого уведомления клиентов; Workday эту хронологию не подтвердила. В одном из опубликованных там писем клиентам компания признала, что пока не может назвать срок восстановления, и посоветовала организациям с критически важными сроками перейти на планы обеспечения непрерывности бизнеса.

Практический ущерб для сотрудников зависит от того, на какой момент пришёлся сбой. Часы работников с почасовой оплатой, не сумевших отметить начало смены, придётся корректировать вручную, а перед теми, кто спешил оформить льготы до установленного срока, дверь оказалась закрыта. Некоторым работодателям пришлось перенести дедлайны: Emerson College сообщил, что продлил период открытой регистрации из-за сбоя. Инцидент произошёл в конце и без того неудачной недели для рабочего программного обеспечения: после сбоя Microsoft 365 почта Outlook и Exchange оставалась ненадёжной и на второй день.

Хронология событий на данный момент такова: Emerson College сообщил, что Workday отключила систему примерно в 17:15 по восточному времени в пятницу, 13 ноября, а LiveNOW from FOX передал, что вскоре после 17:00 Downdetector зарегистрировал почти 3 000 сообщений о проблемах. Представитель Workday заявил, что компания «срочно работает над расследованием и устранением проблемы», и принёс пострадавшим клиентам извинения. К утру субботы Workday сообщила клиентам, что переиндексация и восстановление их сред должны завершиться у большинства к 11:00 по восточному времени в субботу, 14 ноября; для некоторых процесс займёт больше времени, и с ними свяжутся через обращение в службу поддержки. Продлённый период регистрации в Emerson теперь заканчивается в понедельник, 16 ноября, в полдень по восточному времени.

Возобновление работы сервиса не снимет более сложный вопрос, который работодатели теперь задают поставщику. Они захотят понять, почему тест, призванный доказать, что Workday способна пережить катастрофу, получил доступ к данным, которые должен был защищать.

Теги: HR-платформы, IT-сбои, Workday, аварийное восстановление, зарплата, облачные сервисы