Понятно, что здесь сработало сочетание целого ряда различных случайных совпадений, но выводы из подобной нештатной ситуации надо было срочно делать – и они были сделаны следующим образом.
Первое. IT-отдел не может уезжать в полном составе – всегда должны оставаться какие-то люди, которые могут принимать решения в сложной ситуации.
Второе. Для подобных ситуаций должен существовать некий Disaster Recovery Plan (план восстановления в случае катастрофы), в котором прописаны действия сотрудников в случае тех или иных проблем: кто и где дежурит, что делать в первую очередь и так далее. Такой план в отделе существовал, но он был существенно расширен и дополнен по итогам данного происшествия.
Третье. После этого случая была введена система отслеживания и анализа так называемых «инцидентов менеджеров». Сначала сформулировали критерии того, что считать инцидентом: например, более двадцати секунд простоя сайта – это уже проблема и повод для разбирательства. По результатам разбирательства выясняется причина инцидента и создается рекомендация по поводу того, что нужно сделать, чтобы инцидент не повторился. Причем инцидент не обязательно должен относиться к сайту. Инцидент – это перерыв любого критически важного бизнес-сервиса: финансовой системы, бэк-офиса, канала связи и так далее.
Четвертое. Были значительно ускорены работы по изменению архитектуры веб-витрины. Главными целями изменений было повышение производительности и надежности. Новая архитектура была успешно внедрена в полном объеме к сентябрю 2007 года.
По существующей практике сейчас в OZON.ru фиксируется примерно один инцидент среднего уровня сложности в месяц-полтора.
Санкт-петербургская курьерская служба
К марту 2007 года служба «О-Курьер» вышла на показатели, которые на тот момент полностью устраивали руководство OZON.ru. После этого руководство «Озона» обратило внимание на службу доставки Санкт-Петербурга. В отличие от «О-Курьера», которая довольно продолжительное время была самостоятельным подразделением и работала на отдельной IT-системе автоматизации курьерской доставки, так называемом «Курьерском модуле», в Санкт-Петербурге курьерская служба была интегрирована в OZON.ru и работала в бэк-офисе, который значительно менее регламентировал соответствующие бизнес-процессы. В московской службе курьерский модуль фиксировал буквально каждый чих, что позволяло получать объективную картину. Собственно, иначе доставлять тысячи заказов в день было невозможно.
В санкт-петербургском отделении заказов было значительно меньше (также следует напомнить, что практически 75 процентов товаров покупатели получали через специальные пункты, а не курьерской доставкой), а схема работы и оформления брала свое начало из такой глубины веков, что было понятно: стоит чуть-чуть увеличить обороты этого отделения – и служба доставки справляться уже не будет. Поэтому было принято стратегически важное решение: в санкт-петербургском отделении курьерской службы внедрить тот же модуль, который использовался в Москве.
Разумеется, это встретило страшное сопротивление. Менять старое на новое всегда нелегко, а тут еще речь шла о том, чтобы работать на модуле, который учитывал все до мелочей – каждое действие, каждое событие.
Однако сопротивление было преодолено, курьерский модуль внедрили, после чего через весьма непродолжительное время убедились в том, что KPI санкт-петербургской службы доставки (по параметрам «скорость доставки», «оперативность и качество телефонных звонков клиентам») – в несколько раз хуже KPI московского «О-Курьера». И тогда приняли единственно правильное в данном случае решение: служба доставки в Санкт-Петербурге стала филиалом «О-Курьера». Это вызвало к жизни довольно сложный процесс реорганизации всей команды, выстраивания бизнес-процессов и сопутствующих событий, но в итоге все получилось, а на данный момент санкт-петербургский филиал по определенным показателям даже опережает московское отделение.
Интересно проследить разницу между работой московского и санкт-петербургского отделений. В Москве значительно больше заказов и больше плотность населения. Если курьеру выделить какой-то сектор города, то у него гарантированно будет тридцать заказов в день – плановое среднее значение. В Санкт-Петербурге ситуация несколько иная. Площадь города сравнима с Москвой, однако населения в четыре раза меньше. Кроме того, значительно меньше заказов (особенно тех, которые доставляются курьерами). Поэтому если в Москве курьеры все работают только по сдельной схеме (сколько доставили – столько и получили), то в Санкт-Петербурге приходится придерживаться следующей схемы: служба предоставляет не менее двадцати заказов или каким-то образом компенсирует курьеру разницу, если столько заказов не набирается.
Синдром «Гарри Поттера»
Одна из довольно существенных проблем, которые приходилось решать в OZON.ru, – это взрывное увеличение количества заказов, связанное с каким-то событием. Рождественские (новогодние) продажи – дело известное, однако они всегда случаются в одно и то же время, а потому рост заказов во время этих продаж известен и прогнозируем. Другое дело – взрывной рост заказов в случае выхода книги, которую очень ждут. Яркий пример – выпуск очередного «Гарри Поттера». С этим в OZON.ru связана одна очень показательная история…
В ночь на 13 октября 2007 года должен был выйти очередной выпуск «Гарри Поттера». За неделю до этого выяснилось, что на эту книгу только на 13 октября сделано уже 7 тысяч заказов, что вдвое превышало расчетную мощность службы выдачи. Только на пункт выдачи заказов на «Пушкинской» поступило 1500 заявок, а планируемая мощность работы пункта составляла максимум 500 заказов в день. Был реальный риск, что фанаты «Поттера» выстроятся вечером 12 октября перед пунктом выдачи заказов на Пушкинской и будут ждать открытия дверей: полторы тысячи человек в центре Москвы – это было чревато большими проблемами.
Тогда в руководстве OZON.ru приняли решение не допустить столпотворения и давки, а для этого нужно было срочно обеспечить возможность выдачи такого большого количества заказов. Для решения этой задачи был снят кинотеатр «Кодак-киномир», где буквально за полтора часа был развернут импровизированный пункт выдачи на семь точек. Компьютеризировать этот пункт и подключить сканеры штрихкодов, а также прочее оборудование было уже нереально, поэтому все бизнес-процессы перестроили под ручную работу. Выдавать заказы в этом пункте пришлось высшему менеджерскому составу: коммерческому директору OZON.ru, руководителю курьерской службы и другим, но задача была выполнена: OZON.ru был готов выдать в три раза больше заказов, чем обычно.
