Hettie (hettie_lz) wrote,
Hettie
hettie_lz

Чем характерна пятница? Правильно, обломами на работе!

Позавчера я написала большой пост про работу. И вчера собиралась написать еще один в таком же духе. Но пятница очень часто разворачивается не так, как ожидается...

... Рамон мне сказал только перед ланчем: Хетти, таблица ССС не обновляется с утра.  Рамон чаще всего бывает в курсе, что что-то не обноваляется, безо всякого мониторинга, потому что к нему идут со всеми вопросами по отчетам. И это хорошо.  С  другой стороны с ним бывает, что он либо поднимает панику слишком поздно (когда уже все сломалось), либо, наоборот. слишком рано, когда оказывается, что он просто посмотрела в staging вместо production. Но как правило, сигналы от него - вовремя.

Меня слегка сбило с толку, что, во-первых, в таблица ССС приходит к нам из системы G, а у них как раз за сутки до того был релиз, а во-вторых то, что никаких оповещений об ошибках не приходило.  Тем не менее, я убедилась, что Рамон прав, и что есть записи из исходной системы, которые не попадают в Data Mart. Более того, по его уточненным данным, все началось не в пятницу утром, а еще в четверг вечером.  Я потратила пропасть времени, пытаясь понять, где мы записи теряем, пока наконец, увы, слишком поздно, не увидела кучу заблокированных процессов.

Дальше было веселое время, пока я находила все нужные процессы и убивала их один за другим. Через некоторое время остался один процесс, именно тот, ккоторый и начался накакнуне в 11 вечера... который убить не удалось. Я стала вылавливать Чада, который обнаружился за пределами страны и в отпуске :)). Чад мне был нужен, потому что сам процесс был инициирован на "его" сервере, и я надеялась, что ежели Чад убьет процесс, то убьется и транзакция в базе данных. Чад попросил Майка, Майк убил процесс... и ничего не произошло.

Я позвала Роберта соединить наши мозги вместе:), но он тоже ничего не смог придумать. Предположил, что там идет откат транзакции. Майк сказал, что надо звонить в поддержку AWS, и мы согласились, но начальство с именами и явками  было в отгуле.

На счастье, в staging ничего такого не случилось, поэтому Рамон попросил меня увеличить частоту обновлений там, и стал смотреть отчеты в той среде. В пять мне надо было уходить на мои волонтерские дела, поэтому я сказала Рамону, что просто отменю все обновления в производственной базе, а в понедельник, когда вернется Боб, будем звонить Амазону.  И с тем я и отчалила.

... самое гадостное, что за те два с половиной часа, что я этим пыталась заниматься (без особого успеха), я не могла себя заставить заниматься ничем из того, чем было заниматься надо! Ничего нового из того, что было в плане, не появилось.

... продолжение следует.
Tags: work
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 6 comments