Статья бюджета, которой часто пренебрегают

Источник · Перевод автора

Вполне естественно быть воодушевленным перспективой создания и развертывания интересного и высокоэффективного нового процесса науки о данных. К сожалению, вам придется приложить усилия и к некоторым менее захватывающим аспектам такого начинания. Один элемент, который часто недооценивается и игнорируется, – это текущие затраты на обслуживание нового процесса. В этом блоге обсуждается, почему в прошлом нам удавалось игнорировать обслуживание процессов, но также и почему нам это больше не сходит с рук.

Дома и автомобили

Одно из самых дорогих и увлекательных занятий некоторых людей – это строительство нового дома. Однако даже новый дом будет нуждаться в обслуживании. Одна вещь, которая часто застает врасплох начинающих владельцев любого дома, будь то новый дом или нет, – это то, сколько требуется обслуживания. Если покупатель с трудом может выплатить ипотечный кредит, у него возникнут проблемы, когда протечет крыша или придется испачкать настил. Бюджет покупателя должен учитывать текущее обслуживание.

Новая машина – еще одно важное приобретение. Новые автомобили сегодня поставляются с графиками технического обслуживания, в которых точно указано, что и когда нужно сделать. Это позволяет точно спрогнозировать, какие расходы вы понесете с течением времени, и спланировать их. Автомобиль не проживет без периодической замены шин и масляных фильтров.

Любой, кто владеет домом в бассейне и теннисном сообществе или живет в кондоминиуме, знаком с необходимостью платить ежегодные или ежемесячные взносы, которые идут на содержание общей собственности. Эти сборы и связанные с ними расходы снова привязаны к базовому, предсказуемому обслуживанию, которое является фактом жизни. В некоторых штатах законодательно требуется, чтобы ассоциации домовладельцев составляли план технического обслуживания и следовали ему, чтобы избежать перенасыщения недвижимостью, приходящей в упадок.

Очень немногие читатели найдут что-то, что я только что написал, хоть немного удивительным, неожиданным или необоснованным. Однако я готов поспорить, что многие читатели не смогут с уверенностью сказать, что они и их организации столь же серьезно относятся к текущему обслуживанию, необходимому для процессов обработки данных.

Процессы науки о данных прошлого

В старые времена, когда модели часто использовались один или два раза, а затем либо отбрасывались, либо явно обновлялись как часть нового проекта, нам не нужно было много думать об обслуживании. Модели, использованные один или два раза, были подобны одноразовым товарам, которые не вызывали серьезных беспокойств. Традиционные модели, работающие в заданные моменты времени в пакетном режиме, обычно требуют значительного ручного вмешательства.

Я помню, как обновлял модели ответа для каждой кампании. Хотя существовал общий шаблон и подход, нам все же пришлось настраивать процесс для каждой кампании. На этот процесс «построения новой модели» был выделен бюджет, хотя на самом деле мы просто настраивали предыдущую модель. Фактически мы выполняли техническое обслуживание процесса, но не думали о нем таким образом. Шаблон и подход менялись с течением времени по мере изменения данных, изменения бизнес-стратегий или совершенствования наших методологий. Каждая модель обладала новейшими и максимальными возможностями благодаря косвенному обслуживанию, полученному за счет постоянного использования посредством обновлений случаев использования.

Процессы науки о данных сегодня

Подходы, описанные в предыдущем разделе, часто неприменимы в сегодняшних условиях. Часто процесс обработки и анализа данных строится и развертывается в автоматизированной и оперативной среде, о чем я подробно рассказывал в своей книге «Аналитическая революция». Это означает, что в прошлом отсутствуют органически возникающие постоянные возможности пересмотреть этот процесс. В результате должно быть четкое планирование и составление бюджета для регулярного пересмотра процессов.

Аспекты процесса анализа данных, которые могут потребовать внимания, включают, среди прочего:

  • Настройка логики приема и подготовки данных для учета новых или измененных источников данных,
  • Обновление методологий моделирования для использования новейших доступных методов,
  • Обновление API или других интерфейсов с внешними системами и процессами по мере изменения протоколов,
  • Диагностика причин снижения эффективности модели и принятие мер по смягчению последствий,
  • Разработка новых отчетов на основе результатов процессов, чтобы их можно было использовать в новых контекстах.

Ни один из этих пунктов не обходится без временных и финансовых вложений. Однако, если планирование не выполняется заранее, мероприятия часто упускаются из виду и заранее не планируются в бюджете. Затем, когда требуется техническое обслуживание, ни у кого нет времени или бюджета, и людям приходится выполнять работу сверх своей обычной рабочей нагрузки. Это расстраивает сотрудников, а также может привести к выгоранию.

Составьте план обслуживания с самого начала

Подходите к новому процессу анализа данных, как к новому автомобилю. Подумайте, какого внимания процесс может потребовать с течением времени, с какими интервалами и каковы связанные с этим усилия. Используйте эту информацию двумя способами. Во-первых, предлагая работу, не забудьте указать требования к текущему обслуживанию, чтобы заинтересованные стороны знали, что они на самом деле делают. Во-вторых, тщательно запланируйте время и деньги, необходимые для обслуживания, чтобы в итоге не получить сломанные и устаревшие процессы, которые не могут удовлетворить потребности организации.

Все мы знаем, что значит посетить плохой дом или проезжать по дороге разбитую машину. Не будьте data science эквивалентом этих ветхих активов. Вместо этого постарайтесь быть похожим на ухоженный дом или машину, которыми, как вы можете сказать, гордятся владельцы. Могу заверить вас, что эти владельцы достаточно серьезно относятся к техническому обслуживанию, чтобы выделить на него бюджет и выполнить его. В противном случае их имущество не было бы в том прекрасном состоянии, в котором оно находится.