хранить в git, yaml метаданные, markdown читабельные доки, protobuf схемы, и обмазаться DQ кодом на каком-то более-менее декларативном фреймворке типа greatexpectations (ничего не могу рекомендовать), генерить сайт с докой каким-нибудь docusaurus

2025-03-27 15:20:41


кто отвечает за то, что публикуются изменения? есть ли sla?

2025-03-27 15:24:01


процесс деплоя датапайплайнов, чтоб то что не описано хотя бы в yaml - до прода не дошло, сайт с докой генерится CI

2025-03-27 15:28:23


здесь должен был быть медиа файл, но наш сервер не резиновый: MessageMediaUnsupported

2025-03-27 15:28:26


человек с палкой, который тыкает поставщиков - звучит рабоче, но хочется услышать еще точки зрения

2025-03-27 15:29:10


мне кажется это вообще одна из самых непростых операционных задач - разделить ответственность, без палки все скатиться

2025-03-27 15:30:50


Звучит круто, но контракты по идее должны проверятся продюсером данных (по Чаду Сандерсону), т.е. типа юнит тестов или что-то со схемой (бэкенд таблицы с констрейнтами или Kafka schema registry), чтобы до входа в экосистему данных ломалось. Я вижу это важной методологической частью контрактов - желательно не доводить до DQ тестов.

2025-03-27 15:27:52