Google AI представляет CardBench: бенчмарк с более чем 20 реальными базами данных и тысячами запросов для улучшения оценки кардинальности.

 Google AI Introduces CardBench: A Comprehensive Benchmark Featuring Over 20 Real-World Databases and Thousands of Queries to Revolutionize Learned Cardinality Estimation

“`html

Cardinality Estimation in Relational Databases

Кардинальная оценка (CE) является ключевым элементом в оптимизации производительности запросов в реляционных базах данных. Она включает в себя прогнозирование количества промежуточных результатов, возвращаемых запросом, что непосредственно влияет на выбор планов выполнения оптимизаторами запросов. Точные оценки кардинальности являются важными для выбора эффективных порядков соединений, определения использования индекса и выбора лучшего метода соединения. Эти решения значительно влияют на время выполнения запросов и общую производительность базы данных. Неточные оценки могут привести к неэффективным планам выполнения, что приведет к значительному замедлению производительности, иногда на несколько порядков. Это делает CE фундаментальным аспектом управления базами данных, с обширными исследованиями, посвященными улучшению ее точности и эффективности.

Ограничения существующих методов

Однако вызов состоит в ограничениях текущих методов кардинальной оценки. Традиционные техники CE, широко используемые в современных системах баз данных, полагаются на эвристики и упрощенные модели, такие как предположение о равномерности данных и независимости столбцов. Хотя они вычислительно эффективны, эти методы часто должны точно предсказывать кардинальности, особенно в сложных запросах, включающих несколько таблиц и фильтров. Обученные модели CE появились как многообещающая альтернатива, предлагая лучшую точность за счет использования данных. Однако, для их практического использования, эти модели должны преодолеть значительные препятствия. Высокие затраты на обучение, необходимость в больших наборах данных и систематическое тестирование их производительности на различных базах данных затрудняют их широкое использование.

CardBench: новый подход к оценке кардинальности

Исследователи из Google Inc. представили CardBench, бенчмарк, разработанный для систематической оценки моделей обучения кардинальности. Он включает тысячи запросов по 20 реальным базам данных, что позволяет более тщательно оценить обученные модели CE в различных условиях. Бенчмарк поддерживает три ключевых настройки: модели на основе экземпляров, нулевые модели и модели с тонкой настройкой. Дизайн CardBench включает инструменты для вычисления необходимой статистики данных, генерации реалистичных SQL-запросов и создания аннотированных графов запросов для обучения моделей CE.

Практическое применение

Оценки производительности с использованием CardBench показывают обнадеживающие результаты, особенно для моделей с тонкой настройкой. Это делает их пригодными для практического применения в ситуациях, когда обучающие данные могут быть ограничены. CardBench представляет значительное достижение в области обучения кардинальности, предоставляя исследователям возможность систематически оценивать и сравнивать различные модели CE, способствуя дальнейшему развитию в этой области.

“`

Полезные ссылки: