Это так просто: запрос, который выполняется всего за несколько секунд в SQL Developer, подключающемся к Oracle 11g, занимает 15-25 минут в SSRS 2008 R2. Я не пробовал другие версии SSRS. Пока что я выполняю все отчеты из VS 2008.
Я использую поставщика OLE DB "OraOLEDB.Oracle.1", который в прошлом, казалось, давал мне лучшие результаты, чем использование поставщика Oracle.
Вот что я На данный момент нам удалось определить:
• Задержка возникает во время фазы выполнения набора данных и не имеет ничего общего с набором результатов или временем визуализации. (Доказательство путем выбора того же набора строк непосредственно из таблицы, в которую я его вставил.)
• Сам SSRS не зависает. Он действительно ждет Oracle, в котором и есть задержка (доказано завершением сеанса БД со стороны Oracle, что привело к ошибке в SSRS об уничтожении сеанса).
• Я пробовал прямые запросы с параметрами в виде: Параметр. Самые ранние версии моего запроса, которые были более простыми, работали нормально для прямого запроса, но казалось, что, преодолев определенную сложность, запрос будет навсегда забираться из SSRS.
• Затем я переключился на выполнение SP, который вставляет результаты запроса в таблицу или глобальную временную таблицу. Это помогло ненадолго, что дает мне больше, чем прямой запрос, но опять же, похоже, что увеличенная сложность или длина запроса в конечном итоге сломали и этот метод. Примечание. Запуск SP с заполнением таблиц работает, потому что с опцией «использовать одну транзакцию», отмеченной в параметрах источника данных, наборы данных затем запускаются в порядке их появления в файле rdl. Наборы данных, которые не возвращают поля, по-прежнему выполняются, пока все их параметры удовлетворены.
• Я только что попробовал функцию, возвращающую таблицу, и это все равно не дало никаких улучшений, хотя прямые вызовы с литеральными параметрами в SQL Developer возвращаются в 1 -5 секунд.
• В рассматриваемой базе данных нет статистики. Это часть продукта, созданного поставщиком, и у нас не было времени или участия руководства для создания / обновления статистики. Я поиграл с подсказкой DYNAMIC_SAMPLING, чтобы вычислить статистику на лету, и получил лучший план выполнения: без статистики оптимизатор на основе затрат плохо использовал соединение LOOP вместо соединения HASH, что приводило к аналогичному многоминутному времени выполнения. Таким образом, я вставляю подсказки запроса, чтобы принудительно установить порядок соединения, а также заставить его использовать стратегическое хеш-соединение, уменьшив время выполнения до нескольких секунд. Я не стал возвращаться и пытаться выполнять прямые запросы в SSRS с использованием этих подсказок.
• Мне помогал наш администратор баз данных Oracle, который установил трассировку (или что-то подобное в Oracle), и он смог увидеть, как что-то выполняется , но пока ничего полезного не нашел. К сожалению, его время ограничено, и мы не смогли по-настоящему вникнуть, чтобы узнать, что выполняется на стороне сервера. Я не У меня нет опыта, чтобы сделать это быстро, или времени, чтобы научиться делать это самому. Приветствуются предложения о том, что делать, чтобы определить, что происходит.
Мои единственные гипотезы:
• Запрос каким-то образом получает плохой план выполнения. Например, неправильное использование соединения LOOP вместо соединения HASH, когда есть десятки тысяч «левых» строк или строк внешнего цикла, а не всего несколько сотен.
• SSRS может отправлять параметры как nvarchar (4000) или что-то вместо чего-то разумного, и поскольку параметры Oracle SP и функций не имеют спецификаций длины, но получают длину своего выполнения из вызова запроса, то какой-то процесс, например анализ параметров, нарушает план выполнения, как в предыдущем пункте.
• Запрос каким-то образом переписывается SSRS / провайдером. Я использую многозначный параметр, но не как есть: параметр передается как выражение Join (Parameters! MultiValuedParameter.Value, ","), поэтому его не нужно переписывать. Просто привязка и отправка. Я не понимаю, как это может быть правдой в SP и вызовах функций, но, черт возьми, что это еще может быть?
Я понимаю, что это очень сложный и длинный запрос, но он делает именно то, что мне нужно. Он выполняется за 1-5 секунд в зависимости от того, сколько данных запрашивается. Вот некоторые из причин сложности:
В любом случае, вот запрос, версия SP (хотя я не думаю, что это сильно поможет).
create or replace
PROCEDURE VendorInvoiceSummary (
FromDate IN date,
ToDate IN date,
CostCenterList IN varchar2,
IncludeWeekly IN varchar2,
ComparisonMonths IN number,
IncludeYTD IN varchar2
)
AS
BEGIN
INSERT INTO InvoiceSummary (Mo, CostCenter, Vendor, VendorName, Section, TimeUnit, Amt)
SELECT
Mo,
CostCenter,
Vendor,
VendorName,
Section,
TimeUnit,
Amt
FROM (
WITH CostCenters AS (
SELECT Substr(REGEXP_SUBSTR(CostCenterList, '[^,]+', 1, LEVEL) || ' ', 1, 15) CostCenter
FROM DUAL
CONNECT BY LEVEL <= Length(CostCenterList) - Length(Replace(CostCenterList, ',', '')) + 1
), Invoices AS (
SELECT /*+ORDERED USE_HASH(D)*/
TRUNC(I.Invoice_Dte, 'YYYY') Yr,
TRUNC(I.Invoice_Dte, 'MM') Mo,
D.Dis_Acct_Unit CostCenter,
I.Vendor,
V.Vendor_VName,
CASE
WHEN I.Invoice_Dte >= FromDate AND I.Invoice_Dte < ToDate
THEN (TRUNC(I.Invoice_Dte, 'W') - TRUNC(I.Invoice_Dte, 'MM')) / 7 + 1
ELSE 0
END WkNum,
Sum(D.To_Base_Amt) To_Base_Amt
FROM
ICCompany C
INNER JOIN APInvoice I
ON C.Company = I.Company
INNER JOIN APDistrib D
ON C.Company = D.Company
AND I.Invoice = D.Invoice
AND I.Vendor = D.Vendor
AND I.Suffix = D.Suffix
INNER JOIN CostCenters CC
ON D.Dis_Acct_Unit = CC.CostCenter
INNER JOIN APVenMast V ON I.Vendor = V.Vendor
WHERE
D.Cancel_Seq = 0
AND I.Cancel_Seq = 0
AND I.Invoice_Dte >= Least(ADD_MONTHS(FromDate, -ComparisonMonths), TRUNC(FromDate, 'YYYY'))
AND I.Invoice_Dte < ToDate
AND V.Vendor_Group = '1 ' -- index help
GROUP BY
TRUNC(I.Invoice_Dte, 'YYYY'),
TRUNC(I.Invoice_Dte, 'MM'),
D.Dis_Acct_Unit,
I.Vendor,
V.Vendor_VName,
CASE
WHEN I.Invoice_Dte >= FromDate AND I.Invoice_Dte < ToDate
THEN (TRUNC(I.Invoice_Dte, 'W') - TRUNC(I.Invoice_Dte, 'MM')) / 7 + 1
ELSE 0
END
), Months AS (
SELECT ADD_MONTHS(Least(ADD_MONTHS(FromDate, -ComparisonMonths), TRUNC(FromDate, 'YYYY')), LEVEL - 1) Mo
FROM DUAL
CONNECT BY LEVEL <= MONTHS_BETWEEN(ToDate, Least(ADD_MONTHS(FromDate, -ComparisonMonths), TRUNC(FromDate, 'YYYY')))
), Sections AS (
SELECT 1 Section, 1 StartUnit, 5 EndUnit FROM DUAL
UNION ALL SELECT 2, 0, ComparisonMonths FROM DUAL
UNION ALL SELECT 3, 1, 1 FROM DUAL WHERE IncludeYTD = 'Y'
), Vals AS (
SELECT LEVEL - 1 TimeUnit
FROM DUAL
CONNECT BY LEVEL <= (SELECT Max(EndUnit) FROM Sections) + 1
), TimeUnits AS (
SELECT S.Section, V.TimeUnit
FROM
Sections S
INNER JOIN Vals V
ON V.TimeUnit BETWEEN S.StartUnit AND S.EndUnit
), Names AS (
SELECT DISTINCT
M.Mo,
Coalesce(I.Vendor, '0') Vendor,
Coalesce(I.Vendor_VName, 'No Paid Invoices') Vendor_VName,
Coalesce(I.CostCenter, ' ') CostCenter
FROM
Months M
LEFT JOIN Invoices I
ON Least(ADD_MONTHS(M.Mo, -ComparisonMonths), TRUNC(M.Mo, 'YYYY')) < I.Mo
AND M.Mo >= I.Mo
WHERE
M.Mo >= FromDate
AND M.Mo < ToDate
)
SELECT
N.Mo,
N.CostCenter,
N.Vendor,
N.Vendor_VName VendorName,
T.Section,
T.TimeUnit,
Sum(I.To_Base_Amt) Amt
FROM
Names N
CROSS JOIN TimeUnits T
LEFT JOIN Invoices I
ON N.CostCenter = I.CostCenter
AND N.Vendor = I.Vendor
AND (
(
T.Section = 1 -- Weeks for current month
AND N.Mo = I.Mo
AND T.TimeUnit = I.WkNum
) OR (
T.Section = 2 -- Summary months
AND ADD_MONTHS(N.Mo, -T.TimeUnit) = I.Mo
) OR (
T.Section = 3 -- YTD
AND I.Mo BETWEEN TRUNC(N.Mo, 'YYYY') AND N.Mo
)
)
WHERE
N.Mo >= FromDate
AND N.Mo < ToDate
AND NOT ( -- Only 4 weeks when a month is less than 28 days long
T.Section = 2
AND T.TimeUnit = 5
AND TRUNC(N.Mo + 28, 'MM') <> N.Mo
AND I.CostCenter IS NULL
) AND (
T.Section <> 1
OR IncludeWeekly = 'Y'
)
GROUP BY
N.Mo,
N.CostCenter,
N.Vendor,
N.Vendor_VName,
T.Section,
T.TimeUnit
) X;
COMMIT;
END;
ОБНОВЛЕНИЕ
Даже после того, как узнал все об Oracle планы выполнения и подсказки (чтобы перевести мои знания SQL Server), я все еще не мог заставить запрос быстро выполняться в SSRS, пока я не заставил его работать в два этапа, сначала для помещения реальных результатов таблицы в GLOBAL TEMPORARY TABLE
, а затем второй, чтобы извлечь из него данные. DYNAMIC_SAMPLING
дал мне хороший план выполнения, который я затем скопировал, используя подсказки соединения и доступа. Вот' s последний SP (это не может быть функцией, потому что в Oracle вы не можете выполнять DML в функции, когда эта функция вызывается внутри оператора SELECT):
Иногда я клянусь, что он игнорировал мои подсказки соединения, такие как swap_join_inputs
и no_swap_join_inputs
, но, судя по моему мнению, Oracle игнорирует подсказки только тогда, когда они фактически не могут быть использованы или вы делаете что-то не так. К счастью, таблицы поменялись местами надлежащим образом (как в случае USE_NL (CC)
, он надежно помещает таблицу CC в качестве заменяемого, левого ввода, даже если она соединяется последней).
CREATE OR REPLACE
PROCEDURE VendorInvoicesSummary (
FromDate IN date,
ToDate IN date,
CostCenterList IN varchar2,
IncludeWeekly IN varchar2,
ComparisonMonths IN number,
IncludeYTD IN varchar2
)
AS
BEGIN
INSERT INTO InvoiceTemp (Yr, Mo, CostCenter, Vendor, WkNum, Amt) -- A global temporary table
SELECT /*+LEADING(C I D CC) USE_HASH(I D) USE_NL(CC)*/
TRUNC(I.Invoice_Dte, 'YYYY') Yr,
TRUNC(I.Invoice_Dte, 'MM') Mo,
D.Dis_Acct_Unit CostCenter,
I.Vendor,
CASE
WHEN I.Invoice_Dte >= FromDate AND I.Invoice_Dte < ToDate
THEN (TRUNC(I.Invoice_Dte, 'W') - TRUNC(I.Invoice_Dte, 'MM')) / 7 + 1
ELSE 0
END WkNum,
Sum(D.To_Base_Amt) To_Base_Amt
FROM
ICCompany C
INNER JOIN APInvoice I
ON C.Company = I.Company
INNER JOIN APDistrib D
ON C.Company = D.Company
AND I.Invoice = D.Invoice
AND I.Vendor = D.Vendor
AND I.Suffix = D.Suffix
INNER JOIN (
SELECT Substr(REGEXP_SUBSTR(CostCenterList, '[^,]+', 1, LEVEL) || ' ', 1, 15) CostCenter
FROM DUAL
CONNECT BY LEVEL <= Length(CostCenterList) - Length(Replace(CostCenterList, ',', '')) + 1
) CC ON D.Dis_Acct_Unit = CC.CostCenter
WHERE
D.Cancel_Seq = 0
AND I.Cancel_Seq = 0
AND I.Invoice_Dte >= Least(ADD_MONTHS(FromDate, -ComparisonMonths), TRUNC(FromDate, 'YYYY'))
AND I.Invoice_Dte < ToDate
GROUP BY
TRUNC(I.Invoice_Dte, 'YYYY'),
TRUNC(I.Invoice_Dte, 'MM'),
D.Dis_Acct_Unit,
I.Vendor,
CASE
WHEN I.Invoice_Dte >= FromDate AND I.Invoice_Dte < ToDate
THEN (TRUNC(I.Invoice_Dte, 'W') - TRUNC(I.Invoice_Dte, 'MM')) / 7 + 1
ELSE 0
END;
INSERT INTO InvoiceSummary (Mo, CostCenter, Vendor, VendorName, Section, TimeUnit, Amt)
SELECT
Mo,
CostCenter,
Vendor,
VendorName,
Section,
TimeUnit,
Amt
FROM (
WITH Months AS (
SELECT ADD_MONTHS(Least(ADD_MONTHS(FromDate, -ComparisonMonths), TRUNC(FromDate, 'YYYY')), LEVEL - 1) Mo
FROM DUAL
CONNECT BY LEVEL <= MONTHS_BETWEEN(ToDate, Least(ADD_MONTHS(FromDate, -ComparisonMonths), TRUNC(FromDate, 'YYYY')))
), Sections AS (
SELECT 1 Section, 1 StartUnit, 5 EndUnit FROM DUAL
UNION ALL SELECT 2, 0, ComparisonMonths FROM DUAL
UNION ALL SELECT 3, 1, 1 FROM DUAL WHERE IncludeYTD = 'Y'
), Vals AS (
SELECT LEVEL - 1 TimeUnit
FROM DUAL
CONNECT BY LEVEL <= (SELECT Max(EndUnit) FROM Sections) + 1
), TimeUnits AS (
SELECT S.Section, V.TimeUnit
FROM
Sections S
INNER JOIN Vals V
ON V.TimeUnit BETWEEN S.StartUnit AND S.EndUnit
), Names AS (
SELECT DISTINCT
M.Mo,
Coalesce(I.Vendor, '0') Vendor,
Coalesce(I.CostCenter, ' ') CostCenter
FROM
Months M
LEFT JOIN InvoiceTemp I
ON Least(ADD_MONTHS(M.Mo, -ComparisonMonths), TRUNC(M.Mo, 'YYYY')) <= I.Mo
AND I.Mo <= M.Mo
WHERE
M.Mo >= FromDate
AND M.Mo < ToDate
)
SELECT
N.Mo,
N.CostCenter,
N.Vendor,
Coalesce(V.Vendor_VName, 'No Paid Invoices') VendorName,
T.Section,
T.TimeUnit,
Sum(I.Amt) Amt
FROM
Names N
INNER JOIN APVenMast V ON N.Vendor = V.Vendor
CROSS JOIN TimeUnits T
LEFT JOIN InvoiceTemp I
ON N.CostCenter = I.CostCenter
AND N.Vendor = I.Vendor
AND (
(
T.Section = 1 -- Weeks for current month
AND N.Mo = I.Mo
AND T.TimeUnit = I.WkNum
) OR (
T.Section = 2 -- Summary months
AND ADD_MONTHS(N.Mo, -T.TimeUnit) = I.Mo
) OR (
T.Section = 3 -- YTD
AND I.Mo BETWEEN TRUNC(N.Mo, 'YYYY') AND N.Mo
)
)
WHERE
N.Mo >= FromDate
AND N.Mo < ToDate
AND V.Vendor_Group = '1 '
AND NOT ( -- Only 4 weeks when a month is less than 28 days long
T.Section = 2
AND T.TimeUnit = 5
AND TRUNC(N.Mo + 28, 'MM') <> N.Mo
AND I.CostCenter IS NULL
) AND (
T.Section <> 1
OR IncludeWeekly = 'Y'
)
GROUP BY
N.Mo,
N.CostCenter,
N.Vendor,
V.Vendor_VName,
T.Section,
T.TimeUnit
) X;
COMMIT;
END;
Это длилось долго. , мучительная поездка, но если я кое-что узнал, так это то, что работа с базой данных без должным образом обновленной статистики (что я m собираюсь рассмотреть возможность добавления нашего администратора базы данных, даже если поставщик не заботится о них) может стать настоящей катастрофой для того, кто хочет выполнить работу в разумные сроки.