scherbinin

Не очень известный факт о кластерном индексе

Tue, 02 Aug 2011 21:26:53 GMT

Казалось бы все уже давно разжевано, однако об одном интересном факте мало кто знает --
если кластерный индекс уникальный, то при создании неуникальных некластерных индексов,
ключ кластерного индекса будет не только на листовом уровне дерева, но и в промежуточных узлах.

Об этом подробно написала Kalen Delaney в своем блоге:
http://sqlblog.com/blogs/kalen_delaney/archive/2010/03/07/more-about-nonclustered-index-keys.aspx

Не пересказывая г-жу Дилани, отмечу только, что это приводит к интересному эффекту --
при наличии уникального кластерного индекса по полю X и неуникального некластерного
индекса по полю Y, для запроса вида

select ... where Y = @param1 and X = @param2

при использовании некластерного индекса, index seek будет по обоим полям -- Y, X, а не только по Y.
Если же этот индекс сделать уникальным, то, как и ожидается, ключ кластерного индекса будет только
на листовом уровне, и index seek будет только по Y.

SSAS parallel transactional incremental partitions processing

Sun, 10 Jul 2011 11:57:01 GMT

Dealing with huge amounts of data and SSAS? Have you ever tried parallel transactional incremental partitions processing? Odd enough but in this typical (at least to me and my team) scenario AMO generates invalid XMLA-script (because in this case all < Bindings > tags must be outside of the < Process > tag). As a result, you will get an exception.

However, it is easy to fix – let’s move all < Bindings > out of the < Process > command (I know, this code is far from perfect, feel free to refactor):

static string FixXMLAForParallel(string log, string SSASDatabaseName, string SSASDatabaseId, string DWHConnString)

{

string bindings = "< Bindings >";

while (log.Contains("< Bindings >"))

{

int bindingsOpen = log.IndexOf("< Bindings >");

int bindingsClose = log.IndexOf("< /Bindings >");

int bindOpen = log.IndexOf("< Binding >", bindingsOpen + "< Bindings >".Length);

int bindClose = log.IndexOf("< /Binding >");

bindings += log.Substring(bindOpen, bindClose - bindOpen + "< /Bindings >".Length);

log = log.Remove(bindingsOpen, bindingsClose - bindingsOpen + "< Bindings >".Length + 1);

}

bindings += "< /Bindings >";

bindings += (@"< DataSource xmlns:xsd=""http://www.w3.org/2001/XMLSchema"" xmlns:xsi=""http://www.w3.org/2001/XMLSchema-instance"" xsi:type=""RelationalDataSource"" >" +

"< ID >" + SSASDatabaseId + "< /ID >" +

"< Name >" + SSASDatabaseName + "< /Name >" +

"< ConnectionString >" + DWHConnString + "< /ConnectionString >" +

"< ConnectionStringSecurity >Unchanged< /ConnectionStringSecurity >" +

"< /DataSource >");

log = log.Insert(log.IndexOf("< /Parallel >") + "< /Parallel >".Length, bindings);

return log;

}

And a usage example:

srv.CaptureXml = true;

ProcessDCPartitions(...);

srv.CaptureXml = false;

log = srv.ConcatenateCaptureLog(true, true);

results = srv.Execute(FixXMLAForParallel(log));

CheckProcessingError(results);

srv.CaptureLog.Clear();

private void CheckProcessingError(XmlaResultCollection results)

{

string error = "";

foreach (XmlaResult result in results)

{

foreach (XmlaMessage message in result.Messages)

{

if (message is XmlaError)

{

error = error + message.Description + "\n";

}

if (!string.IsNullOrEmpty(error))

{

throw new Exception(error);

}

Использование собственных (custom) сборок в SSIS

Sun, 15 Nov 2009 23:48:41 GMT

Начиная с версии 2005, в MS SQL появился серьезный ETL-инструмент, пришедший на смену DTS – SSIS. SSIS содержит массу встроенных трансформаций, но и их иногда бывает недостаточно. Что делать в таком случае? Нет ничего проще! Можно написать код на C# и использовать его в компоненте Script Transformation. А если этот код используется в нескольких пакетах, и может быть в других частях приложения? Есть два подхода – мой любимый copy paste (очень хорошо подходит, если вам платят за количество строк кода), или создание сборки и использование ее в пакетах и приложениях. За описанием технологии copy paste отправляю интересующихся читателей в документацию по MS Windows и в книгу “Copy Paste – Towards a Brighter Future” издательства Bangalore Press, а здесь рассмотрим менее очевидный и более тернистый подход с использованием custom assemblies.

Задача

Допустим, решил я написать свою мощную систему поиска в Интернет, с кодовым названием Booble. Система ходит по Интернету, скачивает и индексирует страницы, и аккуратно складывает их в базу данных для дальнейшего анализа. Неожиданно выяснилось, что в БД попадают какие-то странные нечитабельные URL:

http://lurkmore.ru/%D0%9C%D0%B0%D1%82%D0%B0%D0%BD

http://ja.wikipedia.org/wiki/%E3%83%AA%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%8A%E3%83%AB%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E7%AE%A1%E7%90%86%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0

и так далее. Очень сложно такое анализировать, да и места тратится много на все эти проценты и цифры.

Что же это такое? Как выясняется, RFC 1738, как бы намекает нам:

“Только цифры, буквы (причем только английские! [0-9a-zA-Z]), специальные символы $-_.+!*'(), и зарезервированные символы, используемые для этих самых зарезервированных целей, могут быть незакодированы в URL”.

Не думали создатели этих ваших Интернетов, что они будут использоваться за пределами USA.

С другой стороны, HTML4 позволяет использовать Unicode, так что для корректного использования ссылок их надо закодировать! Для этого каждый символ в URL начинается с символа %, за которым следует шестнадцатеричное представление (две цифры) символа:

http://en.wikipedia.org/wiki/Percent-encoding

Так что для анализа нам надо всего лишь взять поступившие в систему ссылки, раскодировать их и прикопать в какой-нибудь таблице.

Что может быть проще! Если вы, как и я, не любите изобретать велосипеды, то после недолгих поисков в Интернет, можно найти OpenJDK, а внутри – метод для раскодирования URL, который несложно переписать с Java на мой любимый C#. Этот метод я покажу позже.

Казалось бы, полдела сделано, осталось собрать сборку, и подключить ее к пакету SSIS.

Подготовим БД и пакет SSIS.

create database CustomAssembliesNightmare

use CustomAssembliesNightmare

create table dbo.raw_data (

id bigint identity primary key clustered

, url varchar(max)

)

insert into dbo.raw_data (

url

)

select 'http://lurkmore.ru/%D0%9C%D0%B0%D1%82%D0%B0%D0%BD' as url

union all

select 'http://ja.wikipedia.org/wiki/%E3%83%AA%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%8A%E3%83%AB%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E7%AE%A1%E7%90%86%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0'

union all

select 'http://www.google.com/#hl=en&q=%D0%B1%D0%BB%D0%BE%D0%B3+%D1%89%D0%B5%D1%80%D0%B1%D0%B8%D0%BD%D0%B8%D0%BD+sql&aq=f&aqi=&oq=&fp=94f5bc3d92523f1a'

create table dbo.human_readable_data (

id bigint primary key clustered

, url nvarchar(max)

)

Создайте пакет SSIS и добавьте в него Data Flow Task. Эта задача должна прочитать данные из dbo.raw_data, выполнить декодирование и записать данные в dbo.human_readable_data. Такого стандартного преобразования в SSIS нет, так что используем Script Component. Для Script Component установите тип “Transformation”:

Настроим Script Component, нажмите на нем правую кнопку мыши и выберите Edit… Перейдите на вкладку Input Columns и выберите столбец url:

Перейдите на вкладку Inputs and Outputs, раскройте Output 0 и в Output Columns добавьте столбец readable_url с типом Unicode text stream [DT_NTEXT]:

Нажмите ОК, и перейдем к созданию сборки, включающей метод для декодирования.

Откройте Visual Studio и создайте проект типа Class Library, со следующим кодом внутри:

URLUtils.cs

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

namespace URLUtilsAssembly

{

public class URLUtils

{

public static string DecodeURL(string s)

{

bool needToChange = false;

int numChars = s.Length;

Encoding enc = Encoding.UTF8;

StringBuilder sb = new StringBuilder(numChars > 500 ? numChars / 2 : numChars);

int i = 0;

if (enc == null)

{

throw new ArgumentException("URLDecoder: empty string enc parameter");

}

char c;

byte[] bytes = null;

while (i < numChars)

{

c = s[i];

switch (c)

{

case '+':

sb.Append(' ');

i++;

needToChange = true;

break;

case '%':

try

{

// (numChars-i)/3 is an upper bound for the number

// of remaining bytes

if (bytes == null)

{

bytes = new byte[(numChars - i) / 3];

}

int pos = 0;

while (((i + 2) < = numChars) && (c == '%'))

{

int v = Convert.ToInt32(s.Substring(i + 1, 2), 16);

if (v < 0)

{

throw new ArgumentException("URLDecoder: Illegal hex characters in escape (%) pattern - negative value");

}

bytes[pos++] = (byte)v;

i += 3;

if (i < numChars)

{

c = s[i];

}

if ((i < numChars) && (c == '%'))

{

throw new ArgumentException("URLDecoder: Incomplete trailing escape (%) pattern");

}

char[] chars = enc.GetChars(bytes, 0, pos);

for (int k = 0; k < chars.Length; k++)

{

if (chars[k] == 0xFFFD)

{

throw new ArgumentException("URLDecoder: Cannot decode the URL");

}

sb.Append(chars);

}

catch (FormatException e)

{

throw new ArgumentException("URLDecoder: Illegal hex characters in escape (%) pattern - " + e.Message);

}

needToChange = true;

break;

default:

sb.Append(c);

i++;

break;

}

return (needToChange ? sb.ToString() : s);

}

Откомпилируйте сборку, и давайте попробуем использовать ее в пакете SSIS в компоненте Script Component. Для этого выберите компонент, нажмите правую кнопку и выберите Edit… Далее нажмите кнопку Edit Script… Чтобы пакет увидел наш код, надо добавить на него ссылку. Нажмите правую кнопку на узле References и выберите Add Reference… Перейдите на вкладку Browse и найдите сборку. Добавьте на нее ссылку в секции using:

using URLUtilsAssembly;

В методе Input0_ProcessInputRow выполним декодирование, для этого нам сначала придется преобразовать входящий URL из blob в string, а затем поместить в выходной blob-столбец:

byte[] data = Row.url.GetBlobData(0, (int)Row.url.Length);

Row.readableurl.AddBlobData(

Encoding.Unicode.GetBytes(

URLUtils.DecodeURL(Encoding.ASCII.GetString(data))));

Отредактируйте приемник данных (Human readable Data), сопоставив столбцы readable_url и url:

Казалось бы и все, но при запуске пакета вы получите ошибку, вроде этой:

Невозможно загрузить файл или сборку "URLUtilsAssembly, Version=1.0.0.0, Culture=neutral, PublicKeyToken=null" или один из зависимых от них компонентов. Не удается найти указанный файл.

Давайте проверим Script Component, может быть там что-то не так. Нажмите на нем правую кнопку, выберите Edit… и нажмите Edit Script… Раскройте узел References. Ничего странного? Куда делась ссылка на URLUtilsAssembly?! Потерялась… Странно, стандартные сборки же не теряются? А где располагаются стандартные сборки .NET, мои маленькие любители программирования? Правильно, в Global Assembly Cache. Давайте попробуем и нашу сборку там зарегистрировать, вдруг поможет?

Чтобы зарегистрировать сборку в GAC, надо сначала создать ей «Сильное имя» (Strong name). Для этого откройте свойства проекта сборки, перейдите на вкладку Signing, установите флажок Sign the assembly, и создайте файл ключа, выбрав New… из выпадающего списка Choose a strong name key file. Откомпилируйте сборку.

Теперь о регистрации в GAC. Сборку можно зарегистрировать с помощью утилиты gacutil, но, к сожалению, с некоторого момента она не поставляется в комплекте с .NET Framework, а только с SDK. Вместо этого Microsoft предлагает создавать установочные пакеты (msi). Если желания пакет создавать нет, то для регистрации в эксплуатационной среде придется воспользоваться следующим трюком (Windows Server 2008):

1. Запустите утилиту командной строки cmd.exe с правами администратора (Run as administrator).

2. Запустите Windows Explorer из открывшейся консоли следующим образом:

explorer c:\windows\assembly

3. Запустите еще одну копию Windows Explorer из консоли с путем к сборке:

explorer C:\CustomAssembliesNightmare\URLUtilsAssembly\bin\Debug

4. Перетащите файл сборки (URLUtilsAssembly.dll) из папки со сборкой в папку GAC (\windows\assembly)

Сборка зарегистрирована! Учтите, просто запуск explorer с правами администратора не поможет.

К сожалению, этого мало. Чтобы SSIS не терял ссылку на сборку при каждом открытии Script Component, ее надо дополнительно скопировать в папку C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727\.

Вот теперь все, осталось снова отредактировать Script Component, и добавить ссылку на сборку, на этот раз со вкладки .NET, а не Browse.

Запустите пакет и просмотрите содержимое результирующей таблицы.

Поиск плагиата на платформе MS SQL

Thu, 10 Sep 2009 18:12:34 GMT

Plagiarism detection using Microsoft SQL Server Platform

Vladislav Shcherbinin

American University of Nigeria

Lamido Zubairu way, Yola township by-pass, PMB 2250, Yola, Nigeria

vladislav.scherbinin@gmail.com

Sergey Butakov

SolBridge International School of Business, 151-13 Samsung 1-Dong, Dong-gu, Daejeon, 300-814, South Korea

butakov@solbridge.ac.kr

Abstract: The paper presents an approach for fast plagiarism detection using Microsoft SQL Server platform in a large corpus of documents. The approach was used for participation in the first international plagiarism detection competition that was held as a part of PAN’09 workshop. The main advantages of the proposed approach are its high precision, good performance and readiness for deployment into a production environment with relatively low cost of the required third party software. The approach uses fingerprinting-based algorithms to compare documents and Levenstein’s metric to markup plagiarized fragments in the texts.

Keywords: external plagiarism detection, Winnowing, document fingerprinting

1 Introduction

Digital plagiarism remains a burning issue both in academia (Hart and Friesner, 2004) and industry (Nitterhouse, 2003) over the last two decades. With modern advances in digital media and telecom industries plagiarists got access to a variety of sources including portable media, P2P networks, public Internet, subscription-based digital libraries, etc. Of course methods and tools of plagiarism uncovering have evolved a lot from the pioneering works on plagiarism uncovering in source codes in 1980s to web-enabled anti-plagiarism services of today.

Plagiarism detection methods at large can be split into two large groups: external document analysis methods and intrinsic plagiarism detection methods (Maurer, Kappe, & Zaka 2006). The method and software proposed in this paper aimed on the external plagiarism detection, e.g. revealing the text copied from other documents. For the competition purposes the organizers provided the following corpus: 7214 suspicious documents, 7215 source documents. The rest of the paper is organized as follows: the detailed description of the software platform and the detection process can be found in the second and third sections of the paper. Conclusion section summarizes the results and proposes the directions for future research.

2 Software and hardware configuration

The document processing for the competition was done by three nodes with the main characteristics presented in Table 1. Node 1 served as DBMS platform and two other nodes were used on the detection phase.

Name	Hardware	Software
Node 1	2 GB Ram, Intel Xeon, 3.6 GHz	Windows Server 2003 (Service Pack 2, 64 bit), Microsoft SQL Server Developer Edition (Service Pack 3, 64 bit)
Node 2	1 GB Ram, Intel Core Duo, 1.8 GHz	Windows Server 2003 (Service Pack 2, 32 bit)
Node 3	1 GB Ram, Intel Core Duo, 1.8 GHz	Windows XP (Service Pack 3, 32 bit)

Table 1: Hardware and software used

3 Detection process

The detection process consists of several steps: loading and preprocessing of documents, finding sources, detecting plagiarized passages and finally compiling results. The following subsections explain these steps in details.

3.1 Step 1 – Loading and preprocessing of the documents

Straightforward character by character comparison of thousands of documents is obviously time-prohibitive. To perform the comparison on such a large corpus of documents we decided to use a modification of the Winnowing, one of the well-known fingerprinting-based algorithms (Schleimer et al., 2003).

The detection of plagiarized passages requires some preprocessing to be done: in particular, the documents should be loaded into the database together with their fingerprints. The structure of the database designed to store documents and fingerprints is shown in the Figure 1.

Figure 1: The database structure

Table Folder defines the type of the document: (a) Suspicious document and (b) Source document. Document table stores documents and folders they belong to. And Fingerprint table contains fingerprints for each document. The detailed description of the Fingerprint table (the most important one in the database) is presented in the Table 2.

Field name	Type	Description
document_id	integer	Link to the respective document (foreign key)
position	integer	Position of the fingerprint in the document
value	guid	16-byte hash (MD5) of the document’s excerpt
seq_num	integer	Since the same fingerprint can appear several times in a document, this field contains sequential number of the fingerprint for optimization purposes

Table 2: Structure of the Fingerprint table

After loading documents and compiling their fingerprints two indexes on the Fingerprint table were created. SQL scripts for these indexes are presented in the Figure 2. These indexes will be used in the upcoming steps.

Index 1:

create unique clustered index ix_fingerprint on dbo.fingerprint

(

document_id

, value

, seq_num

)

Index 2:

createnonclustered index ix_value_document on dbo.fingerprint

(

value

, document_id

)

Figure 2: Indexing of the Fingerprint table

The fingerprints were compiled using the n-gram size of 50 characters and sliding window of 30 characters.

After the loading phase the Fingerprint table was populated with 137,981,386 records. At this point we have tried to reduce this number by removing hashes with unique values from the table (such values are useless for the plagiarism detection as they occur only once in a document). But such a removal led to the fragmentation of the indexes and thus increased the processing time. Index defragmentation would help but it would take time and it was decided to keep unique values in the table. Of course such removal would not be possible in the production anti-plagiarism system because once a new submission comes to the system a unique value may not be unique anymore.

In total the loading and preprocessing step took 4 hours on the first node. As it can be seen from the description the most time consuming operation on this step was loading documents and compiling fingerprints. The system performance in this step can be improved by increasing the computational power allocated for fingerprint calculation on the server.

3.2 Step 2 – Locating sources

On this step we identify documents which contain plagiarized fragments. The main objective of this step was to reduce the number of documents to compare, because not all the suspicious documents contain plagiarized fragments. This step selects all pairs of documents that share at least one fingerprint and stores these pairs in a table for more detailed analysis. The table and the script to populate it are shown in Figure 3. This query uses Index 2 (see Figure 2).

insert into dbo.matches_report (

doc1_id

, doc2_id

)

select d.document_id as doc1_id

, td.document_id as doc2_id

from dbo.document d

cross join dbo.document td

where exists (

select *

from dbo.fingerprint f1

inner join dbo.fingerprint f2 on

f1.value = f2.value

where f1.document_id = d.document_id

and f2.document_id = td.document_id

)

and d.folder_id = 3

and td.folder_id = 2

Figure 3: Table to keep the results of pair-wise document comparison and the query to populate it

After this step the Matches_report table was populated with only 44,532 records, and it is more than a thousand times less than the number of pairs the search would have had to process if it compares all suspicious documents versus all source documents: 7214 * 7215= 52,049,010.

This step took about 1 hour 20 minutes on Node 1. As this step consists of only one query the better system performance could be achieved only by improving the hardware platform on the first node.

3.3 Step 3 – Detecting plagiarized passages

At this point all the required information is ready for the main step: detection of the common fragments in documents. Figure 4 shows a stored procedure that compares two documents and returns common fingerprints. The result from this procedure is used to identify exact plagiarized excerpts and to establish anchors for the further analysis.

create proc dbo.document_compare

@doc1_id int

, @doc2_id int

begin

--------------------------------------------

set nocount on

set transaction isolation level read uncommitted

--------------------------------------------

select fp1.position as position1 , fp2.position as position2

from dbo.fingerprint fp1

inner join fingerprint fp2 on fp1.value = fp2.value

and fp1.seq_num = fp2.seq_num

where fp1.document_id = @doc1_id

and fp2.document_id = @doc2_id

order by fp1.position

return(0)

end

Figure 4: Stored procedure to compare documents and to return common fingerprints

The main point here is the proper indexing of the Fingerprint table; the procedure displayed in the Figure 4 uses Index 1 (see Figure 2). The execution plan for the procedure is shown in Figure 5. It is easy to spot how efficient the execution plan is because it uses only index seeks and a merge join. Actually the sorting step is not that expensive as it is shown on the execution plan, because it works with quite low number of items, which are left after the join. In fact, this is the best possible plan for the procedure shown on the Figure 4 and the procedure returns results almost instantaneously.

Figure 5: Execution plan for the comparison procedure

After all common fingerprints have been identified and thus provided established anchors, the next task was to find common intervals for marking up the plagiarized passages. For better performance this process was distributed among two workstations (Node 2, Node 3), each running a console application (C#, .NET 2.0) that performs the following steps:

1. Retrieve an unprocessed document from the Document table.

2. Retrieve records for the suspicious document from the Matches_report table.

3. For each record execute Document_compare procedure (Figure 4).

a. For each result skip forward character by character in both source and suspicious documents, while characters are equal. This will identify exact excerpt.

b. Start skipping forward n characters, and compare excerpts using Levenstein’s distance. This will identify near similar and obfuscated excerpts.

4. Save identified intervals into the table Interval on the server (Node 1).

Both nodes used several separate threads for this processing (10 threads on Node 2, 5 threads on Node 3). Each thread processes a separate document, retrieved on the step 1 shown above.

While performing the processing described in this step we had to solve another problem caused by often long time power outages in Nigeria. To address the recovery issue we had to make the restart possible from any point of the processing. The Status field was added into both Document and Matches_report tables. This field contains one of three flags that help to recover incomplete transactions and resume processing. The detection of passages took about 50 minutes and this time could be improved by increasing the computational power of the processing nodes (nodes 2 and 3) or by further increasing the number of nodes.

3.4 Step 4 – Compiling results

At this step Microsoft SQL Server Integration Services was used to export information about detected plagiarism to XML files with the required format. The export package is shown in the Figure 6. The export time was about 30 minutes.

Figure 6: SSIS package to make the results

4 Conclusion

As the competition results indicate the proposed approach provides very competitive results on external plagiarism detection. During the competition the solution showed the best values in preciseness of the results. Moreover it comes in the ready-to-deploy form that can be easily implemented on Microsoft SQL Server. This will allow easy integration with virtually any university-wide course management system. The required improvements to reduce the granularity of results are planned for implementation in the next version of the program. At this stage of the development the solution is publicly available for downloading as a desktop version at www.siberiasoft.info.

References

Hart, M., & Friesner, T. (2004) Plagiarism and poor academic practice – A threat to the extension of e-learning in higher education? The Electronic Journal of e-Learning (Vol. 2(2)), December 2004.

Maurer, H., Kappe F., Zaka B. (2006) Plagiarism – A Survey. Journal of Universal Computer Sciences, vol. 12, no. 8, pp. 1050 – 1084.

Nitterhouse, D. (2003). Plagiarism: Not just an academic problem. Teaching Business Ethics, 7, 215-227

Schleimer S., Wilkerson D., and Aiken A. (2003). Winnowing: Local Algorithms for Document Fingerprinting. Proceedings of the ACM SIGMOD International Conference on Management of Data, pages 76-85, June 2003.

Crot занял 6-е место в первом международном чемпионате по обнаружению плагиата

Mon, 15 Jun 2009 05:29:38 GMT

Просто хорошая новость :)

Результаты можно увидеть здесь:
http://www.uni-weimar.de/medien/webis/research/workshopseries/pan-09/competition.html#results

6-е место, конечно, далеко от 1-го, но мы постоянно улучшаем качество :)

Скачать evaluation version Крота можно здесь:
http://siberiasoft.info

Старая песня: оптимизация запросов... - часть 1, пролог

Sun, 07 Jun 2009 05:18:35 GMT

Уж сколько за последние годы написано об оптимизации sql-запросов, а вопросы на sql.ru те же самые -- все же работало, и как-то вдруг перестало?! Heelp!

Начинаю серию статей об оптимизации запросов, где попробую простым язык объяснить, как же работает оптимизатор запросов, и как сделать так, чтобы все было быстро, не гадая при этом на кофейной гуще. Может быть удастся помочь хоть кому-то...

Начнем с простого запроса к одной таблице. Для примера возьмем таблицу заказов из некоторой гипотетической системы учета продаж бананов. Сценарий создания таблицы приведен ниже:

create table dbo.order (

order_id int identity (1, 1)

, customer_id int

, order_date datetime

, shipping_date datetime

, order_no nvarchar(32)

, order_amt int

, order_total money

)

Итак, таблица создана, клиентское приложение написано, пользователи вносят данные и периодически им требуется строить различные отчеты. Например, очень важный отчет – список заказов, которые необходимо доставить определенному клиенту в некоторый день:

customer_id	shipping_date	order_no	order_amt	order_total
1	20080809	З-23	20	100.20
1	20080809	З-23/2	15	200.10
1	20080809	СЗ-24	32	90.50
1	20080809	СЗ-25	11	310.10

Совсем несложно написать запрос,который вернет такой список:

select customer_id

, shipping_date

, order_no

, order_amt

, order_total

from dbo.order o

where customer_id = 1

and order_date ='20080809'

Первое время построение этого отчета занимает 1-2 секунды. Все счастливы, компания процветает, открываются новые офисы по всему миру, база данных растет, и постепенно на построение этого важного отчета уходит все больше и больше времени. С некоторого момента пользователи часами ждут построения отчета, выпивая огромное количества чая, кофе и антидепрессантов, потому что отгрузки срываются, клиенты нервничают, руководство в бешенстве и все винят «бездельников из IT».

Что же случилось? Почему правильный запрос, совсем недавно выполнявшийся за несколько мгновений, теперь выполняется часами и ставит под угрозу нашу карьеру? Может быть давно пора перейти на Oracle, DB2 или вообще на MySQL (поговаривают, MySQL действительно быстр)?

Давайте пока попросим помолчать коллег-ораклоидов, заявляющих о медлительности и тупости MS SQL, и выясним что жеслучилось, и вообще, что же на самом деле происходит, когда пользователь запускает построение отчета.

Назад к динозаврам

Забудем ненадолго про мощные серверы, высокопроизводительные базы данных, и вообще про IT, и подумаем, как был бы организован этот процесс в далекие времена, когда программируемый калькулятор МК был удивительным изобретением нечеловеческого разума.

Представьте, что у нас в организации есть специально обученный человек по имени Маша Ведро, который занимается ведением картотеки заказов клиентов. В ее распоряжении есть куча папок для бумаг Erich Krause и ее любимый красный степлер.

Круглые сутки она заполняет вот такие бланки и складывает их в папки:

Каждый день Маша должна предоставлять отделу доставки бланки заказов, которые необходимо отгрузить клиентам. Но, к сожалению, все эти бланки и папки находятся в совершенном беспорядке, потому что Маша много пьет и в результате постоянно роняет и перемешивает бланки:

customer_id	shipping_date	order_no	order_amt	order_total
2	20080605	З-12	67	12.50
3	20080709	З-130	212	100.20
2	20080403	З-23/2	23	200.10
1	20080605	СЗ-21	45	90.50
2	20080708	СЗ-20	16	310.10

Как же Маше найти все заказы, которые требуется отгрузить 5 июня? В данной сложной ситуации ей ничего не остается, как прийти пораньше на работу, достать все папки с заказами иначать перебирать их по одному, откладывая заказы на 5 июня.

Когда компания только начала работать и заказов было немного, Маше хватало 8 часов рабочего времени,чтобы найти все заказы на завтра. Однако из-за грамотной работы отделамаркетинга и удивительных вкусовых качеств наших бананов, Маше стало не хватать и целого рабочего дня. Как раз это и произошло с нашим запросом – у сервера нет другого варианта, кроме как последовательно перебирать все записи, отфильтровывая требуемые, и неудивительно, что с ростом объема данных этот процесс будет занимать все больше и больше времени.

Один из вариантов решения проблемы – нанять Маше помощницу, однако с увеличением объема заказов понадобится и вторая, и третья, затем они организуют профсоюз, потребуют повышения зарплаты... В современных терминах это вариант увеличения производительности за счет наращивания мощности аппаратной составляющей.

Другой вариант – увеличить производительность труда самой Маши. Для этого можно воспользоваться несколькими методиками.

Руководство по алгоритмам поиска для Маши Ведро

В нашем случае можно отсортировать все бланки заказов по дате доставки, а Машу отправить на принудительное лечение, чтобы она их больше не путала:

customer_id	shipping_date	order_no	order_amt	order_total
2	20080403	З-23/2	23	200.10
2	20080605	З-12	67	12.50
1	20080605	СЗ-21	45	90.50
2	20080708	СЗ-20	16	310.10
3	20080709	З-130	212	100.20

В терминах баз данных мытолько что создали индекс. Теперь Маша может воспользоваться различными алгоритмами для быстрого поиска необходимых заказов.

Один из таких алгоритмов – двоичный (бинарный) поиск. Работает он следующим образом – допустим, намтребуется найти заказ за 20080403, тогда, множество записей, отсортированное по некоторому ключу (shipping_date в нашем случае), разбивается на две половины. Средний элемент в нашейтаблице – 200080605 (если количество элементов четное, можно выбрать правый илилевый элемент – это не имеет существенного значения). Дата 20080403 предшестует среднему элементу (200080605) и так как множество записей отсортировано по shipping_date, это значит, что искомый элемент (если он существует), находится в первой половине. Снова повторяем этот процесс – разбиваемся первую половину на две и сравниваемискомое значение со средним элементом. В нашем случае – это 20080605. Повторяем процесс – у нас остался один элемент – 20080403, процесс окончен, заказ найден.

Давайте посчитаем,сколько времени мы сэкономили, используя этот алгоритм поиска. Допустим, что напросмотр одного бланка заказа у Маши уходит 1 минута, тогда на полный просмотр всех заказов у нее ушло бы 5 минут. В нашем случае ей понадобилось просмотреть только три заказа – 3 минуты. Теперь допустим, что заказов не 5, а 10000. Сколько бланков придется просмотреть в худшем случае? Делим 10000 пополам – 5000, 5000 пополам – 2500 и так далее, в результате получается 9 бланков или 9 минут, вместо 10000 минут – преимущество по сравнению с полным просмотром очевидно. Сколько же бланков придется просмотреть в общем случае? Для n бланков в худшем случае потребуется выполнить log n операций – столько раз можно разделить n на два, прежде чем получится 1.

Двоичный поиск – один их первых алгоритмов, разработанных для оптимизации поиска по большим массивам данных. Однако этот алгоритм имеет один недостаток – количество операций (азначит и время доступа) для разных записей может отличаться. Например, длянахождения заказа от 20080605 понадобится выполнить всего одну операцию просмотра, а для заказа от 20080403 – три. Это может не лучшим образом сказаться на производительности система. В MS SQL для организации индексов и поиска по ним использует другой алгоритм, чтобы гарантировать одинаковое время доступа ко всем элементам индекса – B+деревья.

Microsoft SQL Server Coding and Development Standard

Sat, 06 Jun 2009 21:31:15 GMT

Писалось два года назад для одного американского клиента, может кому еще пригодится. Замечания/дополнения – very welcome!

PS MS SQL 2000, но многие вещи применимы и для 2005/2008

vladislav.scherbinin@gmail.com

Revisions history:

v.1.0. Created by Vlad A. Scherbinin 01/07/07
v.1.1. Modified by Vlad A. Scherbinin 01/09/07

This document describes the common patterns and guidelines for convenient coding and development of the T-SQL code. It is strongly advised to follow these recommendations, because they incorporate industry best-practices and knowledge got by trial-and-error method.

You can put all templates used in this document into the folder C:\Program Files\Microsoft SQL Server\80\Tools\Templates\SQL Query Analyzer in order to use drag-and-drop feature of the Query Analyzer for code templates.

General T-SQL Coding Guidelines

This section describes the common coding guidelines for Transact SQL code, used both in ad-hoc queries and other programmability objects.

Coding recommendations

Use the following standardized set of settings in order to avoid various problems such as possible problems with indexed computed columns, indexed views, distributed transactions and so on. Put this template in your code before creating any objects like views, tables, functions, procedures. When it makes sense change transaction isolation level from READ UNCOMMITTED to an appropriate one, but in most cases READ UNCOMMITTED should be used in order to minimize locking and performance improvement due to some internal optimizations done by SQL Server.

In some cases ANSI_WARNINGS setting can be set to OFF, because some client applications could be confused with warnings returned, for example, when a column used in aggregation contains NULL values. But it is strongly recommended to avoid NULLs in aggregations and turning off this setting, because it is essential for distributed queries, indexed views and indexes on computed columns. To avoid warning messages, for example, the following construction can be used – sum(isnull(amount, 0)).

set nocount on

set quoted_identifier, ansi_nulls, ansi_warnings, arithabort, concat_null_yields_null, ansi_padding on

set numeric_roundabort off

set transaction isolation level read uncommitted

set xact_abort on

Avoid using asterisk (*) with select statement, always supply only necessary columns (Query Analyzer has useful drag-and-drop feature for column names, so you don’t need to type them). Using asterisk can lead to performance degradation and errors when changing objects structure.
Always supply column names in the INSERT statement.

-- Wrong

insert into dbo.employee

select *

from dbo.sales_agent

-- Correct

insert into dbo.employee (

employee_id

, name

)

select employee_id

, name

from dbo.sales_agent

Always give tables and columns aliases in order to avoid confusing. When using column alias add AS keyword before column alias.
Always include schema (owner) when referencing an object, this will eliminate additional compilation locking overhead for resolving owner, and will leave no place for referencing wrong objects:

-- Correct

select e.employee_id

from dbo.employee e

-- Wrong

select employee_id

from employee

Avoid using non-SARGable predicates like wrapping columns into the functions. For example let assume code that gets all sales for single date, and dates of sales transactions also include time. Also assume that we have nonclustered index on sale_date, amount. Such code could look like:

-- Avoid

select amount

from dbo.sale_transaction

where CONVERT(varchar(8), sale_date, 112) = ‘20061203’

This approach doesn’t leave a chance for the optimizer to use Index Seek, only Index Scan can be used. But in this case we can use SARGable predicate, and allow optimizer to use more efficient Index Seek:

-- Much better one

select st.amount

from dbo.sale_transaction st

where st.sale_date >= ‘20061203’ and st.sale_date < ‘20061204’

When it is possible use inline CASE operator in order to minimize iterations. For example, suppose that we need to get employees count by age intervals < 20, 20 – 40, > 40. We can use the following code in order to obtain these figures:

select sum(case when e.age < 20 then 1 else 0 end) as under_20

, sum(case when e.age >= 20 and age < = 40 then 1 else 0 end) as between_20_40

, sum(case when e.age > 40 then 1 else 0 end) as over_40

from dbo.employee e

Always keep performance in mind, so consider useful indexes earlier in the development stage. It is a good habit to examine execution plans of your code often. Non-effective queries may not only slow down overall performance, but can also cause tempdb database overflow in the case of Grace hash-joins, possibly leading to server stop responding.

Use language-independent formats for date values – it is ISO format – yyyymmdd or ODBC – yyyy-mm-dd hh:mi:ss (see BOL: CONVERT).
ANSI-style joins are preferred than joins in the WHERE clause, because they are more readable, and Microsoft announced that non-ANSI-style joins maybe deprecated in the next versions of the SQL Server. For left joins omit OUTER keyword.
So, summarizing, following is the preferred form of the SELECT statement:

select o.date as order_date

, o.number as order_number

, od.good_id as good_id

, od.amount as good_amount

from dbo.order o

inner join dbo.order_detail od on od.order_id = o.order_id

where o.date >= ‘20060912’ and o.date < ‘20060913’

For indentation use tabs set to four spaces, and separate logically independent units of code with the single empty line.

Avoid using undocumented features, because such code can break in future releases or greatly change its behavior.
Avoid using dynamic SQL in your code, because it could lead to security breaches and SQL-injection.
Always include ORDER BY clause if you want result set to be returned in particular order, because only in this case SQL Server guarantees order.

Transactions

If some work should execute as a single unit, wrap this code with transaction. Because standard settings showed earlier in this section turns on XACT_ABORT setting, you don’t need additional error-handling code for transactions. So the typical code wrapped into the transaction will looks like:

begin tran

insert …

update …

commit tran

If an error occurs, the batch will be terminated and transaction will be rolled back.But keep in mind that some of SQL Server errors terminate batch and leaves transaction opened (e.g. referencing non-existing object). Such errors can only be handled at the client side. Turn off XACT_ABORT setting and implement your own error-handling code only if there is serious case.

Stored procedures

In order to improve performance, manageability and code reuse, all business logic should be implemented using stored procedures, avoid using ad-hoc queries. This section describes best-practices when using stored procedures.

Template

All stored procedures must use the following template:

set nocount on

set quoted_identifier, ansi_nulls, ansi_warnings, arithabort, concat_null_yields_null, ansi_padding on

set numeric_roundabort off

set transaction isolation level read uncommitted

set xact_abort on

if object_id('< procedure_name, sysname, dbo. >') is null

exec('create proc < procedure_name, sysname, dbo. > as select 1')

alter proc < procedure_name, sysname, dbo. >

-- v1.0

-- TODO: supply description of the procedure

-- TODO: supply params

begin

--------------------------------------------

-- v1.0 Created by < author, varchar(128), Vlad A. Scherbinin > < creation_date, char(8), 10/10/06 >

--------------------------------------------

set nocount on

set quoted_identifier, ansi_nulls, ansi_warnings, arithabort, concat_null_yields_null, ansi_padding on

set numeric_roundabort off

set transaction isolation level read uncommitted

set xact_abort on

--------------------------------------------

end

This template preserves existing permissions when recreating procedures and ensures that all procedures use single convenient style. When making changes that don’t mean rewriting procedure, increment minor component of the version, put new version at the beginning of the procedure and add new line in the changes section that begins with Changed by, and describes author, change date, and what kind of changes has been made. When totally rewriting procedure, increment major component of the version, do they same as above, but put Rewritten by instead of Changed by in the changes section.
If a stored procedure accepts data from external temporary table, put this table’s definition after the changes section:

create table #employee (

employee_id int,

name varchar(128)

)

Avoid using triggers, because they introduce “another level of indirection” to your databases. Also avoid cascading updates and deletes because this is also brings indirect logic, so use stored procedures instead.

Cursors

As you probably aware, SQL Server is optimized for set-based operations, so use cursor only if there is no set-based solution. If you have to use cursors declare them using keywords LOCAL, FAST_FORWARD – in this case SQL Server uses some internal optimizations.

Code reuse with views and user-defined functions

Code reuse in the RDBMS world is pretty subtle thing, because improper use of programmability objects intended to this can greatly hurt the performance.

Views

Common scenarios of using views:
1.      Wrapping tables from external databases in order to avoid using four or three-part naming, and minimize code changes when a view changes its location.
2.      Indexed views with aggregations in order to improve performance, when nothing else helps. Remember that in order to use indexed view in the editions other than Enterprise edition, besides general requirements (see BOL, indexed views) you must add NOEXPAND hint to query.
3.      Code reuse. Don’t create all-in-one view which then will be used in all queries, because if you use INNER JOINs and aggregations in a view, but not using respective columns, the SQL Server optimizer can’t get rid of unused joins and aggregations, and consequently will not be able to produce efficient execution plan.

For views use the following template:

set nocount on

set quoted_identifier, ansi_nulls, ansi_warnings, arithabort, concat_null_yields_null, ansi_padding on

set numeric_roundabort off

set transaction isolation level read uncommitted

set xact_abort on

if object_id('< view_name, sysname, dbo. >') is null

exec('create view < view_name, sysname, dbo. > as select 1 as a')

alter view < view_name, sysname, dbo. >

-- v1.0

--------------------------------------------

-- v1.0 Created by < author, varchar(128), Vlad A. Scherbinin > < creation_date, char(8), 10/10/06 >

--------------------------------------------

select

from < table_name, sysname, dbo. >

Don’t forget to change version information when changing a view.

User-defined functions

Try to avoid user-defined functions at all because of slowing down performance (especially table-valued functions), but if you have to, try to create them as deterministic, because in the case of deterministic functions optimizer can produce more efficient execution plan. For the requirements list refer to BOL, deterministic functions.

Objects Naming

Use C-style naming (with underscores) instead of Camel-casing for all objects, including tables and table columns – transaction_amount instead of TransactionAmount. Use lowercase for all your typing, because switching between upper and lower case only slows down coding.
For tables use descriptive names in singular form – employee instead of employees, because this improves development when using E-R modeling tools (automatically named primary keys and so on).For stored procedures use names in the form of entity_action, because this will group all the entity-related procedures close to each other.

For CRUD procedures use the following suffixes – _ins, _upd, _del, _get, _sel. For triggers use prefix trg_ and action suffix _ins, _upd, _del.
Never make use of the prefix sp_ for your stored procedures, because this prefix is reserved for system stored procedures, and such naming will lead to additional lookups – SQL Server will first search master database for the procedure.

The Last Terrible Suggestion

Use these recommendations, and always code the way as if your code will be supported by a maniac, who knows where you live (© tip of the day in one old version of Visual Studio).

Used sources

1.      Common sense
2.      Trial-and-error method
3.      Guru’s Guide To Transact SQL by Ken Henderson
4.      Guru’s Guide To Stored Procedures, XML & HTML by Ken Henderson
5.      The Russian SQL Server Community – sql.ru
6.      sql-server-performance.com

Использование CLR-функций в Microsoft SQL Server на примере сжатия данных

Tue, 31 Mar 2009 10:47:53 GMT

Начиная с версии 2005, Microsoft SQL Server позволяет разрабатывать хранимые процедуры и функции не только на T-SQL, но и на разных языках платформы .NET. В этой статье мы рассмотрим создание функций для сжатия данных в MS SQL.

Данный подход я использовал в своей системе поиска плагиата “The Crot” (http://siberiasoft.info), чтобы немного обойти ограничение Express Edition на размер базы данных (4 GB).

Примечание

В MS SQL 2008 появились возможности сжатия данных и резервных копий, возможно вам подойдет и этот вариант. Подробности как всегда в BOL – http://msdn.microsoft.com/en-us/library/cc280449.aspx.

Для сжатия данных в этом примере мы будем использовать бесплатную open source библиотеку SharpZipLib, которую можно загрузить по адресу – http://www.icsharpcode.net/OpenSource/SharpZipLib/.

Итак, начнем. Запустите Visual Studio и создайте новый проект Class Library:

Далее, переименуйте созданный по умолчанию класс Class1 в CompressionFunctions, и пометьте его модификатором static.

using System;

using System.Collections.Generic;

using System.Text;

namespace CLRFunctions

{

public static class CompressionFunctions

{

}

Распакуйте библиотеку SharpZipLib, добавьте ее в решение (File- >Add- >Existing Project…), и добавьте ссылку на этот проект в проект CLRFunctions (Project- >Add reference…, вкладка Projects).

Теперь создадим в классе Compression методы для упаковки и распаковки данных. Эти методы будут соответствовать скалярным функциям MS SQL. Для того чтобы превратить обычный метод в CLR-функцию, надо всего лишь пометить его атрибутом SqlFunctionAttribute. Этот атрибут находится в пространстве имен Microsoft.SqlServer.Server, так что для удобства добавьте его в список using.

Рассмотрим метод для упаковки данных. Этот метод будет принимать на вход произвольные двоичные данные, упаковывать их, и возвращать опять же двоичные данные. На сервере эти данные будут храниться в столбце типа varbinary(max), который в .NET представлен типом SqlBytes (который находится в пространстве имен System.Data.SqlTypes, так что добавьте и его в список using). Полную таблицу соответствия типов MS SQL типам .NET CLR можно найти в MSDN в статье SQL Server Data Types and Their .NET Framework Equivalents.

Итак, метод будет выглядеть следующим образом:

[SqlFunctionAttribute()]

public static SqlBinary ZipData(SqlBinary data)

{

}

Теперь само сжатие. SharpZipLib содержит класс DeflaterOutputStream, который умеет упаковывать потоки:

[SqlFunctionAttribute()]

public static SqlBinary ZipData(SqlBinary data)

{

//Создаем поток в памяти,

//куда положим данные из параметра data

MemoryStream compress = new MemoryStream();

//Собственно объект, который инкапсулирует алгоритм сжатия,

//конструктор принимает два параметра - уровень сжатия,

//и добавлять или нет заголовок zip-архива,

//true - не добавлять, нам он не нужен

Deflater deflater = new Deflater(Deflater.BEST_COMPRESSION, true);

//Создаем сжимающий поток

DeflaterOutputStream zos = new DeflaterOutputStream(compress, deflater);

//Записываем в сжимающий поток данные из параметра data

zos.Write(data.Value, 0, data.Value.Length);

zos.Close();

//Преобразуем сжатый поток в массив байт и возвращаем как SqlBinary

return new SqlBinary(compress.ToArray());

}

Распаковка также достаточно проста – для этого нам потребуется класс InflaterInputStream:

[SqlFunction()]

public static SqlBinary UnZipData(SqlBinary data)

{

//Создаем поток в памяти, содержащий упакованные данные

//на основании параметра data

MemoryStream uncompressed = new MemoryStream(data.Value);

//Объект, инкапсулирующий алгоритм распаковки,

//заголовка у нас нет, так передаем true в конструктор

Inflater inflater = new Inflater(true);

//Создаем распаковывающий поток

InflaterInputStream zis = new InflaterInputStream(uncompressed, inflater);

//Промежуточный буфер для копирования данных из распаковывающего потока

//в результирующий поток, содержаший распакованные данные

byte[] buff = new byte[4096];

MemoryStream result = new MemoryStream();

//Копируем данные в результирующий поток

StreamUtils.Copy(zis, result, buff);

//Преобразуем распакованный поток в массив байт и возвращаем как SqlBinary

return new SqlBinary(result.ToArray());

}

На этом этапе откомпилируйте проект, и давайте посмотрим, как зарегистрировать и использовать эти функции в MS SQL. Откройте Microsoft SQL Server Management Studio и создайте новую БД для экспериментов.

Чтобы можно было использовать приведенные выше функции в базе данных, сначала необходимо зарегистрировать сборку, полученную в результате компиляции проекта. Это можно сделать CREATE ASSEMBLY, в моем случае это выглядит так:

use CLRFunctions

alter database CLRFunctions set trustworthy on

create assembly CLRFunctions

from 'C:\Work\Tutorials\CLRFunctions\bin\Debug\CLRFunctions.dll'

with permission_set = unsafe

В этом сценарии мы сначала изменяем настройки trustworthy базы данных на on, чтобы можно было зарегистрировать «небезопасную» сборку ICSharpCode.SharpZipLib.dll, на которую ссылается наша сборка CLRFunctions. Без этого SQL Server не позволит зарегистрировать сборку.

После этого необходимо создать в БД функции-обертки для наших CLR-функций, используя следующий сценарий:

create function dbo.unzip_data(@data varbinary(max))

returns varbinary(max)

external name CLRFunctions.[CLRFunctions.CompressionFunctions].UnZipData

create function dbo.zip_data(@data varbinary(max))

returns varbinary(max)

external name CLRFunctions.[CLRFunctions.CompressionFunctions].ZipData

Внешнее имя функции должно указываться в виде < Имя сборки >.[< Пространство имен >.< Имя класса >].< Имя метода >.

Давайте протестируем работу функций сначала простым сценарием:

select cast (

dbo.unzip_data(

dbo.zip_data(

cast('Some really stupid test data' as varbinary(max))

)

) as varchar(max))

Если вы все сделали правильно, в результате должна получиться оригинальная строка.

И более замороченным сценарием на случайных данных:

declare @test_compression table (

data varbinary(max)

)

insert into @test_compression (

data

)

select top 1000

cast(

replicate(

cast(newid() as varchar(36)), abs(checksum(newid())) % 5000 + 5000

) as varbinary(max)

)

from master.sys.objects s1, master.sys.objects s2, master.sys.objects s3

select sum(datalength(data)) as uncompressed

, sum(datalength(dbo.zip_data(data))) as compressed

, cast(

(sum(datalength(dbo.zip_data(data))) * 1.0 / sum(datalength(data))) * 100

as numeric(5, 2)

) as ratio

from @test_compression

Важное примечание

Не забывайте перерегистрировать сборку и функции после изменения
сборки. Можете добавить в начало сценария регистрации что-то вроде:

drop function dbo.unzip_data

drop function dbo.zip_data

drop function dbo.split_text

drop assembly CLRFunctions

Примечание 2

Наверное, это понятно, но на всякий случай напомню, что на сжатие и упаковку уходит некоторое время и ресурсы.

И последнее примечание

Тестируйте, прежде чем использовать в эксплуатационной среде.

Бонус – создание табличной CLR-функции

Функции, созданные выше, представляли собой простые скалярные функции – получаем на вход данные, возвращаем один результат. Помимо скалярных функций можно создавать и табличные CLR-функции. Давайте рассмотрим это на простом примере – создадим функцию, которая принимает на вход текст, разбивает его на слова в соответствии с переданными разделителями, и возвращает слова в виде таблицы.

Вернитесь в Visual Studio и откройте проект, содержащий функции сжатия и распаковки. Добавьте в проект новый класс, назовите его TextFunctions и пометьте модификаторами public и static:

namespace CLRFunctions

{

public static class TextFunctions

{

}

Основное отличие табличных CLR-функций в том, что они возвращают интерфейс IEnumerable и для них необходимо указывать имя метода, который будет заполнять и материализовывать отдельные записи:

[SqlFunction(FillRowMethodName = "SplitTextFillRow")]

public static IEnumerable SplitText(string text, string separators)

{

//Разбиваем текст на элементы в соответствии с переданными разделителями

string[] items = text.Split(separators.ToCharArray(), StringSplitOptions.RemoveEmptyEntries);

//Этот массив нужен для преобразования типа string к типу CLR SqlChars

SqlChars[] ichars = new SqlChars[items.Length];

//Преобразовываем элементы к типу SqlChars

for (int i = 0; i < items.Length; i++)

{

ichars[i] = new SqlChars(items[i]);

}

return ichars;

}

//Этот метод заполняет и материализует одну строку набора данных

public static void SplitTextFillRow(object o, out SqlChars item)

{

item = (SqlChars) o;

}

Скомпилируйте и зарегистрируйте сборку, зарегиструйте функцию, и протестируйте ее работу:

select *

from dbo.split_text(

'Some really stupid test data. Yeah, really stupid!'

, ' . ,')

That’s all, folks! Sai gobe!

Приложение – сценарий регистрации/перерегистрации сборки и функций

use CLRFunctions

drop function dbo.unzip_data

drop function dbo.zip_data

drop function dbo.split_text

drop assembly CLRFunctions

alter database CLRFunctions set trustworthy on

create assembly CLRFunctions

from 'C:\Work\Tutorials\CLRFunctions\bin\Debug\CLRFunctions.dll'

with permission_set = unsafe

create function dbo.unzip_data(@data varbinary(max))

returns varbinary(max)

external name CLRFunctions.[CLRFunctions.CompressionFunctions].UnZipData

create function dbo.zip_data(@data varbinary(max))

returns varbinary(max)

external name CLRFunctions.[CLRFunctions.CompressionFunctions].ZipData

create function dbo.split_text(@text nvarchar(max), @separators nvarchar(128))

returns table (item nvarchar(max))

external name CLRFunctions.[CLRFunctions.TextFunctions].SplitText

Software Ann: Боремся с плагиатом: The Crot Beta

Sun, 29 Mar 2009 14:44:25 GMT

Я работаю в Американском Университете в Нигерии, преподаю разные дисциплины в Computer Science и Software Engineering. С первых дней столкнулся с серьезной проблемой — жуткий уровень жульничества среди студентов. Cheating здесь, к сожалению, норма жизни — начиная со школы, заканчивая правительством.

Дабы облегчить жизнь себе и коллегам (и несколько усложнить студентам), написал софт, который можно скачать вот здесь:
http://siberiasoft.info/
Там же есть и документация. Предназначено для преподавателей/ученых и т.д. Искать может либо по локальной БД документов, либо по Интернету.

Поставляется в двух вариантах — облегченная версия (без SQL Server Express), и полная (с SQL Server Express соответственно). Если у вас уже есть SQL Server, и вы знаете как там чего, качайте облегченную версию.

PS Всем приславшим критичный баг — лицензия в подарок! :)

PPS На всякий случай — достаточно ресурсоемкая система, в качестве хранилища используется MS SQL Express 2005, может отжирать довольно много памяти, но потом вернет, обещал по-крайней мере.

Использование веб-служб в Microsoft SQL Server Integration Services

Sun, 29 Mar 2009 13:28:05 GMT

Использование веб-служб в Microsoft SQL Server Integration Services на примере получения курсов валют с сайта ЦБ РФ

Сайт ЦБ РФ предоставляет в виде веб-служб различную полезную информацию, которая может пригодиться в ваших информационных системах. Список веб-служб можно найти по адресу http://www.cbr.ru/DailyInfoWebServ/DailyInfo.asmx.

В этой статье мы рассмотрим использование служб интеграции Microsoft SQL Server для периодического получения курсов валют.

Для начала, откройте Microsoft SQL Server Management Studio и создайте базу данных и таблицу, в которую будут помещаться курсы валют:

[code lang=sql]

create database Currencies

use Currencies

create table dbo.currency_rate (

rate_date datetime not null

, rate money not null

, currency_code char(3) not null

, constraint pk_currency_rate primary key clustered

(

rate_date asc

, currency_code asc

)

[/code]
Далее, откройте Microsoft Business Intelligence Development Studio и создайте новый проект Integration Services:

Далее необходимо создать и настроить задачу веб-службы. Но сначала давайте создадим переменную, которая будет содержать дату, на которую необходимо получить курсы валют. Для этого откройте окно Variables (View- >Other Windows- >Variable) и создайте переменную с названием ImportStartDate. Измените ее тип на DateTime и введите дату, на которую требуется получить курс в формате месяц/день/год (для получения курсов на первое января 2009 года введите 01/30/2009).

Теперь давайте создадим задачу веб-службы. Вернитесь на вкладку Control Flow и перетащите с панели инструментов задачу под названием Web Service Task. Далее нажмите на задаче правую кнопку и выберите Edit… из появившегося меню:

На этом этапе необходимо настроить несколько свойств задачи – соединение (HttpConnection) и файл описания веб-службы (WSDLFile). Выберите свойство HttpConnection и создайте новое Http-соединение (< New connection… >). В появившемся окне введите адрес службы – http://www.cbr.ru/DailyInfoWebServ/DailyInfo.asmx?WSDL. Если в вашей сети для доступа в Интернет используется proxy-сервер, заполните информацию о нем на вкладке Proxy.

Теперь необходимо настроить файл описания веб-службы (WSDL File). В поле WSDLFile введите путь, куда будет сохранен файл, и нажмите конпку Download WSDL:

Дождитесь окончания загрузки и перейдите на вкладку Input. На этой вкладке в свойстве Service выберите DailyInfo, в свойстве Method – GetCursOnDateXML. Для параметра On_date метода веб-службы установите флажок Variable и в поле Value выберите переменную ImportStartDate.

Далее перейдите на вкладку Output и настройте вывод информации, получаемой от веб-службы. Результаты работы веб-службы можно направить в файл или в переменную. Мы будем использовать файл, так что оставьте свойство OutputType равным File Connection, щелкните на поле File и создайте новое соединение. В появившемся диалоговом окне измените значение Usage type на Create file (таким образом файл будет пересоздаваться при каждой загрузке), и в поле File укажите путь к файлу с результатами работы службы.

Итак, служба настроена, давайте проверим ее работоспособность и сгенерируем XML-файл с курсами валют. Для этого нажмите правую кнопку на значке службы и выберите Execute Task из появившегося меню. Если все было сделано правильно, по указанному вами пути будет создан файл с курсами валют. Прежде чем продолжить, убедитесь, что он создался.

Теперь необходимо загрузить результаты ее работы (XML-файл) в базу данных. Для этого перетащите с панели инструментов в область задач задачу Data Flow Task и соедините задачу Web Service с этой задачей (для этого щелкните на значке задачи и перетащите зеленую стрелку).

После этого перейдите на вкладку Data Flow. Так как результаты работы веб-службы представлены в виде XML-файла, источником данных будет XML Source. Перетащите этот элемент с панели инструментом в область задачи, нажмите правую кнопку на значке задачи и выберите Edit… из появившегося меню. В поле XML Location введите путь к файлу, созданному задачей веб-службы. Так как схемы документа у нас нет, нажмите кнопку Generate XSD…, чтобы сгенерировать ее:

Перейдите на вкладку Columns, чтобы убедиться, что данные были правильно распознаны. Из этого источника данных нам требуется всего два столбца – Vcurs (курс валюты) и VchCode (код валюты). Отметьте только два эти столбца.

Следующая задача – преобразовать типы данных столбцов из XML-файл к типам данных столбцов в базе данных. Для этого используется задача Data Conversion. Перетащите ее на поверхность Data Flow и соедините зеленой стрелкой с источником XML Source:

Нажмите правую кнопку на задаче Data Conversion и выберите Edit… В появившемся окне отметьте оба столбца и измените их определения как показано на следующем рисунке (не забудьте изменить кодовую страницу для столбца VchCode на 1251):

Теперь к получившемуся набору данных требуется добавить еще один столбец – дата курса. Для этого используется задача Derived Column, перетащите ее на поверхность Data Flow и соедините с задачей Data Conversion. Нажмите правую кнопку на задаче Data Conversion и выберите Edit… Настройте столбцы, как показано на следующем рисунке:

Здесь мы добавили новый столбец rate_date, значение которого получается из переменной ImportStartDate, остальные столбцы просто переписываются без изменений.

Теперь можно направить результаты в базу данных SQL Server. Для этого поместите приемник SQL Server Destination и соедините его с задачей Derived Column. Нажмите правую кнопку на SQL Server Destination и выберите Edit… В появившемся окне необходимо настроить соединение с SQL Server, для этого нажмите кнопку New… рядом с полем OLE DB connection manager. Создайте новое соединение (снова нажмите кнопку New…). После создания соединения в поле Use a table or view выберите таблицу dbo.currency_rate:

Перейдите на вкладку Mappings для создания сопоставления столбцов задачи и столбцов таблицы на сервере. Нажмите OK. Получившийся поток данных должен выглядеть как показано на следующем рисунке:

Теперь можно запустить пакет на выполнение (Debug- >Start Debugging или нажав F5), и после завершения выполнения в таблице dbo.currency_rate должны появиться курсы валют на указанную вами дату. Откройте SQL Server Management Studio, найдите таблицу dbo.currency_rate, и убедитесь, что данные были получены.

Но это еще не все – теперь у нас есть пакет, получающий курсы на определенную дату. Но мы ведь не хотим вручную каждый день исправлять значение даты? Давайте посмотрим, как получить данные за произвольный период и как настроить пакет на ежедневное получение курсов.

Для этого, во-первых, нам потребуется еще одна таблица в базе данных Currencies, которая будет содержать дату последнего импорта. Создайте таблицу, используя следующий сценарий:

[code lang=sql]

USE Currencies

create table dbo.config(

param_name nvarchar (64) not null

, param_value sql_variant not null,

constraint pk_config primary key clustered

(

param_name asc

)

insert into dbo.config (

param_name

, param_value

)

values (

'last_import_date'

, '20061231'

)

[/code]
В данном случае мы импортируем данные с 1 января 2007 года по сегодняшнюю дату.

Вернитесь в Business Intelligence Development Studio и переключитесь на вкладку Control Flow. Следующая наша задача – получить из базы данных значение даты последнего импорта. Для этого используется задача Execute SQL Task. Перетащите ее на поверхность пакета, нажмите правую кнопку и выберите Edit… Измените свойство Name на Get last import date, ResultSet на Single row, в свойстве Connection выберите соединение с БД Currencies, и в SQLStatement введите следующий код:

[code lang=sql]

select cast(param_value as datetime) as param_value

from dbo.config

where param_name = 'last_import_date'

[/code]
Перейдите на вкладку Result Set, нажмите кнопку Add, и измените название столбца результата на param_value:

Следующая задача – организовать цикл с последней даты импорта до текущей даты. Для этого в SSIS используется контейнер For Loop. Перетащите его в область задач. Одновременно выделите задачи Web Service Task и Data Flow Task, и переместите их в контейнер For Loop. Соедините задачу Get last import date и цикл.

Теперь необходимо настроить параметры цикла. Нажмите правую кнопку на контейнере и выберите Edit…

В этом окне вы можете видеть несколько параметров, вероятно, знакомых вам по циклу for в различных языкам программирования – C/C++, C#, Java.

Свойство InitExpression содержит выражение для инициализации, это выражение будет вычислено при старте цикла. Введите в это поле следующий код:

@ImportStartDate = DateAdd("day", 1, @ImportStartDate)

Здесь мы просто добавляем один день к дате последнего импорта.

Выражение EvalExpression управляет выполнением цикла, пока это выражение имеет значение true, цикл будет выполняться. В это поле введите следующий код:

@ImportStartDate < = DateAdd("day", datediff("day", (DT_DATE)"1900-01-01", GETDATE()), (DT_DATE)"1900-01-01")

Это длинное выражение необходимо для сравнения текущей даты без временной составляющей и даты импорта.

Выражение AssignExpression изменяет управляющую переменную цикла, в это поле введите следующий код:

@ImportStartDate = DateAdd("day", 1, @ImportStartDate)

Итак, при первом запуске этот цикл получит данные, начиная с LastImportDate до текущей даты.

Теперь нам осталось изменить значение даты последнего импорта в базе данных. Для этого мы снова используем Execute SQL Task. Добавьте эту задачу в цикл и соедините ее с Data Flow Task. Нажмите правую кнопку на задаче и выберите Edit… Переименуйте задачу в Change last import date. В поле Connection выберите подключение к базе данных Currencies. В поле SQLStatement введите следующий код:

[code lang=sql]

UPDATE config

SET param_value = ?

WHERE (param_name = 'last_import_date')

[/code]
Перейдите на закладку Parameter Mapping и добавьте соответствие значения параметра и переменной LastImportDate – в поле Variable Name выберите User::ImportStartDate, измените тип данных на DATE, в поле Parameter Name введите 0 – это номер параметра в операторе UPDATE.

Запустите пакет на выполнение. Если все было сделано правильно, в таблице dbo.currency_rate должны начать появляться данные.

И последняя задача – автоматизировать запуск пакета. Для этого можно использовать задания SQL Server Agent. Запустите Microsoft SQL Server Management Studio, раскройте узел сервера, найдите узел SQL Server Agent. Далее нажмите правую кнопку на узле Jobs и выберите New job… На первой странице введите название задачи – Import currencies и перейдите на страницу Steps. Нажмите кнопку New… внизу страницы, чтобы создать новый шаг. Введите название шага – Import и в списке Type выберите SQL Server Integration Services Package. Выберите расположение пакета – в поле Package source укажите File system и в поле Package внизу страницы введите путь к пакету:

Нажмите OK и перейдите на страницу Schedules. Здесь вы можете настроить расписание запуска пакета. Вот теперь – все, можете расслабиться и наслаждаться плодами своего труда.

PS Ах да, не забудьте настроить обработку ошибок.

Влад А. Щербинин,

29 марта 2009 г., Йола, Нигерия

Quick test data generation

Sun, 04 May 2008 08:27:59 GMT

When you need to quickly generate a large set of test data, it is very handy to use a trick with newid() function and master.sys.objects (master..sysobjects) table.

For example:
[code lang=sql]
insert into dbo.test (
   amount
  , order_date)
select  top 100000
   abs(checksum(newid())) % 20 /* random number 0..19*/
  , dateadd(dd, abs(checksum(newid())) % 365, '20000101') /* random date within year 2000*/
from master.sys.objects s1, master.sys.objects s2, master.sys.objects s3
[/code]

Yet another myth about clustered indexes in MS SQL

Sun, 04 May 2008 04:21:02 GMT

There are many myths about clustered index. One of them is that when clustered index exists on the table, the database engine doesn't use IAM pages anymore to retrieve data, it uses doubly-linked list of pages. Also one of my favorite authors — Khen Henderson mentioned that. This is just partially true. I found that in the read uncommitted isolation level, SQL Server still uses IAM to retrieve data.

Here is the repro:
(MS SQL 2k)
[code lang=sql]
create database test
go
use test
go
drop table dbo.test
go
create table dbo.test (
i int primary key clustered identity(1, 1),
d int
)
go
insert into dbo.test (d)
select top 100000 checksum(newid()) from master..sysobjects s1, master..sysobjects s2, master..sysobjects s3
go

select * from dbo.test with(readuncommitted)[/code]
The execution plan shows clustered index scan, the result is:
3328 —1892742514
3329 —1303737718
3330 —1030174007
3331 —157548677
3332 1160183127
98533 —1095189775
98534 —1661674379
98535 —1640363165
98536 —1313858725
98537 —271346219

select * from dbo.test
Clustered index scan, the result is :
3328 —1892742514
3329 —1303737718
3330 —1030174007
3331 —157548677
3332 1160183127
3333 —1669536656
3334 —327094669
3335 —1424229963
3336 —923814371
3337 655524158

Why so? Why we've got unsorted result in the first case (I know about ordering guaranties and so on, I'm speaking about a different thing)? Let's go more deeply.

[code lang=sql]dbcc traceon(3604)
go
declare @db_id int, @tbl_id int
select @db_id = db_id('test'), @tbl_id = object_id('test')
dbcc tab (@db_id, @tbl_id)[/code]
PageFID PagePID IAMFID IAMPID ObjectID IndexID PageType IndexLevel NextPageFID NextPagePID PrevPageFID PrevPagePID
---- ------ --- ------ ------ ---- ---- ----- ------ ------ ------ ------
1 25 NULL NULL 2073058421 1 10 0 0 0 0 0
1 15 1 25 2073058421 1 2 0 0 0 0 0
1 28 1 25 2073058421 0 1 0 1 29 0 0
1 29 1 25 2073058421 0 1 0 1 30 1 28
1 30 1 25 2073058421 0 1 0 1 31 1 29
1 31 1 25 2073058421 0 1 0 1 33 1 30
1 33 1 25 2073058421 0 1 0 1 34 1 31
1 34 1 25 2073058421 0 1 0 1 35 1 33
1 35 1 25 2073058421 0 1 0 1 1704 1 34
1 1616 1 25 2073058421 0 1 0 1 1617 1 1631
1 1617 1 25 2073058421 0 1 0 1 1618 1 1616
1 1618 1 25 2073058421 0 1 0 1 1619 1 1617

Let's examine the page 1616:
[code lang=sql]dbcc page('test', 1, 1616, 3)[/code]
Slot 0 Offset 0x60
-----
Record Type = PRIMARY_RECORD
Record Attributes = NULL_BITMAP
6B906060: 000c0010 000180e5 beb8baf1 000002 ……………
i = 98533
d = -1095189775

It is here! So, as you see, the database engine still uses IAM to retrieve data like in the case of a heap. One more reason to always use ORDER BY clause.

Bug in MS SQL 2k in the backup/restore subsystem

Sun, 04 May 2008 04:14:30 GMT

During testing of SP4 for MS SQL 2k I've found the bug in such critical place as backup/restore subsystem — if you put a database into readonly mode and then backup up the log, you'll be unable to restore this log at some point of time or savepoint — database will come into 'suspected' state. This bug also exists in the previous versions of MS SQL 2k. It is not fixed yet. Guys from MS let me to share this info.

So, here is the repro (don't run it if you already have a database named 'x'!!!):
set nocount on
go
drop database x
create database x
go
backup database x to disk='c:\x.bak' with format
use x
create table t1 (id int,c1 char(4100))
go
declare @id int
select @id = 1
while @id < = 100
begin
insert into t1 values (@id,'junk')
select @id = @id + 1
end
go
backup log x to disk='c:\x.log.bak' with format
go
declare @id int
select @id = 1
while @id < = 100
begin
insert into t1 values (@id,'junk')
select @id = @id + 1
end
go
begin tran deltran with mark
delete from t1
commit
go
alter database x set read_only
go
backup log x to disk='c:\x.log.bak' with no_truncate
go
use master
go
drop database x
go
restore database x from disk='c:\x.bak' with norecovery
restore log x from disk='c:\x.log.bak' with norecovery
go
restore log x from disk='c:\x.log.bak' with file=2,recovery,stopbeforemark='deltran'
go
dbcc checkdb ('x') with no_infomsgs
go
select count(*) from x..t1
go
select * from x..t1
go

TOP 10 Things I Hate About SQL Server

Sun, 04 May 2008 03:59:59 GMT

Перевод статьи: http://weblogs.sqlteam.com/jeffs/archive/2005/05/24/5248.aspx
Букам без чувства юмора не читать!

10 наиболее веских причин, почему я ненавижу SQL Server!

1. SQL слишком сложный!
Если у меня есть множество значений в моих столбцах, например «ЯНВАРЬ, ФЕВРАЛЬ, МАРТ» или «15,84,22» , это не волнует SQL Server. Практически невозможно писать операторы SQL для таких таблиц! Если я захочу получить хотя бы какие-нибудь данные, придется написать оператор SELECT из 500 строк!! За каким? И к тому же понадобится божественное вмешательство, чтобы удалить какое-нибудь значение из этих списков. Зачем MS настолько все усложняет?

2. Преобразования типов данных!
Что за фигня с преобразованием данных? Я просто использую VARCHAR для всего, так как это единственный способ избежать тупых сообщений об ошибках при добавлении данных в мои таблицы. Работает отлично, пока мне не требуется получить месяц из даты или сложить два числа — тупой SQL Server заставляет меня сначала использовать функцию convert() для преобразования значений. Что за тупизм? SQL не знает как сложить «12» и «5» - он считает, что получится «125» !!!! И чтобы все еще ухудшить, в половине случаев SQL Server выдает мне ошибки, которые говорят, что он НЕ МОЖЕТ ВЫПОЛНИТЬ ПРЕОБРАЗОВАНИЕ! Блин, если бы я был компьютером, я бы смог до этого допереть.

3. Ёпрст, что с форматированием?
Все мы с этим сталкивались: хочу выровнять по правому краю столбец в своем SELECT'е — этого нельзя сделать, не вспотев! Ни говоря уже о том, чтобы отцентрировать, сделать отступы, вставить номера страниц, или что типа того. К тому же, сплошное мученье — отформатировать даты или округлить числа как я хочу. Я с трудом могу создать нормально выглядящий отчет в Query Analyzer, он выглядит как древние файлы MS-DOS! Может пора уже перейти в 21-й век, и включить какую-нибудь поддержку графики, цвета и шрифтов, эй вы, там, в Microsoft?

4. А что с сортировкой?
В половине случаев мои записи возвращаются БЕСПОРЯДОЧНО! Да, да, они вообще не отсортированы! Это бред. SQL Server должен понимать, что все должно быть отсортировано по имени/фамилии или по дате, без всякого напоминания! Компьютеры вроде бы умные, так ведь? Мои пользователи ненавидят это, потому что им сложно ориентироваться в своих отчетах. Если они жалуются, я просто говорю им, «Блин, если бы вы не были такими скупыми, и у нас был бы Oracle, нам не пришлось бы возиться с этой «особенностью» Microsoft!«И чтобы все еще ухудшить, когда я пытаюсь отсортировать, SQL Server считает, что «Декабрь» идет перед «Январем», или, что «10» меньше «2»! Блин, господин Гейтс, уже не удивляет, что вы никогда не выпускаете свои продукты в срок, так еще и ваши парни не в курсе, как работает календарь!

5. Оператор IN() вообще никогда не работает!
Это меня бесит. Конструкция IN (@Var) никогда не работает правильно! Я никогда не получаю то, что я хочу, даже если @Var точно содержит нормальный список идентификаторов. И вы даже не получите сообщение об ошибке!

6. Ограничения внешних ключей!
По каким-то причинам, в SQL вы можете обновлять или добавлять записи только в одну таблицу за раз! Я могу написать свои обычные FULL OUTER JOIN'ы и сдуреть от SELECT'а, который выполняется весь день, но что на счет того чтобы эта штука работала в UPDATE'ах и INSERT'ах!? Как по-другому сделать ссылочную целостность? Если запись в таблице A должна соответствовать записи в таблице B, то как, черт возьми, мне их запихнуть туда одновременно? По-моему это очень глупо.

7. Первичные ключи не работают!
Я дурею от этого. У меня есть первичный ключ identity под названием «ID» у каждой таблицы, но я все равно получаю дублирующиеся данные! Я должен иметь 20 разных записей для Бобруйска в моей таблице «tblStatesTable»! Тогда в чем смысл первичных ключей? Я надеюсь в следующем сервис-паке это будет исправлено.

8. S-Q-L — Т-О-Р-М-О-З!!!
Почему SQL такой медленный? Например, чтобы найти все данные в моей таблице для Января, я использую
WHERE LTRIM(tblTable.tblTable_colMonthList) LIKE '%Янв%'
Довольно стандартная конструкция. Но она выполняется ВЕЧНО! А столбец индексирован!! Эй, вы, там, в Micro-тормозе, вообще-то индексы нужны для ускорения!

9. Загадочные сообщения об ошибках!
Значит, я пытаюсь добавить данные в таблицу, и вот что получаю:
INSERT statement conflicted with COLUMN FOREIGN KEY constraint 'FK_Order_Details_Orders'. The conflict occurred in database 'Northwind', table 'Orders', column 'OrderID'. The statement has been terminated.
Или я пытаюсь написать простой GROUP BY, и получаю вот что:
Column 'orders.OrderID' is invalid in the select list because it is not contained in either an aggregate function or the GROUP BY clause.
Или иногда я делаю обалденные динамические запросы, но они, похоже, не работают, и я получаю:
You are not allowed to truncate the system table 'master..sysobjects'.
Ээээй? Может расскажете, что не так, вместо того, чтобы писать длинные непонятные сообщения на языке мумбо-юмбо. Господин, Билл Гейтс, может, стоит потратить немного баксов на то, чтобы в SQL Server не было багов, вместо того, чтобы писать все эти дурацкие сообщения об ошибках! У кого есть время на то, чтобы вникать в эту чушь?

10. Ссылки на таблицы и столбцы!
Это вообще бред. Значит, у нас есть умные компьютеры, так? И у нас есть что-то под названием «переменные», так? В этих переменных мы можем хранить все что угодно, даже названия столбцов и таблиц. Но вот это вообще не работает:
Select @TableName.@ColumnName from @TableName
И мне понятно, и вам понятно, я не пойму, почему это не понятно SQL Server'у! Как получить данные из таблицы 'tblCustomerNumber0121' вместо таблицы 'tblCustomerNumber0122', или получить данные из столбца 'Янв2005', если я не могу использовать переменные в такой конструкции!? Это надо делать хард-кодом!? Как, черт возьми, я должен писать отчеты с пользовательскими параметрами, если я ограничен заранее определенными названиями таблиц и столбцов!? Ну же, Micro-тупость, что на счет ДЕЙСТВИТЕЛЬНО НУЖНЫХ вещей для программирования в T-SQL, например ПОЛНОЙ поддержки переменных! К тому же на, самом деле, очень тяжело добавлять новые данные в таблицы. INSERT? Он никогда не работал! INSERT не может даже добавить новый столбец в таблицу! Как предполагается добавлять данные для нового месяца, если у меня вообще еще нет этого столбца? Может это, наконец, сделают в SQL Server 2005.