SQL Server 2022: Parquet-Dateien direkt aus der Datenbank erstellen

SQL Server 2022 bringt eine spannende Funktion mit sich: Parquet-Dateien direkt aus der Datenbank heraus erstellen und in Azure Blob Storage speichern. Diese Möglichkeit eröffnet neue Wege für Datenintegration, Archivierung und Analytics-Workflows. In diesem Beitrag erkläre ich dir, warum das nützlich ist, wie es funktioniert und was du dabei beachten solltest.

Warum Parquet-Dateien aus SQL Server exportieren?

Die Speicherung von Daten als Parquet-Dateien bringt mehrere Vorteile:

• Optimierte Performance für analytische Workloads (Spaltenbasiertes Format)
• Platzsparend durch effektive Kompression
• Direkte Integration in moderne Big-Data- und Analytics-Umgebungen (Azure Synapse, Databricks, Spark, etc.)
• Archivierung historischer Daten, um die operative Datenbank zu entlasten

Typische Anwendungsfälle:

• Daten für Analytics-Teams bereitstellen, ohne aufwändige ETL-Prozesse.
• Alte, wenig genutzte Daten auslagern, um die Primärdatenbank schlank zu halten.
• Datenvirtualisierung nutzen, um externe Datenquellen einfach in SQL Server zu integrieren.

So funktioniert es: Die Schritte im Überblick

Damit du Parquet-Dateien aus SQL Server 2022 direkt in Azure Blob Storage speichern kannst, sind folgende Schritte nötig:

1. Master Key für Sicherheitskonfiguration erstellen

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'DeinSicheresPasswort@2025';

Warum? SQL Server benötigt einen Master Key, um Verbindungen zu externen Ressourcen sicher zu speichern.

2. Datenquelle für Azure Blob Storage einrichten

CREATE DATABASE SCOPED CREDENTIAL AzureBlobCredential
WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
SECRET = 'Dein_SAS_Token';

Tipp: Das Shared Access Signature (SAS) Token kannst du in Azure generieren. Es regelt, welche Rechte SQL Server auf den Blob Storage hat.

CREATE EXTERNAL DATA SOURCE AzureBlobStorage
WITH (TYPE = BLOB_STORAGE, LOCATION = 'https://deinaccount.blob.core.windows.net/deincontainer',
CREDENTIAL = AzureBlobCredential);

3. Parquet-Dateiformat definieren

CREATE EXTERNAL FILE FORMAT ParquetFormat
WITH (FORMAT_TYPE = PARQUET);

Warum? Damit SQL Server weiß, dass es sich um eine Parquet-Datei handelt.

4. Externe Tabelle erstellen und Daten exportieren

CREATE EXTERNAL TABLE CustomerTransactions (
	[CustomerTransactionID] [int] NOT NULL,
	[CustomerID] [int] NOT NULL,
	[TransactionTypeID] [int] NOT NULL,
	[InvoiceID] [int] NULL,
	[PaymentMethodID] [int] NULL,
	[TransactionDate] [date] NOT NULL,
	[AmountExcludingTax] [decimal](18, 2) NOT NULL,
	[TaxAmount] [decimal](18, 2) NOT NULL,
	[TransactionAmount] [decimal](18, 2) NOT NULL,
	[OutstandingBalance] [decimal](18, 2) NOT NULL,
	[FinalizationDate] [date] NULL,
	[IsFinalized]  AS (case when [FinalizationDate] IS NULL then CONVERT([bit],(0)) else CONVERT([bit],(1)) end) PERSISTED,
	[LastEditedBy] [int] NOT NULL,
	[LastEditedWhen] [datetime2](7) NOT NULL
)
WITH ( LOCATION = 'customer_transactions\',
    DATA_SOURCE = AzureBlobStorage,
    FILE_FORMAT = ParquetFormat
) SELECT * FROM Sales.CustomerTransactions;

Ergebnis: Die Daten aus der SQL-Tabelle werden als Parquet-Datei in Azure gespeichert und gleichzeitig als externe Tabelle in SQL Server verfügbar gemacht!

Automatisierung: Täglicher Export von Transaktionen

Falls du regelmäßig Daten exportieren willst (z. B. tägliche Transaktionsdaten), kannst du das mit dynamischem SQL lösen:

DECLARE @date VARCHAR(10) = FORMAT(GETDATE(), 'yyyyMMdd');
DECLARE @sql NVARCHAR(MAX);
SET @sql = 'CREATE EXTERNAL TABLE CustomerTransactions_' + @date + '
WITH (LOCATION = ''transactions/' + @date + ''',
DATA_SOURCE = AzureBlobStorage,
FILE_FORMAT = ParquetFormat)
AS SELECT * FROM Sales.CustomerTransactions WHERE TransactionDate = ''' + @date + ''';';
EXEC sp_executesql @sql;

Ergebnis: Jeden Tag wird automatisch eine neue Parquet-Datei mit den Tagesdaten erstellt.

Fazit: SQL Server 2022 + Parquet = Mehr Flexibilität!

Mit SQL Server 2022 kannst du Parquet-Dateien direkt aus der Datenbank erzeugen und sie in Azure speichern. Das eröffnet neue Möglichkeiten für Analytics, Archivierung und Datenvirtualisierung.

Zusammenfassung:

• Daten in ein effizientes, spaltenbasiertes Format überführen
• Azure Blob Storage als günstige und skalierbare Ablage nutzen
• Externe Tabellen für schnellen Zugriff auf exportierte Daten erstellen
• Automatisierung für regelmäßige Exporte möglich

📌 Falls du SQL Server 2022 nutzt und dich fragst, ob sich dieses Feature für dich lohnt – probier es aus! Hast du Fragen oder eigene Erfahrungen damit? Schreib es in die Kommentare! 😊

Björn Peters

Björn arbeitet auch weiterhin aus Griechenland als Senior Consultant – Microsoft Data Platform und Cloud für die Kramer&Crew in Köln. Auch der Community bleibt er aus der neuen Heimat treu, er engagiert sich auf Data Saturdays oder in unterschiedlichen Foren. Er interessiert sich neben den Themen rund um den SQL Server, Powershell und Azure SQL für Science-Fiction, Backen 😉 und Radfahren.