AWS 将 DuckDB 集成进 Aurora PostgreSQL，无需 ETL 即可直读数据湖

Amazon Web Services（AWS）は、Amazon Aurora PostgreSQLにDuckDBを統合し、Apache Icebergなどで構築したデータレイクのデータを直接読み取って処理できるようになったことを発表しました。

これまでPostgreSQLにデータレイクのデータを読み込ませるにはETLによる変換処理などが必要でしたが、DuckDBとの統合によりETLが不要となりました。

この発表について、AWSの前CEOで現在Amazon.com CEOであるAndy Jassy氏が長文のコメントをX/Twitterに投稿しており、彼自身が非常にエキサイトしていることが伝わってきます。

A painful part of working with your data has always been that your live data and historical data are stuck in separate systems: the order a customer just placed lives in your database, while their last five years of orders sit in a data lake in S3.

And answering a real question usually needs both at once (is this a normal purchase for them, or should we flag it?), and to do that you had to move the data together first, copying history out of the data lake into your database (or the other way around), because the database couldn’t read it where it lived.

That meant guessing ahead of time which data you’d want, keeping a second copy of it all, building pipelines to move it, and constantly syncing so the two didn’t drift apart. A lot of plumbing, and slow going, all before you could answer one question. And even then, the answers were only as fresh as your last sync.

That now changes with Aurora PostgreSQL, which can call your live data and historical data in S3 together, in a single query. No copying, no pipelines to keep in sync.

And it’s fast, because we’ve built in DuckDB, a popular open source engine that’s really good at reading and analyzing data right where it’s stored. DuckDB reads the open formats like Parquet and Iceberg already sitting in your data lake, so there’s nothing to convert or move.

As folks build AI agents into their apps, the data their agent needs will depend on the task in front of it. Being able to query that specific data live, instead of copying it over just in case, is gonna be a big help for builders. https://t.co/R8h2Hcp1K7

DuckDBは小型で高速なOLAPエンジン

Amazon Aurora PostgreSQLに統合されたDuckDBは、SQLiteのようにアプリケーションに組み込んで利用することができる小型で高速なOLAP処理を実現するデータベースソフトウェアです。

並列実行が可能なカラム型エンジンを搭載しており、独自のデータベースファイルに加えて、CSV、Parquet、JSON形式のデータの読み書きも可能です。

特にParquet形式のデータは大規模データを扱うデータレイクでよく使われています。Amazon S3のようなスケーラブルなデータストア上にParquet形式で大規模データを保存することがデータレイクの代表的な実装例の1つです。

今回、Amazon Aurora PostgreSQLでこのデータレイク形式のデータを直接読み込んで分析などの処理が行えるようになることで、これまでETLで生じていたデータのコピーや変換、それにかかる手間や時間などが不要となります。

これによりAWS上でのデータレイクの構築とデータ分析が一層便利になると言えるでしょう。

DuckDBはAWS傘下になったばかり

DuckDBの開発元であるDuckLabsは、今年9月にAWSの子会社となっています。

参考：DuckDBの開発元であるDuckLabsがAWS子会社になると発表。DuckDBはオープンソースのMITライセンスを維持

今回のAmazon Aurora PostgreSQLの新機能は、この子会社化の効果が早速発揮されたことになります。

あわせて読みたい

AWS PostgreSQL RDB クラウド データベース OLAP

IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。

（詳しいプロフィール）

Publickeyの新着情報をチェックしませんか？

Windows上でAIエージェントの実行を安全に隔離する「Microsoft Execution Containers」（MXC）正式リリース。ファイルやネットワークなどの境界を柔軟にカスタマイズ; Webアプリフレームワークの「SvelteKit 3」正式リリース。設定をViteに集約、型安全やエラー処理の改善など; 「情シスって楽しい」がテーマ。チームみらい安野党首、ひろゆき氏、OpenID Foundation崎村氏らが登壇。BTCONJP 2026［PR］; Deno開発元がCloudflareに合流。Denoの開発は終了へ、今後はCloudflare WorkersとDurable Objectsのオープンソース実装に注力; さくらインターネット、GPU専有によりトークン消費量を気にせず定額で利用できる「さくらのAI Engineプライベートエディション」提供開始を発表; AWS、DuckDBをAurora PostgreSQLに統合。ETL不要で直接データレイクを読み取り可能にしたと発表; マイクロソフト、VS CodeにAIモデルのオーケストレーションで高品質低コストなAIを実現する「HydraFusion」をプレビュー実装; FDE（フォワードデプロイドエンジニアリング）によって開発されたAIエージェントの7割は使われず、FDEの名前で単なるコンサルティングが販売されるようになる危険が高まるとガートナーが予測; Cloudflare ContainersがAIエージェント向けに刷新。起動が6倍速、ファイルシステムのスナップショット機能など; Google、サンドボックス型コンテナランタイムの「gVisor」をCNCFに寄贈したと発表

Publickeyについて／運営者について; お問い合わせ; 広告について; プライバシーポリシー; 読者が安心して記事を読めるようにするための取り組みについて