ボーダーレス Lakehouse の進化
このたび、Gemini との新しいネイティブ連携に加えて、ボーダーレス Lakehouse でデータ基盤を強化するために今年初めに導入したいくつかの機能の一般提供が開始されたことをお知らせします。
AWS および Azure 向けの Cross-Cloud Interconnect とクロスクラウド キャッシュのサポート
BigQuery での Apache Iceberg V3 仕様のサポート
BigQuery と Managed Service for Apache Spark の両方における Apache Iceberg テーブルの読み取り / 書き込みの相互運用性
Lakehouse ランタイム連携を使用した、AWS Glue、Databricks Unity Catalog、Snowflake Horizon カタログとの双方向キャッシュ
Knowledge Catalog とのインテグレーション
Salesforce、SAP、Workday、そして新たに Confluent Tableflow とのゼロコピー データ統合
Dataflow を使用した Lakehouse コンソール経由での Databricks Delta Lake アセットの同期
では、詳しく見ていきましょう。
ペタバイト規模のパフォーマンスと推論
エージェントのコンテキスト ウィンドウは通常、一度に取り込めるデータ量が数百キロバイトに制限されていますが、エンタープライズ ワークフローでは、複数のクラウドにわたりペタバイト規模のデータを結合することがあります。製品データや顧客データといったさまざまなソースのデータを、CRM クラウドやウェアハウスのテレメトリーと結合する必要があるエージェント ネイティブなデータ プラットフォームは、大規模なデータ処理が可能でなければなりません。MCP を使用してこれを行う場合、コンテキスト ウィンドウとペイロード サイズの制約により、処理の規模がメガバイト単位に制限されます。ボーダーレス Lakehouse は、データと AI スタックをあらゆるレイヤで連携させることで、エンタープライズ グレードのスケーラビリティを提供します。これにより、エージェントはペタバイト規模のデータをローカルに保存されている場合と同様のパフォーマンスで推論できます。
ネットワーキング レイヤでは、Cross-Cloud Interconnect とクロスクラウド キャッシュにより、AWS と Azure への高スループット、低レイテンシのパスが提供され、変動する外向きデータ送信料金が不要になります。エージェントが Amazon や Azure Data Lake Storage の Iceberg テーブルを BigQuery のデータと結合すると、スキャンするキャッシュ保存されていないバイトがすべてクラウドの境界を越えるため、ネットワークにより処理速度が決まります。Cross-Cloud Interconnect は、Google Cloud と AWS または Azure の間に、1 接続あたり 10 Gbps または 100 Gbps の専用プライベート接続を Lakehouse に提供します。Lakehouse のクエリは、パブリック インターネットではなく、この接続を介して送信されるため、低レイテンシの予測可能な状態が維持されます。また、クロスクラウド キャッシュは、Google Cloud 内から繰り返し行われる読み取り処理に対応するため、エージェントは他のクラウドのデータを移行することなく直接クエリできます。
ボーダーレス Lakehouse には、Iceberg メタデータをクエリエンジンに統合するための重要な最適化がいくつか盛り込まれています。BigQuery で、バイナリ削除ベクトルや並べ替え順など、Apache Iceberg V3 仕様がサポートされるようになりました。これらの機能により、データファイル全体を書き換える必要がなくなるため、エンジンは行レベルの更新や削除をより効率的に処理できるようになります。また、BigQuery の実行エンジンをアップグレードし、新しい FlatBuffers ベースの Parquet リーダーと並列化された I/O を導入しました。これにより、CPU オーバーヘッドやシリアル化によるボトルネックを軽減し、オープン フォーマットとネイティブ ストレージのパフォーマンスの差を縮めました。
これは、エージェントのワークロードをサポートするように設計されたクエリ エンジンの最近のパフォーマンス イノベーションに基づいています。エージェントのワークロードは一斉に大量発生することが多く、小規模なクエリを迅速かつ費用対効果の高い方法で処理することが求められます。BigQuery の流動的なスケーリングと履歴ベースの最適化により、Apache Iceberg とのオープン性を維持しながら、スケーラブルかつ効率的なエージェント ワークロードを実行できます。
一方、BigQuery と Managed Service for Apache Spark の両方で Apache Iceberg テーブルの読み取り / 書き込みの相互運用性が確保されているため、すべてのデータチームが Google Cloud Storage 内の同じ Iceberg テーブルを簡単に利用できます。この垂直方向に最適化されたスタックは、BigQuery と Lightning Engine の力を活用してデータを移動することなく有効化し、エージェントの高速化と費用対効果の向上を実現します。Lakehouse の分析能力をさらに拡張するため、BigQuery の Iceberg 向けグラフ機能のサポートにより、サプライ チェーンなどの関係ネットワークをオープン テーブル データセットで直接分析できるようになりました。
エージェント向けの包括的なコンテキストとデータアクセス
AI エージェントの能力は、アクセスできるコンテキストに左右されます。ハルシネーションを防止し、メタデータ レイヤの精度を向上させるために、ボーダーレス Lakehouse は Lakehouse ランタイム カタログを使用してエンタープライズ データを統合します。Apache Iceberg REST カタログをベースに、AWS Glue、Databricks Unity Catalog、Snowflake Horizon Catalog との双方向のカタログ連携を実現します。Lakehouse ランタイム カタログには、新たな標準の Hive Metastore 互換エンドポイントも含まれており、Apache Spark、Trino、Presto などのエンジンがアーキテクチャを変更することなくメタデータを参照できます。
ボーダーレス Lakehouse は、分散したデータアセットを自動的にインデックス化する Knowledge Catalog とも直接連携しており、エージェントがエンタープライズ コーパス全体（Cloud Storage 内の非構造化データを含む）を推論するために必要な、正確なビジネス メタデータとセマンティック定義を提供します。これにより、エージェントはトークン費用を抑えながら、正確性を確保するのに十分なコンテキストを得られるため、インテリジェントで持続可能なエージェント活用戦略を策定できます。
ボーダーレス Lakehouse は、Salesforce、SAP、Workday などの SaaS アプリケーションとのゼロコピー データ統合を実現し、より広範なパートナー エコシステムと連携することにより、Knowledge Catalog を通じてエンタープライズ データをキャプチャし、エージェントのための単一のコンテキスト エンジンとして機能します。このたび Google は、パートナー エコシステムを拡大し、Confluent Tableflow との新たな連携機能の一般提供を開始しました。これにより、Lakehouse ランタイム カタログと同期され、生成された Iceberg テーブルが BigQuery に直接表示されるようになります。コピーや追加の ETL は不要です。
最後に、Databricks 中心のリポジトリを持つ組織は、Lakehouse コンソール経由で Dataflow を使用して、Delta Lake アセットを Lakehouse に簡単にインポート、変換、同期できるようになりました。
モダナイゼーションを容易に
2025 年初頭以降、Apache Iceberg の利用は 3 倍以上に増加しており、Google Cloud のボーダーレス Lakehouse を使用してデータ基盤を構築している企業は、大きな成果を上げています。
Etsy: ボーダーレス Lakehouse を活用して、3 ペタバイトのデータを統合し、データを移動させずに結合することで、パイプライン クエリを 60% 高速化しました。
Commerzbank: 分散している生データを、ガバナンス管理されたエージェントがすぐにアクセスできるデータへと変換しています。
Hightouch: ボーダーレス Lakehouse と直接連携しているため、チームはオープンな Iceberg Lakehouse 上で直接マーケティング活動を強化し、Google Cloud エコシステム全体でそのデータを活用できます。
Roundel: ボーダーレス Lakehouse を活用して Target Product Ads の技術スタックを徹底的にモダナイズし、データの取り込み、処理、測定のパイプラインを完全に再構築しました。
組織でボーダーレス Lakehouse に移行する準備ができているなら、そのプロセスは難しくありません。現在、従来の Dataproc Metastore をご利用中の組織向けに、サーバーレス Lakehouse ランタイム カタログへの自動化されたダウンタイム ゼロの移行パスが用意されています。これにより、既存のスキーマやリネージを維持したまま、ボーダーレス Lakehouse の AI 対応機能を活用できるようになります。その結果、インフラストラクチャの管理から解放され、エージェントの活用に注力できるようになります。
ボーダーレス Lakehouse 構築の Codelab を今すぐお試しください。詳細については、Google のウェブサイトをご覧ください。
– プロダクト マネジメント担当ディレクター、Gaurav Saxena
– エンジニアリング担当ディレクター、Ahmet Altay