Unlock a world of possibilities! Login now and discover the exclusive benefits awaiting you.
本ブログは "Supercharging Qlik Open Lakehouse: Now Streaming, Trusted, Open, and AI-Ready" の翻訳です。
著者：Vijay Raja
本年の AWS re:Invent 2025 において、Qlik Open Lakehouse の次世代機能を発表できたことを大変嬉しく思います。これは大きな飛躍であり、リアルタイムストリーミング取り込み、オンザフライ変換、組み込みのデータ品質とガバナンス、拡張されたエコシステム統合など、待望の機能を実現します。
このリリースにより、Qlik Open Lakehouse は AI、分析、オペレーショナルインテリジェンスのための完全な基盤へと進化します。これまでにない形で、オープン性、パフォーマンス、信頼性を統合します。
ストリーミング取り込み：リアルタイムデータを Iceberg に直接投入
AI 主導の現代において、リアルタイムデータはもはやオプションではなく、基盤となる要素です。
Qlik Open Lakehouse では、データベース、SaaS アプリケーション、SAP、メインフレームなど数百のソースからリアルタイム CDC データとバッチデータを、わずか数クリックで Iceberg テーブルに直接取り込むことが既に可能です。
この度、Apache Iceberg 向け高スループットストリーミング取り込み機能を発表します。これにより組織は、Apache Kafka、Amazon Kinesis、Amazon S3 などのストリーミングソースから毎秒数百万件のイベントを、データウェアハウスを介さずに Qlik Open Lakehouse 経由で直接 Iceberg テーブルに取り込めます。
これにより、Web およびモバイルアプリ、IoT デバイス、ログなどからペタバイト規模のリアルタイムデータを継続的に収集・クエリできるようになり、サイバーセキュリティ分析、IoT監視、予知保全、ライブ AI モデルトレーニングなどのユースケースを実現します。これらすべてを、オープンで柔軟性が高く相互運用可能なプラットフォームで実現します。
また、Qlik Open Lakehouse は設計上、コスト効率にも優れています。自動修復機能を備えたコスト効率の高い Amazon EC2 スポットインスタンスを活用し、取り込みコストを最大 70～90% 削減します。これにより数百万ドル規模のコスト削減が可能です。Qlik Open Lakehouse の取り込みコストとパフォーマンスを比較した最新ベンチマークをご覧ください。
さらに重要なのは、Qlik Open Lakehouse がスキーマの自動進化、ファイルの最適化、障害からの自動復旧を実行するため、ユーザーが手動で対応する必要がない点です。ネストされたスキーマを含む進化するスキーマに自動的に適応し、リアルタイムイベントの一貫性と信頼性の高い処理を保証します。
Amazon Kinesis から Iceberg へのストリーミング取り込みを実演する最新デモを、ここで一部ご紹介します。
https://videos.qlik.com/watch/G2MpJC2Bp3ZZXWivJhHVkS?
ストリーミング変換：データが流れると同時に整形
リアルタイム取り込みは始まりに過ぎません。ストリーミング変換により、複雑な手動バッチジョブを待ったり、データウェアハウスにロードしたりすることなく、データがレイクハウスに流入する過程で、そのデータをクレンジング、結合、再整形できるようになりました。
視覚的でノーコードのインターフェースを通じて、データチームはクリーニング、フィルタリング、標準化、ネスト解除、フラット化、マスキングなどの変換を定義できます。これらすべてがストリーム内で適用され、スキーマの進化は自動的に処理されます。
結果として、数時間や数日ではなく、数分で AI や分析に即対応可能なデータが得られます。
これにより、チームはデータ品質や鮮度の問題を、ソースに近い場所でリアルタイムに解決し、エンドユーザーに影響を与えることなく、データをキュレーション・整形できます。
さらに、Qlik のコスト最適化コンピューティングエンジン（EC2 スポットインスタンスベース）により、自動スケーリング、フェイルオーバー、信頼性を備えながら、従来手法の3分の1のコストでリアルタイム変換を実現します。
相互運用性をめざした設計により Iceberg エコシステムを拡張
Qlik Open Lakehouse はオープン性を追求して構築されています。今回のリリースにより、その相互運用性をさらに拡大します。
オープンレイクハウスアーキテクチャをさらに強力にする3つの主要なエコシステム統合をご紹介します。
- Snowflake Open Catalog のサポート – 現在利用可能な AWS Glue Catalog に加えSnowflake Open Catalog のサポートを追加します。これにより、お客様は Iceberg カタログの選択肢が広がり、環境をまたいだシームレスなデータ発見とガバナンスが可能になります。この統合により、拡大を続ける Iceberg エコシステムとの相互運用性が大幅に強化され、お客様は AWS ネイティブサービスか Snowflake のクラウドネイティブ環境のいずれにいても、モダンなレイクハウスを構築する自由を得られます。
- Databricks と Amazon Redshift へのゼロコピーミラーリング – Qlik は既に Snowflake へのゼロコピーミラーリングを実現しており、ユーザーはデータを複製することなく Snowflake で外部テーブルを作成し、クエリやダウンストリーム変換を実行できます。これによりパフォーマンスを維持しつつコストを削減します。今回、この強力な機能を Databricks および Amazon Redshift へのミラーリングにも拡大しました。これにより、チームは複数のプラットフォームにまたがる Iceberg データのクエリや変換を、データの複製やコスト増なしに実行できます。
- Apache Spark 統合の強化 – Apache Spark のサポートを強化し、あらゆる Spark ベースのエンジンが最新の Iceberg データに直接アクセスできるようにします。これにより、大規模な分析、AI、機械学習ワークロードを実現します。
これらの統合により、真にオープンで柔軟なマルチエンジン対応のレイクハウス環境を提供します。データチームはサイロ化を解消し、データの重複を最小限に抑え、インサイト獲得までの時間を短縮できます。
エンドツーエンドのデータ品質とガバナンス
オープンであることと、無秩序であることは同義語ではありません。Qlik Open Lakehouse により、Qlik Talend の信頼性の高いデータ品質とガバナンス機能を、Open Lakehouse および Iceberg 環境に直接統合します。
エンドツーエンドのデータリネージ、検証ルール、セマンティックタイプ、Qlik Trust Score といった Qlik の主要機能が利用可能となり、オープンレイクハウス内の全データセットの正確性、追跡可能性、AI 対応性を保証します。ユーザーは Iceberg テーブルやミラーリングされた Snowflake 環境を横断するデータの流れと変換を監視でき、データパイプラインに対する完全な可視性と信頼性を獲得できます。
大規模環境（Qlik の管理されたレイクハウス環境、データウェアハウス内部）においても、データ品質検証ルールは柔軟に実行可能で、最も重要な箇所で確実な保証を提供します。セマンティックタイプは多様なデータセット間で一貫した意味と文脈を確立し、企業全体での情報解釈方法を標準化します。
さらに Qlik Trust Score および Qlik Trust Score for AI により、Iceberg テーブル内のデータであっても、分析や機械学習に向けたデータ準備度の定量化が可能です。これにより、アクションの根拠となるインサイトの信頼性を確実に保証します。
Qlik Open Lakehouse は、開放性とガバナンスを両立と、信頼できるデータに基づいた革新の実現を可能にします。
Qlik Open Lakehouse の新たなベンチマーク
もちろん、これらが顧客にとって真のコスト削減と有意義なビジネス成果につながらなければ意味がありません。
これを検証するため、当社はベンチマーク調査を実施し、実際の顧客シナリオをシミュレートしながら、Qlik Open Lakehouse とクラウドデータウェアハウスのデータ取り込みコストとパフォーマンスを比較しました。
Qlik Open Lakehouse と Iceberg の組み合わせは、データウェアハウス管理の Iceberg ソリューションや同等の構成のネイティブデータウェアハウスと比較して、約77～89％のコスト削減とコンピューティング消費量削減を実現し、データ鮮度を2.5~5倍向上させることで、顧客に桁違いの価値を提供しました。ベンチマークテストの詳細と結果は Benchmarking Ingestion Costs and Performance of Qlik Open Lakehouse Vs a Data Warehouse でご確認いただけます。
なぜこれが重要なのか
現代の企業は、柔軟でオープンなアーキテクチャを活用し、AI とリアルタイムインサイトを実現する基盤を構築しています。しかし、その実現にはデータパイプライン、データ品質、ガバナンス、コスト効率の再考が不可欠です。
Qlik Open Lakehouse は、統一されたオープンかつガバナンスされた基盤を提供し、以下の機能を実現します。
- リアルタイムのデータのストリーム処理、変換、最適化
- AWS、Snowflake、Databricks などエコシステム間のシームレスな相互運用性
- データ取り込みのためのインフラストラクチャおよびコンピューティングコストを最大70～90% 削減
- 統制され信頼性が高い、分析のためのデータを大規模に提供
これが AI とデータ分析の未来のために構築されたオープンレイクハウスの次の進化形です。Qlik Open Lakehouse は、常にアクセス可能で相互運用性が高く、ロックインも妥協もない将来に備えたデータ環境を提供します。
一度構築すればどこでも活用可能——それがオープンレイクハウスアーキテクチャの真価です。
はじめましょう
Qlik Open Lakehouse は既に一般提供されています。この度、発表した主要な新機能は 2026年第1四半期に一般提供を開始し、拡張機能は 2026年前半にかけて順次提供されます。
Qlik が現代の企業向けに、オープンでリアルタイムかつ信頼性の高いデータで可能性を再定義する方法について詳しくご覧ください。