Unlock a world of possibilities! Login now and discover the exclusive benefits awaiting you.
本ブログは"A Monumental Year for Qlik’s Data Integration and Quality Business"の翻訳です。
著者：Drew Clark
データ統合の分野では昨年、巨額の買収や噂など、さまざまな紆余曲折がありましたが、ChatGPT やその他の大規模言語モデルの登場ほど、地殻変動をもたらすインパクトが大きいものはありませんでした。AI は主流となり、私がお話をしてきたほぼすべての企業が、競争優位のために戦略的に AI 導入を進めています。
さらに、私はすべてのお客様に、「AI の成功は、正確でタイムリーかつ高品質なデータを、すぐに利用できる形式で用意できているかにかかっています」と伝えています。この哲学は、今年の Qlik Connect で私が発表したすべての製品開発における指針です。お話しすべき製品のリストは長くなりますが、まずは Qlik Talend Cloud から始めましょう。
Qlik Talend Cloud ビジョンの紹介
Qlik Talend Cloud は、Talend と組み合わせた初のサービスであり、私たちのジャーニーにおける極めて重要なステップです。将来の SaaS データ統合、品質、AI イノベーションの舞台を整えるだけでなく、最先端のソリューションを提供するという当社のコミットメントを体現しています。万を超えるテナント、複数の地域、10以上の認定を持つ Qlik Cloud インフラストラクチャを基盤とするこのプラットフォームは、当社の新たなイノベーションの道標としての役割を果たします。さらに、Talend Cloud の機能も時間をかけて移行していきます。
Qlik Talend Cloud の導入により、私たちは市場にイノベーションのビッグウェーブをもたらします。この新しいプラットフォームは、信頼できるデータ資産を組織全体に提供する、AI を活用した ELT パイプラインをノーコードで迅速に構築・展開することを可能にします。それでは、データ統合と品質プロセスに具体的なメリットをもたらす Qlik Talend Cloud の機能と主要テーマを掘り下げてみましょう。
革新的なデータ製品 - データ製品は、高度にキュレートされた、信頼できる、再利用可能なデータ資産であり、データ生産者と消費者の間のギャップを安全に埋めるものです。これらのデータセット、ビジネスで承認されたメタデータ、およびドメインロジックのコレクションは、レコメンデーションエンジン、予測機械学習、ビジネスアナリティクス、および生成 AI のような強力なデータアプリケーションのバックボーンを形成します。
キュレートされたデータマーケットプレイス - 私たちのデータ製品ビジョンのもう一つの要素は、データ製品のコラボレーションと消費を促進するデータマーケットプレイスを提供することです。マーケットプレイスに自然言語検索を導入することで、データ製品の発見、理解、共有を極めて直感的かつ容易にすることを想定しています。
モダンデータエンジニアリング - データパイプラインと変換ロジックを定義するための当社独自のノーコード／プロコードアプローチも飛躍的な進歩を遂げました。組み込まれた AI 技術のおかげで、コネクタファクトリーは大幅にアップグレードされ、現在では 170以上の SaaS データソースをサポートし、毎月さらに多くのソースをリリースしています。ちなみに、必要なデータソースコネクタが見つからない場合は、こちらからリクエストしてください。
また、Stitch Data の SaaS データロード技術を Qlik Talend Cloud に組み込みました。新しい Starter Package は、SaaS データをデータウェアハウスにロードしたいお客様に最適です。Starter Packageの素晴らしい点は、SAP 接続、データ変換、データ製品などのより高度な機能へのシームレスなパスも提供されることです。今年後半に Qlik Talend Cloud Starter Package やその他のエディションが発売される予定なのでお楽しみに。
データ変換の話をしていましたが、Transformation Flows の導入も、これらの機能も大幅にアップグレードします。Talend Cloud のパイプラインデザイナーをベースにしたシンプルなドラッグ＆ドロップのインターフェースにより、データエンジニアも SQL の専門家でない人も、視覚的な変換フローを簡単に作成できます。ELT データパイプラインの一環として、カスタム SQL コードの代替として変換フローを使用できます。
Qlik Talend Cloud は、変換フローを SQL 文に変換し、オーケストレーションし、実行時に選択したデータプラットフォームにプッシュします。Snowflake、Databricks、Google Big Query、Azure Synapse Analytics、Microsoft Fabric はすべてサポートされています。
スキルに関係なく、すべてのデータエンジニアに適したデータ変換機能が充実しています。ポイント&クリックで完全に自動化されたデータマートを作成したり、ドラッグ&ドロップで変換フローを作成したりできます。独自の SQL をコーディングするスキルがない場合は、自然言語のプロンプトから SQL 変換を生成する新しい AI アシスタントを使用することもできます。データ変換の詳細については、このリンクをご確認ください。
AI イノベーション - さまざまな AI イニシアチブの展開を支援する生産性とインフラストラクチャ機能を多数追加しました。カスタム SQL を使用して、機械学習（ML）モデルをトレーニングするためのデータセットを照合することができます。今年の後半には、Databricks の AI 機能を特別にサポートする変換フロープロセッサを追加して、この機能を強化する予定です。また、ベクトルデータベースのサポートや、RAG（Retrieval Augmented Generation）アプリケーションをサポートするデータパイプラインの構築を支援する複数のLLM も追加しました。構造化データソースと非構造化データソースを企業コーパスに使用する機能を提供することで、またもやイノベーションを実現しています。同時に、Snowflake Cortex のサポートも拡大しています。最後に、データエンジニアがデータパイプラインを構築しながら「会話」できるチャットインターフェースも追加しました。この便利な副操縦士のような機能は、データ品質ルールの構築、カラムの標準化、データ探索などの開発タスクを加速します。新しい AI 機能の詳細については、こちらのリンクをご覧ください。
パイオニア的存在の Trust Score for AI
また、「Trust Score for AI」と呼ばれるさらなる AI イノベーションを発表できることを誇りに思います。このユニークな製品とサービスは、AI プロジェクトで使用されるデータの主要な品質指標を確立し、監視するのに役立ちます。Qlik Trust Score for AI は、AI データの全体的な品質を反映する単一の分かりやすいスコアを提供することで、AI データセットの信頼性を評価するように設計されたシステムです。
サンプルデータセットまたはご自身のデータで信頼スコアをこちらから体験してください！
クライアントマネージド製品の強化
これまで Qlik Talend Cloud についてお話してきましたが、私たちはクライアントマネージド製品への投資を続けていることを強調したいと思います。私たちは企業における導入の現実を理解しており、お客様のインフラやワークロードがすべてクラウドで稼働するわけではないことを認識しています。業界の他の多くのベンダーのように、クラウドへの移行を強制しているわけではありませんし、データ処理のワークロード実行場所を選択する自由を引き続きサポートします。この 1年の製品アップデートをすべて挙げることはできませんが、ハイライトをいくつかご紹介します。
- Talend Studio の機能強化 - Talend Studio の UI に、すべての開発者にアピールする新鮮でモダンなルック＆フィールを採用しました。
- Studio の生成 AI パイプライン – RAG ベースの要件向けにベクトルデータベースと LLM エンベディングをサポートする新しいコンポーネントも追加し、プラットフォーム全体に AI 機能を織り込むというテーマを継続しました。
- Snowpipe Streaming - 昨年発表した Snowflake Cortex は唯一のイノベーションではありません。Qlik Replicate は Snowpipe Streaming のサポートもリリースしました。これはSnowflake にデータをロードする新しい方法で、バルクロードとは対照的に Snowflake のテーブルに直接ロードすることで、レイテンシーの短縮とコストの削減に貢献します。
- FIPS コンプライアンス - Qlik Replicate May 2024 リリースでは、標準セットアップルーチンの一部として FIPS コンプライアンスがサポートされています。
- API サポートの強化 - Qlik Enterprise Manager API を拡張し、特定のタスク内でテーブルを追加・変更できるようになりました。
最後に
この１年はデータ事業部を率いてのエキサイティングな1年でした。今回発表した私たちのビジョン、イノベーション、そして製品をこれ以上ないくらいに誇りに思います。将来に向けて、データ統合と品質ソリューションが最先端の AI 開発を確実に促進するために前進したことは明らかであり、これらの強力なツールが私たちの働き方や生活に革命を起こし続けることを確信しています。私たちは正しい道を歩んでおり、お客様や業界アナリストからもそのようにご認識いただいています。今後のさらなるエクサイティングな進化にご注目ください。
