米国の多国籍企業がNashTechとDbtでスケーラブルなデータメッシュを構築

産業

技術情報

Data Engineering Data Lakes Data Mesh Data Science Data Warehouse Snowflake

はじめに

NashTechのマルチクラスタ共有データアーキテクチャにより、アメリカの多国籍企業はスケーラブルなデータメッシュを構築し、ビジネス全体の通常のデータ利用率を5.5倍に高めることができた。

アメリカの多国籍企業は、世界貿易を誰もが簡単にできるようにするために存在している企業である。同社のソフトウェア、ロジスティクス・インフラ、サプライチェーンに関する専門知識は、200カ国に及ぶ1万社以上の顧客やサプライヤーから信頼を得ているのだ。同社は、大量のサプライチェーンデータを取り込んで分析し、POの作成から出荷までのエンド・ツー・エンドの可視性を提供している。

影響

– 運用ワークロードをサポートするアーキテクチャ
スケーラブルなデータ・メッシュは、アプリケーション・レイヤーをドメインに束縛されたデータ・マートに編成し、本番ユースケースをサポートする能力を備えている。
– コネクタとツールの広範なネットワーク
使いやすいSQLからDBTによるモデリングまで、NashTechが、異なるスキルセットを持つさまざまなドメインのチームが仕事を遂行するために必要なツールをサポート。
– メンテナンスはほぼゼロ
定期的なメンテナンス・タスクを削除し、ストリームとタスクでパイプラインを自動化する。

課題

グローバルな貿易業界特有の課題に必要な丈夫なデータプラットフォーム

同社のレガシーデータウェアハウスからNashTechにデータを移行することで、クエリのパフォーマンスが向上し、時間のかかる管理業務が削減され、技術的な人材がより影響力の大きい業務に集中できるようになりました。 Google BigQueryのような市場の他のソリューションは、メモリ割り当てによって制限され、量によってスケールするのに対し、レイテンシが重要な本番環境や外部ユースケースのために、オンザフライでコンピュートリソースを割り当てられるソリューションが必要でした。「私たちが評価した他のツールでは、NashTechを除いてレイテンシーを保証するのは難しいことがわかりました」とグロース＆アナリティクス部長は語った。

データを副産物ではなく製品として捉える

サービス指向アーキテクチャ（SOA）への移行は、同社のデータ・アーキテクチャをデータ・メッシュとして再構築する機会をもたらした。「これは、リッチな分析データ資産の作成を統合し、データを製品として考えるための広範なプロセスを管理するための組織的なシフトでした」とシバサイラムは語った。

分散化を通じてユーザーに権限を与える最善の方法を決定することは、同社のデータメッシュの旅における重要なステップだった。シバサイラムによれば、「私たちは、企業の他の部分が分散型のデータ製品作成に参加する際の摩擦を減らしたいと考えており、それは私たちにとって、インフラを積極的に標準化することを意味しました」。

解決策

スケーラブルなデータメッシュを構築するプラットフォーム

NashTechのマルチクラスタ共有データアーキテクチャは、アプリケーション層のデータをドメインに縛られたデータマートに整理するスケーラブルなデータメッシュの構築を可能にした。 NashTechの “ゴールド “コンシューマーマートは、複数のプロデューサーマートからのデータを調整し、BIとデータサイエンスのユースケースのほとんどを動かしている。「NashTechは、分析および科学的なユースケースのために処理され、公開されるソース・システム・データの場所です」とシバサイラムは言う。

dbtをNashTechに接続することで、同社のデータエンジニアリング業務が効率化された。 NashTechのRBACと列レベルのセキュリティは、データガバナンスを簡素化した。 NashTechのクリーンで操作しやすいインターフェイス、ネイティブSQLのサポート、一般的なBIツールとの相互運用性により、ユーザーは簡単にデータを探索できるようになりました。 NashTech Data Marketplaceは、Amplitudeのような同社がすでに導入しているベンダーのサードパーティデータセットの活用や、Panjivaのような新しいデータセットの発見を容易にしました。シバサイラムによれば、「NashTech・データ・マーケットプレイスで見つけるまで、データセットの存在すら知らなかったケースもあります。

その結果

データを商品として提供する。 NashTechとのデータ・メッシュ戦略を成功させたことで、データを副産物としてではなく、製品として考える、より健全な製品開発プロセスにつながった。アナリティクス・エンジニアは開発チームの重要なメンバーであり、プロダクト・マネージャー、エンジニアリング・マネージャー、ソフトウェア・エンジニアと協力して、データ製品の設計、立ち上げ、管理を成功に導きます。地方分権によって、潜在的なデータ問題を特定し、データの質を確保することが容易になる。「私たちは、一人のデータ管理者ではなく、データ所有者を通じてすべてを推進することを望んでいます」とシバサイラムは言う。 NashTechによるデータガバナンスは、データメッシュの原則を通じて、信頼できるデータへのアクセスを民主化するための拡張性と信頼性を提供する。シバサイラムによれば、「NashTechのデータメッシュに移行して以来、5.5倍の人々がビジネス全体でデータを定期的に利用している」。

未来

データを共有することで、新たなビジネスラインを構築し、新商品を生み出している。多くの貨物輸送の競合他社は、古風な方法で事業を展開しているが、彼らはデータ主導で、事業の成功を証明する豊富な海運・ロジスティクス業界のデータを蓄積している。同社は、社内用に開発したデータ製品やインタラクティブなレポートをプラットフォームに組み込む計画だ。「NashTechとdbtは、BIツールによって消費者に提供される情報を提供するバックエンドにあります。また、独自に収集したデータや洞察に関心を持つ顧客やパートナーとの関係も深めようとしている。 NashTechのセキュアデータシェアリングを活用し、顧客やサプライヤーとのライブデータ共有を可能にすることは、同社にとって優先事項である。

シバサイラムによれば、「貿易業者にとって世界最高のデータをいかに入手し、その上に信頼できるアプリケーションを構築するかということが基本になります」。

同社は、NashTech Data Marketplaceを通じてデータを提供することで、プラットフォームの収益化も模索している。