ナッシュテックはファーウェイ・チームと緊密に協力し、重要な機能の構築を支援しました：

• CarbonData用辞書生成ツールの開発.
• コスト効率の向上：クラスタ管理の自動化により、運用コストを50%以上削減。
• Presto、Hive、Flink、S3テクノロジーとCarbonDataの統合。
• Jenkinsによる継続的インテグレーションの設定。
• ベンチマークを行うためのパフォーマンステストツールの作成
• 自動化テストでバグゼロを達成する
• Apache CarbonDataウェブサイトの開発とメンテナンス。
• CarbonDataのコアパッケージの開発と強化。
• ParquetやORCのような利用可能なファイルフォーマット、Spark、Presto、Impalaのようなフレームワーク、Hadoop、S3、Kuduのような異なるストレージシステムに対してCarbonDataをベンチマーク。

ナッシュテックはファーウェイと協力して、ビッグデータの処理とクエリにおいてより高速で効率的なファイルフォーマットを開発した。 現在、ファーウェイの顧客は、CarbonDataの機能を利用することで、システムを高速化することができる。

私たちのチームはまた、CarbonDataのために独自のパフォーマンス・ベンチマーク・ツールを開発した。 このベンチマークツールは、ParquetやORC Formatなどの競合製品と比較して、CarbonDataのパフォーマンスをテストします。 ベンチマークツールがサポートする主な機能は以下の通り：

• 構成によって駆動されるクラスタサイズに応じてTPCHベンチマークデータを生成する。
• 特定のデータセットに対する構成としてワークロードを定義する。
• CarbonData、Parquet、ORCなど、すべてのフォーマットにデータをHiveストアにロードする。
• Sparkの設定ベースのチューニングは、並列性の設定と異なるワークロードに基づくSparkの設定を含んでいた。
• ワークロードを実行し、すべてのフォーマットについて、負荷に対する応答時間と結果を取得する。
• すべてのフォーマットにおける結果の比較。
• テスト実行の成功・失敗だけでなく、結果の比較を示すExcelレポートの作成。