専門家が品質問題に苦労しているため、データのダウンタイムがほぼ2倍になっていることが調査で判明 from venturebeat.com

この調査では、基本的に、データのダウンタイムの増加は、インシデントの数の増加、インシデントの検出にかかる時間の増加、問題の解決にかかる時間の増加という 3 つの重要な要因によるものであると考えています。
回答者 200 名のうち、51% が通常月に 1 ～ 20 件のデータ インシデントを目撃していると回答し、20% が 20 ～ 99 件のデータ インシデントを報告し、27% が毎月少なくとも 100 件のデータ インシデントを目撃していると回答しました。
品質を確保できなかったり、問題を修正するのに時間がかかりすぎたりしたことでデータ エンジニアを責めるのは非常に簡単ですが、問題は才能ではなく目の前のタスクにあることを理解することが重要です。
「この点でチームが犯す最も一般的な間違いは、手動の静的データ テストのみに依存していることです。これは仕事には間違ったツールです。この種のアプローチでは、チームがデータが悪化する可能性があるすべての方法を予測してテストを作成する必要があります」各データセットでの処理には膨大な時間がかかり、解決には役に立ちません」と彼は説明します。
これにより、企業のデータ アナリストは、重要なビジネスおよびデータ製品のユースケースにおけるデータの信頼性をほぼリアルタイムで総合的に把握できるようになります。