将石油和天然气数据集进行统一，并使用 Amazon QuickSight 创建商业智能软件 商业智能

使用 Amazon QuickSight 整合油气数据集并创建商业智能软件

主要重点

在这篇文章中，Tata Consultancy ServicesTCS分享了如何利用 Amazon QuickSight 为一家油气客户构建现代商业智能BI软件。本案例展示了如何解决数据孤岛问题，实现无伺服器架构，提高运营效率，并开展未来的数据可视化及分析。

Tata Consultancy ServicesTCS拥有超过50年的悠久历史，专注于提供各类技术运营服务，遍布全球50多个国家，拥有超过600000名本地化员工。我们致力于帮助油气公司克服复杂的数据问题，以建立现代化的、统一的商业智能基础设施。

我们受到了澳大利亚一家大型油气公司的邀请，开发一个模块化、可扩展的BI软件，具备强大的数据可视化能力。然而，这一项目要求我们使用无伺服器架构来保留、托管、管理、编目及查询来自传统系统的重要数据。

该系统需要涵盖三个核心领域：评估历史趋势、建立数据支持的目标，以及帮助业务实现预测性洞察。这些都能为高层管理者提供更好的监控层级，以便他们利用这些洞察来衡量和提高运营效率。

使用 QuickSight 不仅降低了我们的运营成本，还提高了生产力，释放了宝贵的资源和管理旧系统所需的时间。

独立环境与迫在眉睫的挑战

油气业务的增长主要源于过去的收购历史。然而，每次收购都会导入另一套狭小范围的应用程序及其相应的理顺规则。由于来源于不同方的数据集过多，该公司目前使用电子表格来标准化并合并数据，这个过程耗费了大量的时间、精力和资源。

当前商业智能系统面临的挑战也源于一些重要数据应用即将停用，且不再受现代操作系统支持。在这种情况下，有可能会失去对于合规性和政府报告至关重要的信息，这将会带来严重后果。此外，一些目前使用的程序已经不再受到支持，从而造成高昂的维护费用和运行成本。

由于这些旧系统及其重要数据，我们需要尽快开发一个系统，以安全地保留这些传承的信息。尽管该系统不是日常业务运营所需，但必须保持在一种不会导致高成本的过度配置的方式下。

融入 AWS 生态系统

该油气公司在其技术堆栈中已经拥有多个 AWS 服务，因此选择 AWS 作为商业智能服务的提供者以实现连贯性和简单的数据管理是合理的。虽然客户曾评估几种解决方案，但 QuickSight 最终在查询和反应时间方面表现最佳，因为现有数据存储在 Amazon S3，这降低了数据加载时间并提升了最终用户体验。该项目分成三个阶段，预计在六个月内完成。

以下图示显示了将数据引入 QuickSight 的解决方案架构。

我们利用 AWS Transfer Family 自动将应用数据迁移至初始的 Amazon S3 暂存桶中。接著，利用 AWS Step Functions 协调将对象转移到另一个 Amazon S3 桶的原始数据湖中。

利用 AWS Glue 的强大 ETL 功能，我们将储存在数据湖中的原始 CSV 数据转换为更优化的 Parquet 格式。Glue 爬虫持续监控数据湖，并更新我们的 AWS Glue 数据目录，以准确定义和编写分区 Parquet 文件的元数据。

随著我们转换后的数据被编目，Amazon Athena 使我们能够立即针对超级大型数据集运行 SQL 查询，查询结果随即无缝导入 Amazon QuickSight 进行高级数据可视化和报告发布。

通过在 Amazon QuickSight 中显示富含见解的仪表板，我们的用户可以获得互动式且易于理解的商业分析，帮助提出更明智的决策。无伺服器架构促进了敏捷性，而 AWS 服务则协调了整个数据管道，几乎不需要持续的管理开销。在 Amazon QuickSight 中利用进阶报告自定义和互动功能进行数据分析项目。

参数 提供灵活的过滤和控制。每个分析可提供超过十个参数，允许屏幕上的控制过滤结果。四个分析总共提供 30 多个参数，提供多种自订视觉化的方式。

直观的 屏幕控制 是从参数中构建的。每个分析可提供超过十个控制条，根据下拉选择动态过滤视觉效果，实时响应用户输入。

透过 Amazon QuickSight 的 URL 操作，快速导航变得可行。视觉效果和操作标签单击即可将用户引导到包含相关信息的特定网页目的地。此工具整合了分析与外部资源，简化了探索流程。

显著的优化成果

该商业智能系统的转型成果显著。客户很快运行著一个更可扩展且灵活的系统，大幅提高了速度，即使在请求负载变化的情况下，也能为最终用户提供更高级别的商业智能洞察。即将受到威胁的旧系统信息安全地保存在 Amazon S3 中，并透过 QuickSight 以高效的按需使用模式提供。此外，旧系统有良好的工作流程、功能和文档，我们能够在 Amazon S3 或 SharePoint 中使用，并将其链接到 QuickSight 请求的报告中。

以下截图显示了一个 QuickSight 仪表板示例，展示了油气生产的见解。

从员工的角度来看，无伺服器架构减少了大量基础设施管理，让内部开发团队能集中精力利用新得到的洞察，开发业务上的新创新流程。

以下数据对于 QuickSight 的影响作出了有力的证明：

报告性能提升 200工作刷新和查询性能提升 300通过利用无伺服器架构，总拥有成本降低 65按需付费的 QuickSight 模型导致成本仅为本地部署的 10

展望未来

该项目对客户运营的影响显著，但我们仍希望利用 QuickSight 开展更多工作。

目前的未来目标是将生成式 AI 和生成式商业智能应用于 QuickSight 仪表板。这将允许通过一个随著运作而学习的系统处理更自由形式和具体的查询，并通过现有功能 Amazon Q in QuickSight 提供相关信息。

结论

在这篇文章中，我们分享了 TCS 如何利用 QuickSight 为一家油气客户构建现代商业智能软件。要了解更多关于 QuickSight 如何帮助您的业务创造新应用、节省内部开发时间并为客户提供数据见解的信息，请访问 Amazon QuickSight。

关于作者

Sumitha Madoor 目前任职于 TCS AICloud 单位的数据与分析实践团队，专注于提供 AWS 的流分析、分析和数据库解决方案。拥有超过15年行业经验的她，曾处理多个战略项目，领导团队并成功推动 AWS 迁移和报告解决方案。

Lokesh Seramalanna 领导 TCS AICloud 单位的数据与分析 报告中心Reporting CoE流，贡献于客户项目和数据分析与洞察的服务。拥有超过21年行业经验的他，曾帮助不同行业的客户如医疗、汽车、电信、能源及制造交付增值解决方案。

Ramesh Srinivasan 目前负责 TCS AICloud 单位的数据与分析，聚焦于数据工程及分析，培育多个产品 CoE，与客户和其他利益相关者建立良好关系，以便在系统交付结果上创造价值，并担任客户的可信顾问，拥有超过26年的行业经验。

Saunak Chandra 是一位技术思想领袖及首席架构师，推动组织在 AWS 上负责任地使用数据和 AI。他带领高效的全球团队构建和交付行业解决方案，促进客户的组织转型。在平台技术，包括商业智能、数据仓库和数据湖方面，他具备深厚的专业知识。

留言载入中