AI如何影响数据治理

随着云数据存储的无序增长以及半结构化日志的激增，用于识别运营趋势和异常的工具，企业识别、访问和分类数据的任务变得日益繁重。数据目录软件能够映射出所有这些存储库。

人工智能（AI）在企业数据目录的每个阶段都发挥着重要作用，从自动发现企业相关的每个数据存储开始。目录工具的功能范围各异，但一些工具利用AI来优化企业访问控制策略，或在企业的数据结构中启用自然语言搜索。AI驱动的数据目录显著减少了与分类数据资产相关的手动工作，并揭示了数据谱系，展示了数据的来源及其变化。

有效的元数据管理，即管理描述公司数据的信息，是成功治理的基础。AI目录工具可以识别元数据，以正确分类数据资产，但元数据管理对于维护健康的数据资产也至关重要。因此，从数据集成软件到数据可观察性平台的一系列产品现在都提供元数据管理功能。

AI注入的元数据管理工具缓解了手动数据分类的乏味工作，并帮助调和元数据描述中的差异。过去，企业通常认为元数据是相对静态的，但如今，AI工具可以持续监控和收集关于数据存储、使用和流动的动态元数据。除了其他好处外，深层次的元数据可用于AI推荐最佳存储平台，甚至建议潜在的数据集成管道。

AI对数据治理的最大影响体现在数据质量上，数据质量有六个维度：准确性、完整性、一致性、唯一性、及时性和有效性。显然，缺乏这些质量的数据会对操作造成灾难性后果。更不用说，数据科学家和分析师通常在使用数据之前就深陷清洗数据的困境。

AI/ML工具可以自动推断缺失值、规范化数据格式、标记数据异常等功能。尽管人类仍然需要做出判断（例如，两个名字相同的客户是同一个人还是不同人），但总体上节省的时间可以是巨大的。随着AI工具从大量数据中学习模式，它们的推荐、关联和校正能力将不断提升，这些基线可以用于实时监控数据质量。

构建数据库或整个数据架构从收集和分析数据需求开始，并开发适应这些需求的逻辑和物理模型。几种产品提供使用AI让数据架构师和工程师轻松生成数据模型的可视化表示。

如今，在许多企业中，数据建模正在被颠覆，以服务于AI/ML应用。许多AI数据工具提供自动特征工程，从数据集中提取关键数据特征，为AI训练做准备。结合AutoML（自动化机器学习），这种活动反过来支持不同类型的模型选择：选择合适的ML模型来驱动应用程序或支持预测分析。如果数据不足以适当训练模型，AI驱动的数据模拟工具可以从现有数据存储中提取数据并生成类似真实数据的合成数据。

每个企业都需要围绕数据处理建立政策，这些政策由联邦、州、行业和国际法规以及内部业务规则指导。在大型企业中，数据治理委员会制定这些政策，并在一个活文件中指定如何遵循这些政策，该文件随着法规和程序的变化而演变。GenAI的自然语言能力可以生成该文档的初稿，并使随后的更改更容易处理。

通过分析数据使用模式、法规要求和内部工作流程，AI可以帮助企业定义和执行数据保留政策，并自动识别已达到使用寿命的数据。AI甚至可以启动归档或删除过程。除了减少风险和确保合规性，自动数据归档还可以释放存储空间并降低存储成本。

AI驱动的灾难恢复系统可以通过预测潜在的故障场景并建立预防措施来帮助企业制定可靠的恢复策略，以最大限度地减少停机时间和数据丢失。注入AI的备份系统可以确保备份的完整性，并在灾难发生时自动启动恢复程序，以恢复丢失或损坏的数据。

注入AI的存储管理系统可以复制和分发数据到多个存储位置，以确保高可用性和低延迟。同时，AI驱动的预测分析可以从传感器、设备日志和历史维护记录中摄取数据，以预测潜在的故障或停机。预测性维护是防止数据可用性丧失的最佳措施。

尽管AI对数据治理有许多易于实现的任务，许多与治理相关的任务，从数据发现到数据清理再到政策管理，都充满了AI可以轻松处理的重复手动任务——并且完成的准确性比人类更高，这是一个巨大的胜利，尤其是在MLOps寻求清晰、企业良好的数据存储以构建和训练AI应用程序时。

但请记住，AI并不具备任何有意义的智能。即使是解决轻微的数据差异，也可能需要广泛经验所带来的背景知识，这是只有人类才能获得和理解的。没有人会把创建企业数据架构的任务交给机器。是的，AI已经从数据治理中消除了大量手动劳动，但它不会替你思考。