DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
什么是DataWorks
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
空间数据（邀测中）
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
功能简介
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
功能简介
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
什么是数据资源平台
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
附录：消息格式
本文介绍DataWorks开放消息的消息结构、不同类型事件的消息格式及各字段含义，帮助您快速获取和感知事件消息的状态变更信息。注意事项 DataWorks发送的核心消息...该参数与 DataWorks控制台 中，数据开发 任务的 调度配置>时间属性>cron表达式...
查看并管理治理工作台
校验中 支持 查看详情、发起整改、加入白名单、通知责任人、关联知识库文档。已处理 支持 查看详情、关联知识库文档。已忽略 支持 查看详情、取消忽略、重新校验、关联知识库文档。操作项 描述 查看详情 支持查看治理对象的规则校验详情、...
查看并管理治理工作台
校验中 支持 查看详情、发起整改、加入白名单、通知责任人、关联知识库文档。已处理 支持 查看详情、关联知识库文档。已忽略 支持 查看详情、取消忽略、重新校验、关联知识库文档。操作项 描述 查看详情 支持查看治理对象的规则校验详情、...
数据校验计费方式
按抽样比例进行HASH校验 的校验模式计费标准与源数据库实例的地域、目标数据库实例的地域、校验的数据量（含单次校验的数据量和校验的次数）等因素有关，详情请参见下表。重要 实际费用请以购买页面和账单为准。数据迁移实例中的全量校验...
查询全量或增量校验任务详情
调用DescribeDataCheckTableDetails接口查询全量或增量数据校验任务的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
查询校验报告的下载地址
以不一致数据为维度的列表数据的下载连接 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
清除数据
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
清除数据
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
常见问题概览
连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
RDS MySQL修改字符集（平滑方案）
说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。若您登录的是新版数据传输控制台，您可以单击右下角的，返回至旧版数据传输控制台。在左侧导航栏，单击 数据迁移。在 迁移任务...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
校验物模型数据
类型 说明 适用范围 强校验 校验设备上报数据中的所有字段，仅流转校验通过的数据。校验通过的数据展示在 物联网平台控制台 对应设备的 设备详情 页 物模型数据 页签。校验不通过的数据则不展示。对于2020年10月14日之前（不含当日）创建的...
批量创建质量规则
特殊配置如下：校验表数据过滤：默认关闭，开启后可配置校验表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中；如校验表有分区过滤需求，建议在调度配置中配置分区表达式，配置后会以校验分区为最小查看粒度查看...
批量创建质量规则
特殊配置如下：校验表数据过滤：默认关闭，开启后可配置校验表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中；如校验表有分区过滤需求，建议在调度配置中配置分区表达式，配置后会以校验分区为最小查看粒度查看...
新增数据表
数据表是项目中的原始数据，可通过数据校验和数据授权后，被项目的控制台作为离线样本使用。当您新建表结构模板后，可基于新建的表结构模板新增数据表。本文介绍通过管理控制台新增数据表的方法。前置准备 在添加数据表前，需确保您已完成...
客户案例
新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，大润发计划两年内将IT系统全面迁移到阿里云上，不再自建IDC。同时与阿里云合作启动数据中台项目，可以帮助大润发降低TCO的同时，更好的依托云...
RDS 同步到云搜
此时，您可以前往 任务详情页 或 目的端数据源控制台 校验数据更新。任务详情页 在 数据同步任务 页面，单击任务卡片中的任务名称，进入任务详情页，即可查看以下信息：上游数据抓取延迟：数据同步服务抓取数据写入存储的时间与数据实际...
资产质量概述
质量治理 帮助您查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。资产质量功能入口 在Dataphin首页，单击顶部菜单栏 ...
资产质量概述
质量治理 帮助您查看数据质量在校验过程中的出错情况及针对该质量校验问题发起整改、忽略、通知等治理操作，从而实现资产质量从制定计划到实现整改的PDCA完整流程，有效提升数据质量。资产质量功能入口 在Dataphin首页，单击顶部菜单栏 ...
通过整库迁移配置集成任务
字段分隔符处理：如数据中存在默认或自行配置的字段分隔符，可选择处理策略，防止数据写入错误。包括 保留、去除、替换为。行分隔符处理：如数据中存在换行符(\r、)，可选择处理策略，防止数据写入错误。包括 保留、去除、替换为。开发数据...
物模型相关问题
校验不通过或免校验物模型数据，不会在 物联网平台控制台 对应设备的 设备详情 页面中 物模型数据 页签下展示。详细说明，请参见 校验物模型数据。您需在创建产品时，设置数据校验方式。具体操作，请参见 创建产品。物联网平台下发物模型...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
对于不带分区的Hudi格式，您也可使用单表离线同步方案，但无需在DataWorks数据开发模块创建离线同步任务，直接在DLF控制台中创建 关系数据库全量入湖 类型的任务即可，具体操作可参考 OSS数据进行格式转换入湖。单表离线同步 在DataWorks ...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
C100售后支持相关问题
说明 如果服务器与数据库审计系统之间的网络无法连通，则一个数据库审计实例只能对一台服务器中的数据库进行审计。示例三，您在阿里云账号A下有5台服务器，阿里云账号B下也有5台服务器。您只需连通每台服务器与数据库审计系统之间的网络，...
产品优势
数据库备份DBS 支持多种环境的数据库备份，通过专线接入、公网等接入技术，实现用户本地IDC数据库备份、ECS自建数据库的备份、其他云环境和RDS数据库备份，通过简单地配置实现数据库全量备份、增量备份以及数据恢复。低成本 DBS使用飞天...
- 产品推荐
- 这些文档可能帮助您