离线同步数据质量排查
如果数据同步任务执行完成后，对于数据同步质量（数据条数、数据内容）有相关疑问，在读取端您可以尝试从下列常见情况对照排查：问题 问题描述 解决方案 源头数据在持续发生变化 由于待读取范围的数据可能在持续变化中，因此实际同步到目标...
增量数据同步
已获取数据源的物理表，具体操作，请参见 获取物理表。RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择...
API概览
DescribeDBInstancesByExpireTime 按过期时间获取数据库实例 该接口用于通过包年包月实例的剩余可用时间查询RDS实例信息。DescribeRegions 查看可选的地域和可用区 该接口用于查询所有RDS地域的详情。CheckInstanceExist 查询实例是否存在 ...
迁移时源库为SQL Server的注意事项及限制
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
日志服务通过数据集成投递数据
说明 您可以进行数据预览，此处仅选择LogHub中的几条数据展现在预览框。由于您在进行同步任务时，会指定开始时间和结束时间，会导致预览结果和实际的同步结果不一致。选择字段的映射关系。在 通道控制 中配置 同步速率 和 脏数据策略 等...
副本集实例连接说明
获取数据库连接地址 登录 MongoDB管理控制台。在左侧导航栏，单击 副本集实例列表。在页面左上角，选择实例所在的资源组和地域。单击目标实例ID或目标实例所在行 操作 列的 管理。在目标实例页面的左侧导航栏，单击 数据库连接。连接地址...
API概览
DescribeDBInstancesByExpireTime 按过期时间获取数据库实例 该接口用于通过包年包月实例的剩余可用时间查询RDS实例信息。DescribeRegions 查看可选的地域和可用区 该接口用于查询所有RDS地域的详情。CheckInstanceExist 查询实例是否存在 ...
表数据管理
重要 导出数据条数不再受查询窗口的条数限制，可自定义导出条数。模拟数据 创建模拟数据。具体操作步骤，请参见 生成测试数据。回到开始 跳转至第一页。上一页 向上翻页。下一页 向下翻页。跳至底部 跳转至最后一页。展示数据量 设置在页面...
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
数据标准概述
标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。技术方面：统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据为新建系统提供支撑，提升应用...
数据服务入门
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。调用数据服务API时，数据服务将访问该数据源来执行查询请求。步骤二：创建API分组 数据服务基于API网关对外提供服务。在API网关中，...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
常用管理
报错类型 说明 组件数据获取失败 组件请求数据源发生错误时，产生该报错。数据源的请求可能发生在组件首次加载时、组件自动更新时和全局变量触发更新时等。过滤器执行错误 组件请求数据源成功返回数据后，经过过滤器时产生报错，将记录为...
使用全局变量
过滤器引用 说明 新版DataV服务中的 getCallbackValue 和 getLocalValue 的数据获取效果一样，为了兼容旧版DataV服务，保留了 getLocalValue，建议您优先使用 getCallbackValue。在 画布编辑器 页面，单击上方 快捷搜索 框。输入 按钮 和 ...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
通过向导模式配置离线同步任务
单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。您可以在同步任务配置...
配置API输出组件
单条数据：一次请求只传递一条数据，有几条数据就进行几次请求。多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被拼接数据源中配置的URL后。写入JSON路径 非...
配置API输出组件
单条数据：一次请求只传递一条数据，有几条数据就进行几次请求。多条数据：一次请求以数组形式传递一批数据，每次传递的数据量为批量条数的值。URL路径 非必填，输入URL中的路径，此处的路径会被拼接数据源中配置的URL后。写入JSON路径 非...
配置SAP Table输入组件
Rowskip 输出的第一条数据的行号（从0开始）。Rowcount 从rowskip开始，一共输出的数据行数（0代表所有数据）。过滤条件 表查询条件，可使用SAP query operator进行条件过滤。SAP query operator如下：EQ：等于。NE：不等于。LT：小于。LE...
配置SAP Table输入组件
Rowskip 输出的第一条数据的行号（从0开始）。Rowcount 从rowskip开始，一共输出的数据行数（0代表所有数据）。过滤条件 表查询条件，可使用SAP query operator进行条件过滤。SAP query operator如下：EQ：等于。NE：不等于。LT：小于。LE...
API概览
本产品（云原生数据仓库AnalyticDB MySQL版/2021-12-01）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK...
通过DTS采集数据
注意 DataHub同步的是增量数据，您的数据库中必须插入、删除或更新一条或多条数据后，才会同步到DataHub中。本案例采用手动插入数据的方法，但在实际情况中，都是将用户的购买行为，通过程序的方式动态同步到数据库中的。进行数据抽样时，...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
用户价值
数据应用更智能：提供面向业务人员的无代码业务模型构建能力和数据分析能力，大大降低数据获取和分析门槛，让业务人员可以直接使用数据，积累沉淀业务模型，能够向上层应用提供更加智能的数据。数据资产更清晰：从宏观到微观助力数据管理方...
概览信息
背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量实时-1。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 发现，进入 概览 页面。在数据资产概览页面，根据数据需求查看或搜索...
概览信息
背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量实时-1。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现，进入 概览 页面。在数据资产概览页面，根据数据需求查看或...
生成测试数据
默认值：1000 条数据，最多生成不超过 100W 行数据，所以用户可以在文本框中输入 1\~1000000 间的任意正整数。批处理大小 指定每生成多少条数据进行一次提交（COMMIT 命令）操作。默认每生成 200 条数据进行一次提交，最大不超过 500 条，...
移动图标层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
离线同步并发和限流之间的关系
脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏数据是指数据条目在写入目标数据源过程中发生了异常，则此条数据被视为脏数据。由于各类异构系统对数据处理的复杂和差异性，目前策略是写入失败的数据均被归类于脏数据。在一些数据...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
新建数据字典
说明 单击 新增数据字典值 可以添加多条数据字典值。当存在一条以上的字典时，支持下拉设置父级字典以及父级字典编码。相关操作 操作 说明 编辑数据字典 在 数据字典管理 页面，选择目标数据字典，单击 操作 列的 编辑，在 配置数据字典 ...
新建数据字典
说明 单击 新增数据字典值 可以添加多条数据字典值。当存在一条以上的字典时，支持下拉设置父级字典以及父级字典编码。相关操作 操作 说明 编辑数据字典 在 数据字典管理 页面，选择目标数据字典，单击 操作 列的 编辑，在 配置数据字典 ...
路网轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
轨迹层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
使用MaxCompute控制台（离线）
若选择了剔除脏数据，则该条数据不会被上传。是：剔除待上传文件中与目标表中的列类型不统一的数据。否：数据全量上传。设置目标表 MaxCompute项目名称 存放数据的MaxCompute项目。目标表 根据需要选择将数据上传至已有表还是新建表：已有...
预览物理表数据
数据预览：在 数据预览 页面，默认展示500条数据，不足500则展示全部数据。当云计算资源为空间数据类型时，在 数据预览 页面左上角，打开 地图模式 开关，查看空间地图和当前加载页数据所对应的所有点、线、面图形。数据筛选：在 数据预览 ...
预览物理表数据
数据预览：在 数据预览 页面，默认展示500条数据，不足500则展示全部数据。当云计算资源为空间数据类型时，在 数据预览 页面左上角，打开 地图模式 开关，查看空间地图和当前加载页数据所对应的所有点、线、面图形。数据筛选：在 数据预览 ...
需求分析
数据质量监控阶段 ods_raw_log_d 对每日同步的原始日志数据进行表行数非0监控，避免后续无效加工，及时止损。ods_user_info_d 对每日同步的用户信息数据进行表行数非0校验（强规则）和业务主键唯一性校验（弱规则），避免后续无效加工，...
- 产品推荐
- 这些文档可能帮助您