数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
管理数据库
字符集：字符集是数据库中字母、符号的集合，以及它们的编码规则。建库建表数量限制 账号类型 建库数量 建表数量 高权限账号 MySQL对数据库的数量没有限制。底层文件系统可能对目录数量有限制。万 普通权限账号万 前提条件 已创建RDS MySQL...
概述
全局一致性 PolarDB-X 是一款分布式数据库，数据存放在多个数据节点（DN）上，当分布式事务存在的情况下，恢复后的实例需要保证多个数据节点间的数据一致性。下图通过转账测试给出了全局一致性的示例：PolarDB-X 中存放了一张用户的账户...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
数据类型
alirts_frame_t 发送的音视频帧数据。alirts_push_info_t 推流统计信息。alirts_event_handler_t SDK推流的回调事件通知。详情 alirts_handler_t：SDK句柄定义，用于SDK实例管理。typedef void alirts_handler_t;alirts_config_t：推流配置...
管理数据集
单击 新建数据集，配置如下信息：配置项 是否必填 说明 名称 是 数据集名称，且在同一个用户下唯一。描述 否 用于描述数据集的属性。数据库 是 执行数据查询的目标数据库。您需要有该数据库的查询权限。变量 否 变量用于在仪表盘展示时，...
数据类型
通过阅读本文，您可以了解iOS SDK和Mac SDK涉及的数据类型。数据类型 描述 以上版本支持 AliRtcVideoTrack 视频Track类型。1.1 AliRtcAudioTrack 音频Track类型。1.1 AliRtcNetworkQuality 网络质量。1.1 AliRtcRenderMode 渲染模式。1.1 ...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
多值数据写入
每次是数据操作可以使用多个指标数据。多值模型数据写入 请求路径和方法 请求路径 请求方法 描述/api/mput POST 一次写入多个数据点。注意 多值模型数据和单值模型数据不兼容。单值模型数据需要通过原有的/api/put 接口进行写入。同时多值...
概述
创建数据迁移项目时，您可以指定的最大迁移范围是数据库级别，最小迁移范围是表级别。详情请参见 数据迁移 模块的内容。说明 目前数据迁移项目仅支持后付费模式，即按量付费计费模式。当前为限时免费阶段，具体收费时间另行通知。详情请...
调试实时任务
Dataphin支持对开发的实时任务代码进行数据采样或者手动上传并进行本地调试，以帮助您保障代码任务的正确性，避免人为错误或遗漏。本文将为您介绍如何调试实时任务。使用限制 Blink仅支持引擎版本3.6.0及以上进行本地调试。不支持...
通过向导模式配置离线同步任务
说明 流量度量值是数据集成本身的度量值，不代表实际网卡流量。通常，网卡流量是通道流量膨胀的1至2倍，实际流量膨胀取决于具体的数据存储系统传输序列化情况。错误记录数控制（脏数据控制）用于定义脏数据阈值，及对任务的影响。重要 当脏...
Windows
说明 投递视频帧数据的频率由应用方控制，依据视频源帧率保持间隔投递，直至输入停止。建议应用侧独立开启线程，进行数据投递，保证数据输入及时性。目前 Windows 端支持输入 YUV数据（格式I420），需要在参数 frame 的裸数据信息中，指定 ...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
配置MySQL输入
DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的，实时同步MySQL数据目前仅支持配置MySQL数据源为RDS的 5.x 或 8.x 版本的MySQL，如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS...
回调及监听
3.0 OnUserVideoMuted 对端用户发送视频黑帧数据发送通知。3.0 OnFirstRemoteVideoFrameDrawn 远端用户的第一帧视频帧显示时触发这个消息。3.0 OnFirstLocalVideoFrameDrawn 预览开始显示第一帧视频帧时触发这个消息。3.0 ...
截图模板
480 BlackLevel integer 否 多帧截图针对首帧过滤黑屏图片判定阈值。30 PixelBlackThreshold integer 否 判断像素点是否为黑色点的阈值。70 SpriteSnapshotConfig SpriteSnapshotConfig 否 雪碧图配置。详细示例请参见 ...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
回调及监听
1.1 onFirstPacketSent 首帧数据发送成功回调。1.1 onFirstPacketReceived 首包数据接收成功回调。1.13 onConnectionLost 网络断开回调。1.14 onTryToReconnect 尝试网络重连回调。1.14 onConnectionRecovery 网络重连成功回调。1.14 ...
错误码
10003007 视频帧输入数据不合法。10003008 视频编码器内部缓存已满，需要等待。10003009 iOS视频硬编码session报错。10003010 输入数据的pts非法，不符合编码要求。10003011 视频编码器被暂停，等待唤醒。10003012 视频编码器被暂停，等待...
错误码
10003007 视频帧输入数据不合法。10003008 视频编码器内部缓存已满，需要等待。10003009 iOS视频硬编码session报错。10003010 输入数据的pts非法，不符合编码要求。10003011 视频编码器被暂停，等待唤醒。10003012 视频编码器被暂停，等待...
错误码
10003007 视频帧输入数据不合法。10003008 视频编码器内部缓存已满，需要等待。10003009 iOS视频硬编码session报错。10003010 输入数据的pts非法，不符合编码要求。10003011 视频编码器被暂停，等待唤醒。10003012 视频编码器被暂停，等待...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
基本概念
但该方法的缺点是数据分块速度相对较慢。以zoom方式对数据进行分块的示意图如下：除了zoom方式外，Ganos Raster还提供了一种基于图像本地坐标系统的分块方式：local。该方式定义的起算点不再是基于全球范围，而是以数据本身的图幅范围的...
独享数据集成资源组
说明 独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量，而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量，请购买独享调度资源，详情请参见 购买指引。使用限制 独享数据集成资源组...
导入数据
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是数据。写入方式 选择文件的写入方式：INSERT：插入数据时...
数据导入
Excel格式：Excel文件中可以有表头（属性），也可以直接是数据。目标表 选择导入数据的目标表。说明 当文件类型选择CSV或Excel格式时，会出现该参数项。数据位置 选择数据的位置：第1行为属性：表格首行是字段名。第1行为数据：表格首行是...
创建数据流
说明 数据流的第一个节点必须是 数据输入，为数据流提供数据源。在左侧 任务类型 列表中，拖拽 数据输入 节点到画布空白区域。单击 数据输入 节点，在页面下方的 数据源 页签中配置数据源信息。配置项 操作 数据库类型 选择源数据库的类型...
- 产品推荐
- 这些文档可能帮助您