数据查询
使用限制 为确保数据安全，本系统每次查询最多返回100条数据。ROW 字段对应Lindorm的RowKey，ROW 和 qualifier 都是varbinary类型，qualifier 如果不属于family，需要指定family。ROW 和 COL 是SQL保留字段，查询时需要加反引号（`）。...
区域图（v4.0以下版本）
由于在配置面板的 数据配置 中设置了 最大容量 为 6，因此可视化应用上仅显示前6条数据。x：折线图中每个圆点的类目，即x轴的值。该字段类型与格式须与配置项中x轴的标签数据种类与格式保持一致。y：折线图中每个圆点的值，即y轴的值。s：...
资产目录
最多返回10000条数据。区域 描述 资产搜索区 您可根据资产对象的名称或描述关键字进行搜索。支持搜索框搜索定位页签下的全量资产。如果有搜索记录，为您展示最近搜索的记录，可快速点击资产并发起搜索。点击下拉列表的对象，将直接跳转到...
DescribeDataAssets-查询数据资产敏感信息
71064826-726F-4ADA-B879-05D8055476FB PageSize integer 分页查询时，每页最多显示的数据条数。20 TotalCount integer 查询到的存在敏感数据的资产总数量。1 Items object[]数据资产列表。Acl string OSS 文件桶的 ACL 权限设置。说明 ...
查询报错问题
用户使用的是普通表，且写入大量数据后未执行optimize操作，此时执行SQL会随着插入数据多而变得越来越慢。这是因为分析型数据库MySQL版的实时数据增量部分默认未建索引，因此执行查询时会频繁访问磁盘。为保证查询速度，建议当用户执行过...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
导入
使用限制 批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。进入导入页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 ...
大量数据导出方案
SELECT语句最多返回1万条数据至客户端。即如果在客户端（包括SQLTask）直接执行SELECT语句，相当于在SELECT语句最后加了Limit N。Tunnel方式导出 如果您需要导出的查询结果是某张表的全部内容（或者是具体的某个分区的全部内容），可以通过...
分组取出每组数据的前N条
本文将为您介绍如何对数据进行分组，取出每组数据的前 N 条数据。示例数据 目前的数据，如下表所示。empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.0 7900 JAMES CLERK 950.0 7934 MILLER CLERK 1300.0 7499 ALLEN ...
修饰词
批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页签，您可查看导入结果详情。单击详情列表修饰词后的 更多详情，即可跳转至该修饰词的编辑界面，执行更多修饰词相关操作。...
概览信息
背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量实时-1。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 发现，进入 概览 页面。在数据资产概览页面，根据数据需求查看或搜索...
概览信息
背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量实时-1。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 发现，进入 概览 页面。在数据资产概览页面，根据数据需求查看或...
离线同步并发和限流之间的关系
脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏数据是指数据条目在写入目标数据源过程中发生了异常，则此条数据被视为脏数据。由于各类异构系统对数据处理的复杂和差异性，目前策略是写入失败的数据均被归类于脏数据。在一些数据...
平滑扩容
应用停写和路由切换 校验完成后，并且增量依然维持准实时同步，业务选定时间进行切换，为确保数据严格一致，建议应用停服（也可以不停，但可能面临同一条数据高并发写入覆盖问题），引擎层进行分库规则的路由切换，将后续流量转向新库，...
SQL洞察
挂载到 PolarDB-X 1.0（DRDS）的 RDS MySQL 实例执行一条SQL语句时，由于水平拆分（分库分表）原因，会在RDS MySQL实例上产生多条SQL日志。数据库实例的数据迁移会引起闪断，迁移期间SQL洞察丢失部分数据是符合预期的。当数据库实例负载...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请...选中一条数据，单击 图标，可查看选中数据。单击 图标，可下载查询结果。
质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
质量规则模板类型
实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时数据质量。稳定性 实时统计值检测 实时数据为指标值或可统计数据时...
查询物理表数据
数据查询提供通过SQL查询预览数据资源，为开发人员和数据应用人员提供全面直观的数据呈现。本文介绍如何查询物理表数据。前提条件 已新建云计算资源，具体操作，请...选中一条数据，单击 图标，可查看选中数据。单击 图标，可下载查询结果。
预览物理表数据
数据预览：在 数据预览 页面，默认展示500条数据，不足500则展示全部数据。当云计算资源为空间数据类型时，在 数据预览 页面左上角，打开 地图模式 开关，查看空间地图和当前加载页数据所对应的所有点、线、面图形。数据筛选：在 数据预览 ...
预览物理表数据
数据预览：在 数据预览 页面，默认展示500条数据，不足500则展示全部数据。当云计算资源为空间数据类型时，在 数据预览 页面左上角，打开 地图模式 开关，查看空间地图和当前加载页数据所对应的所有点、线、面图形。数据筛选：在 数据预览 ...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
概述
创建PolarDB for MySQL数据库集群 设置集群白名单 创建数据库账号 创建数据库 连接数据库 创建数据表 本示例在-PolarDB中创建 test_ads 数据库和 login_info 表，login_info 表存储5条数据。CREATE TABLE `login_info`(`id` int(11)NOT ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及...为保证及时性，您需要确保整条数据加工链路上的每个环节都可以及时产出数据。本教程将利用DataWorks智能监控功能保证数据加工每个环节的及时性。
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及...为保证及时性，您需要确保整条数据加工链路上的每个环节都可以及时产出数据。本教程将利用DataWorks智能监控功能保证数据加工每个环节的及时性。
通过自定义模型识别
本次模型训练将从您选的样本字段中各随机抽取不超过100条数据进行训练，并根据您的样本字段数量估算耗时。说明 模型训练时间较长，请您等待。等待过程中，您也可以关闭训练弹窗，操作其他功能，模型将在后台自动运行训练。查看模型训练结果...
按扫描量付费
计费规则 计费时，DLA保证扫描的每条数据至少为32MB。DLA每小时生成一个收费订单，并从您的阿里云账号扣费。您可以登录 数据湖分析管理控制台，通过 费用>订单 查看消费记录。如何节省费用 您可以先通过以下3种方式对原始数据进行处理，...
配置Hologres输出
即源端 INSERT 一条记录，Hologres中同样 INSERT 一条数据。源端进行 UPDATE 或 DELETE 操作，Hologres会执行相应的 UPDATE 或 DELETE 操作。插入 表示将Hologres作为流存储，通过 INSERT 保存源端同步过来的数据。写入冲突策略 包括 覆盖 ...
装饰条
数据源 装饰条数据接口 由静态数据切换至DataV数据集。更新DataV数据集配置（此操作不会使字段配置丢失）。BI分析数据配置面板中的详细操作说明，请参见 BI分析模式数据面板功能介绍。配置字段说明 字段 说明 图片路径 装饰条的图片路径，...
如何支持超大事务
首先在数据表中导入2^25条数据，数据的 id 为0,1,2,.,2^26-1，每条数据的 c 列值为"aa.aa"（255个a的字符串）。然后开启事务，执行以下语句：UPDATE `tb` SET c=“bb.bbb”(255个b的字符串)where id?假设语句中的?为 x，则会修改共 x 条...
通过上传本地数据新建数据集
必须包含至少一条数据，否则无法上传。如存在重复英文名称，则会上传失败。字段中文名和字段英文名需要设置为文本格式进行上传，否则会上传失败。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击...
Delta Lake概述
而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换、特征化等操作都是流上的节点动作，无需对历史和实时数据分别处理。与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL...
任务调试流程
默认展示1W条数据。下载数据 说明 租户管理员、租户安全管理员、以及被授权 空间管理员 角色的RAM用户可进入 数据查询与分析管控，对查询结果的展示条数、下载条数、是否允许下载等操作进行管控。授权详情请参见 添加空间成员并管理成员...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
日志服务通过数据集成投递数据
说明 您可以进行数据预览，此处仅选择LogHub中的几条数据展现在预览框。由于您在进行同步任务时，会指定开始时间和结束时间，会导致预览结果和实际的同步结果不一致。选择字段的映射关系。在 通道控制 中配置 同步速率 和 脏数据策略 等...
阶段三：数据安全持续运营
不同企业对下载行为风控规则的定义存在差异，本文将以“实时阻断或审批超过1000条数据的下载行为”为例进行展示。实现原理 DataWorks的OpenEvent为您提供消息推送订阅的能力，同时，您可将服务程序注册为DataWorks的扩展程序，通过扩展程序...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数据库性能
数据管理DMS整合了数据库自治服务DAS的部分功能，可以帮助您掌握数据库实例的性能状况，快速、精准、有效地优化数据库服务。前提条件 如果您的数据库的管控模式为自由操作或稳定变更，并且您拥有实例的登录权限，当您登录目标实例后您将...
DataWorks数据集成
关于数据集成的更多信息，请参见 数据集成（Data Integration）和 支持的数据源与读写插件。应用场景 AnalyticDB PostgreSQL版 可以通过数据集成的同步任务将数据同步到其他的数据源中（AnalyticDB PostgreSQL版 数据导出），并对数据进行...
- 产品推荐
- 这些文档可能帮助您