我的资产
通过不同的权限来源，用户可获取数据表、API等类型数据资产的使用权限。我的资产以用户的视角展示自有权限或申请授权成功的数据表、数据服务API数据资产，并提供数据资产详情查看等功能，帮助用户清晰的了解在数据加工、数据分析等场景下可...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
数据表
已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择 资产明细>我可使用的，在 我可使用的 页面，选择 数据表＞...
数据存储
其中审计日志单独存储在一个数据库表中，包括USER、DATABASE、RT、SQL、TYPE等明细信息；把审计日志记录的简要明细信息进行多维的聚合后，生成实例的画像表信息，存储在画像表中。查询详情日志被分解为查询级别统计信息表、子任务级别统计...
写数据表
用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 查看上游节点输入到当前节点的字段...
无感集成（Zero-ETL）
id 分布键 数据表中的一个或多个字段，用来确定数据在分布式环境下的存储位置。id 类型 数据分区类型。哈希分布表 定义状态 定义完库表字段配置状态后，即从未定义变为已定义。已定义 配置完所有资源后，请单击 下一步保存任务并预检查。预...
SQL 编辑和执行
column_name column_type 指定数据表中每个列（字段）的名称和数据类型，如果创建多个列，需要用逗号隔开。SQL 窗口编辑区的工具栏中同时提供以下功能键：功能 说明 SQL 检查 单击该按钮检查 SQL 语法。执行计划 查看选中的或当前光标所在...
测试数据构建
操作步骤 本示例通过测试数据构建功能在 big_table 表中批量生成100万条测试数据。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 数据库开发>环境构建>测试数据构建。说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 ...
获取物理表
本文介绍如何在数据同步中获取物理表。前提条件 已准备好相应的数据源，具体操作，请参见 新建数据源。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
获取物理表
本文介绍如何在数据同步中获取物理表。前提条件 已准备好相应的数据源，具体操作，请参见 新建数据源。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在...
表基础
行的数目是变化的，它反映了在一个给定时刻表中存储的数据量。SQL 并不保证表中行的顺序。当一个表被读取时，表中的行将以非特定顺序出现，除非明确地指定需要排序。此外，SQL 不会为行分配唯一的标识符，因此在一个表中可能会存在一些完全...
表引擎
云数据库ClickHouse 支持的表引擎分为MergeTree、Log、Integrations和Special四个系列。本文主要对这四类表引擎进行概要介绍，并通过示例介绍常用表引擎的功能。概述 表引擎即表的类型，在 云数据库ClickHouse 中决定了如何存储和读取数据...
TRUNCATE TABLE
注意事项 执行 TRUNCATE TABLE 命令清空表中的数据，表结构不会被删除。数据库备份期间无法执行，执行 TRUNCATE TABLE 将会报错。当集群中有状态为运行中（RUNNING）的Build任务时，执行 TRUNCATE TABLE 将会报错，需要等Build任务完成后再...
Schema约束
写入数据的新增一个标签（Tag）或量测值（Field）时，时序引擎不会报错，而是会在对应的时序数据表中自动添加一个标签（Tag）字段或量测值（Field）字段。写入数据的相同字段的数据类型发生变化时，时序引擎会检测到字段的数据类型不匹配而...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
ots:BatchWriteRow 批量插入、修改或删除一个或多个表中的若干行数据。ots:BatchGetRow 批量读取一个表或多个表中的若干行数据。ots:ComputeSplitPointsBySize 将全表的数据在逻辑上划分成接近指定大小的若干分片，返回这些分片之间的分割...
全量数据同步
已获取数据源的物理表，具体操作，请参见 获取物理表。RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择...
Flink_SQL任务开发方式
以下示例代码实现了模拟数据的输入输出（从t1表中读数据写到t2表中）。说明 使用原生DDL+DML开发语句创建表，您需关闭Dataphin 编码规范 中的 禁止使用Flink原生DDL语句 设置。具体操作，请参见 编码规范。create temporary table t1(id ...
数据查询
查询已有数据 支持查询 SQL表 和 HBase表 中已有的数据。在集群管理系统的左侧导航栏中，选择 数据查询>数据查询（兼容HBase）。设置筛选条件，包括 namespace 和 表。可选：输入列簇、row key、start key（分区起始Key）、end key（分区...
Flink_SQL任务开发方式
以下示例代码实现了模拟数据的输入输出（从t1表中读数据写到t2表中）。说明 使用原生DDL+DML开发语句创建表，您需关闭Dataphin 编码规范 中的 禁止使用Flink原生DDL语句 设置。具体操作，请参见 编码规范。create temporary table t1(id ...
水印使用限制
数据源嵌入水印时有以下使用限制。...在数据安全中心控制台配置任务，将A表中的数据嵌入水印后写到B表，不会修改A表数据，仅影响写入B表的数据。嵌入水印后的数据有一部分会与原始值不同。支持空格算法和最低有效位算法。
建表并上传数据
本地数据上传至bank_data DataWorks支持以下操作：上传本地的文本文件至工作空间的表中。通过数据集成模块，从多个不同的数据源导入业务数据至工作空间。说明 本地文本文件上传的限制如下：文件类型：仅支持.txt、.csv 和.log 类型的文件。...
增量数据同步
已获取数据源的物理表，具体操作，请参见 获取物理表。RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择...
导入导出表数据
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
PostgreSQL数据源
订阅者从他们订阅的发布中提取数据。表的逻辑复制通常从对发布者数据库上的数据进行快照并将其复制到订阅者开始。完成后，发布者上的更改会实时发送给订阅者。创建账号。操作详情请参见 创建账号和数据库。配置权限。检查账号是否有 ...
查询结果不符合预期的常见原因
表属性VERSIONS被设置为0导致数据被删除 宽表的VERSIONS属性的值为0，表示表中的数据不会保留，任何写入的数据都将被删除，无法查询。如果建表时未设置VERSIONS属性，则VERSIONS的值默认为1，即表中的数据仅保留一个版本。更多介绍，请参见...
查询Delta表数据
执行以下命令，向表中插入数据。insert into delta_table values 0,1,2,3,4;执行以下命令，查看表数据。select*from delta_table;返回包含如下的信息。2 3 4 0 1 Time taken:1.847 seconds,Fetched 5 row(s)查询Delta表数据。通过Hive 查询...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
概览信息
资产搜索：选择需要搜索的资产，例如数据表，在 资产搜索 文本框中输入数据表的资产名称，单击 图标，跳转到资产目录展示相应的数据表。说明 支持数据表、指标、标签和API资产搜索。数据资产总量统计：总资产统计：展示资产总量和今日新增...
概览信息
资产搜索：选择需要搜索的资产，例如数据表，在 资产搜索 文本框中输入数据表的资产名称，单击 图标，跳转到资产目录展示相应的数据表。说明 支持数据表、指标、标签和API资产搜索。数据资产总量统计：总资产统计：展示资产总量和今日新增...
访问MaxCompute数据源
输入以下语句，单击 执行SQL（F8），向表中写入数据。INSERT INTO odps.spark_on_maxcompute.spark_test values(1,'aaa',101),(2,'bbb',102);输入以下语句，单击 执行SQL（F8），查询MaxCompute表数据。SELECT*FROM odps.spark_on_...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录 数据资源平台控制台。在...
预览物理表数据
数据查询提供不同数据资源的预览，可为开发人员、数据应用人员和数据分析人员提供全面直观的数据呈现。本文介绍如何预览物理表数据。前提条件 已新建云计算资源，具体操作，请参见 新建云计算资源。操作步骤 登录企业数据智能平台。在页面...
开启和使用冷数据分层存储
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
开启和使用冷数据分层存储
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
按线上API关联
根据已上线的API（服务）关联对应资源信息，手动选中目标服务后，系统自动选中API的归属应用、和API关联的物理表、和API关联物理表有产出关系的场景、场景下包含的所有场景节点、场景下输出的物理表，以及场景节点包含的所有逻辑表，以及...
数据表
已获取数据表资产“dws_ren_kh_demo_di（银行客户信息表）”，具体操作，请参见 数据表。操作步骤 登录 数据资源平台控制台。在顶部菜单栏，单击（我的资产）。在左侧导航栏，选择 资产明细>我已授权的＞数据表。在 我已授权 的数据表页面...
HikariCP 连接池连接 OceanBase 数据库示例程序
Main.java 代码介绍 Main.java 文件是示例程序的一部分，用于演示通过 HikariCP 连接池获取数据库连接，并执行一系列数据库操作，包括创建表、插入数据、删除数据、更新数据、查询数据，并将查询结果打印出来。本文 Main.java 文件的代码...
数据归档
数据归档至OSS端时会将ESSD中的表切分为若干个数据文件块上传，每个数据文件块对应的表空间、数据范围等信息保存在归档数据控制块中。控制块保存在内存中，用于快速定位归档数据请求的数据位点，并通过LRU算法进行缓存控制。innodb_oss_...
入门概述
快速入门简要介绍了如何快速上手数据资源平台，...添加数据节点：在数据开发模块中创建节点，并在物理表中插入对应数据，具体操作，请参见 新建公共节点。查询数据：在数据查询模块中预览插入到物理表的表数据，具体操作，请参见 物理表查询。
- 产品推荐
- 这些文档可能帮助您