Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
Sensors Data（神策）数据源
目标表的字段列名为course_id"index":0/取来源表的第1列数据写入目标表的course_id列 },{"name":"course_name",/目标表的字段列名为course_name"index":1/取来源表的第2列数据写入目标表的course_name列 },{"name":"course_schedule",/...
行转列及列转行最佳实践
在数据开发、分析的过程中，您可能需要在不同维度下展示数据或为了符合某些数据表格式要求，此时需要对数据行转列或列转行。本文以一个具体示例为您介绍在MaxCompute中实现行转列、列转行的SQL。背景信息 行转列与列转行的示意图如下。行转...
测试方法
bin/ycsb run hbase10-P<workload>-p table=test-threads 200-p columnfamily=f-p maxexecutiontime=1200-p target=5000 范围读场景 20亿行基础数据，每行数据20列，value为20byte，查询区间为1000万行，每次范围读取50行。OPS限制为5000...
测试方法
bin/ycsb run hbase10-P<workload>-p table=test-threads 200-p columnfamily=f-p maxexecutiontime=1200-p target=5000 范围读场景 20亿行基础数据，每行数据20列，value为20byte，查询区间为1000万行，每次范围读取50行。OPS限制为5000 ...
动态列
执行以下语句在 t_dynamic_columns 表中写入c4列，c4列为动态列，写入成功。UPSERT INTO t_dynamic_columns(p1,c4)VALUES(2,'ef0011');执行以下语句在 t_dynamic_columns 表中写入c5列，c5列为动态列。由于动态列c5的值 f 不是偶数长度的...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
访问控制权限概述
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行等进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作权限...
管理访问控制权限
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行、元数据等进行访问控制权限管理。本文对DMS提供的访问控制权限进行介绍。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作...
修改名单抽奖数据
您还可以在组件 设置数据源 页面中，选择 数据源 类型为您自定义添加的动态数据源类型（如数据库、API等），使得数据接口获得的是整个抽奖池数据，即所有能参与抽奖的人员名单。通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平...
修改名单抽奖数据
您还可以在组件 设置数据源 页面中，选择 数据源 类型为您自定义添加的动态数据源类型（如数据库、API等），使得数据接口获得的是整个抽奖池数据，即所有能参与抽奖的人员名单。通过配置动态数据源内容，可动态获取抽奖名单数据，实现公平...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
垃圾回收机制
当无效数据行占总数据行数的一定数值时（您可以根据需求自定义设置无效数据行数占比），PolarDB PostgreSQL版（兼容Oracle）会自动触发垃圾数据的回收动作，通过VACUUM进程对垃圾数据进行回收；您也可以手动执行 vacuum table_name 进行...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
权限说明
DLF数据权限：主要控制DLF内部资源的访问和使用权限，包括数据库，数据表，数据列，函数，数据目录等。以及数据权限的操作权限。DLF权限校验的示例图：第一层：RAM OpenAPI 权限 主要控制DLF所有OpenAPI的访问权限，决定RAM用户是否可以...
基本概念
一张表由行（Row）和（Column）组成，其中行表示一行数据，列表示一行数据中不同的字段。云数据库SelectDB版 支持的表引擎如下：Aggregate表引擎 Unique表引擎 Duplicate表引擎 索引（Index）索引是对表中一列或多列的值进行排序的一种结构...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
恢复数据
在 数据备份 页签，单击目标备份数据所在行 操作 列中 恢复。在弹出的 数据恢复 对话框中，单击 确定。在 克隆实例 页面，配置实例信息。参数 说明 克隆源备份集 选择需要恢复的备份集。地域和可用区 和原实例保持一致。可用区 和原实例...
通用属性
column_mapping 当DLA中的列名跟底层数据中的列名不一致的时候，或者底层数据中没有列的概念的时候，可以用property来指定底层数据列名与DLA列名的对应关系。示例如下：create external table person(id int,name string,age int)...
数据服务集群
Apache HBase支持海量数据存储，具有很高的存储和计算扩展性，以及很好的读写性能，支持动态列、数据多版本存储，以及数据的生命周期管理等特点。适用场景 基于Apache HBase的优势和特点，DataServing适用于以下场景：风控或画像等需要支持...
SET LABEL
MaxCompute支持在项目级别为用户设置访问许可等级标签，为表或表的列设置敏感等级标签（Label），用户仅可以访问MaxCompute项目中敏感等级小于等于自身访问许可等级的表或列数据。背景信息 Label权限控制即LabelSecurity，是项目级别的一种...
设置列存数据压缩算法
col1、col2和col3列的数据都使用LZ4算法进行压缩。表 t13 未设置表的压缩算法，col1单独配置为不开启压缩；col2未设置 codec_opt，将使用参数 imci_default_codec 配置的压缩算法，使用LZ4算法压缩；col3设置 codec_opt={ZSTD}，由于列的...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
产品更新动态
2023年4月 发布时间 2023-04-25 功能名称 功能描述 相关文档 支持数据更新——实现卡片内容的动态数据呈现 通过数据库连接方式的数据源，可以设置数据更新频率，手动/周期完成数据内容的更新，目前支持的可更新数据源是：MySQL、ADB MySQL...
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
管理敏感数据
本文介绍设置敏感列、脱敏规则，以及申请查看敏感数据的步骤。前提条件 用户角色为管理员、DBA和安全管理员。说明 鼠标移动到界面右上角的，查看您的角色。支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、...
场景：调度参数在数据集成的典型应用场景
场景一：同步增量数据、场景四：同步历史数据 动态表名或文件路径 表名或文件名使用 调度参数，可实现每次同步不同表的目的。例如OSS、FTP，MySQL等插件。部分插件可能需要转脚本配置。场景二：同步动态表名或文件名中的数据 在同步时为...
快速开始
从 HBase增强版Shell访问 页面下载最新版本的HBase Shell，并根据 Shell使用指导 完成...通过Search查询的结果中，每行数据都会有一个列 id，这个 id 即为这一行数据在HBase表中的rowkey。拿到这个rowkey后，回查HBase，就可以获得完整数据。
产品优势
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle...
FineBI
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
SQL窗口介绍
数据管理DMS的SQL窗口可以非常便捷地执行各类SQL语句，同时支持以可视化的方式对目标数据库进行增、删、改、查等操作，适用于数据查询、数据开发等场景。前提条件 已具备目标库或表的查询权限。申请权限，请参见 权限管理。SQL窗口界面介绍...
名词解释
DYNAMIC COLUMN 〇 ✖️ Dynamic Column（动态列）是指在宽表引擎中创建宽表时，未显式指定但在实际业务中动态写入数据的列。在宽表引擎中，建表可以通过设置表属性来指定表是否允许写入动态列。MUTABILITY 〇 ✖️ Mutability（易变性）是...
选择使用低基数列作为分区键
在云数据库ClickHouse企业版中，当您向没有使用分区键的表发送一个插入语句（插入许多行）时，插入该表所有的行数据将会在存储中写入一个新的Part（即数据片段）。然而，当您向云数据库ClickHouse企业版中有分区键的表发送一个插入语句时，...
上传数据
DataWorks支持将本地的CSV文件或部分文本文件数据直接上传至MaxCompute表中，本文为您介绍操作步骤详情。前提条件 已准备好用于接收本地数据的MaxCompute表。您可以选择已创建的MaxCompute表，或者直接新创建一个MaxCompute表，建表操作可...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据替换目标表已有数据，在目标表存在多个数据约束的情况下，数据替换可能会替换掉多条目标记录 如果写出数据和目标存储已有数据没有...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
- 产品推荐
- 这些文档可能帮助您