概述
提取日志时间 解析原始日志中的时间字段，并可将解析结果设置为日志时间。更多信息，请参见 Go语言时间格式。转换IP地址 将日志中的IP地址转换为地理位置（国家、省份、城市、经纬度）。更多信息，请参见 转换IP地址。数据脱敏 将日志中的...
楼宇热力图
说明 当配置了时间字段时，会出现该配置项，默认开启。页面加载自动播放：勾选后配置页面自动播放的播放间隔。说明 勾选 开启时间轴后 支持配置页面加载自动播放。播放间隔以分钟为单位，最小值为1分钟，最大值为60分钟。③计算方式 勾选 ...
数据治理
静态脱敏 将数据脱敏后存储到指定的数据库位置。当前DataWorks为您内置了数据集成脱敏场景，子场景为静态脱敏的典型应用场景。实现动态脱敏步骤 本次实验对生产表（retail_e_commerce_2.dim_ec_mbr_user_info）的 reg_mobile_phone 字段和 ...
数据建模
字段类型准确性校验 取表字段的字段类型元数据与期望的类型进行比较，符合规则则通过。标准字典值校验 对应分区，字段值与对应数据字典的值编码进行比较，字段值全部存在于字典的值编码中的，则规则通过。自定义SQL规则：单表自定义SQL：...
资源函数
说明 使用增量更新模式拉取数据，必须符合如下条件：数据库表中必须有唯一主键并且有一个时间字段，例如示例中的 item_id 和 update_time。使用增量更新模式拉取数据时，必须在函数中设置 primary_keys、refresh_interval 和 update_time_...
字段操作函数
通过e_set函数设置时间字段 F_TIME 或_time_时，必须设置为数字、字符串。e_set(F_TIME,"abc")#错误 e_set(F_TIME,"12345678")#正确 参数说明 参数 参数类型 是否必填 说明 key String 是 目标字段名，也可以通过字符串表达式获得该字段名...
创建和管理自定义存储表
事务表：适用于自定义主键，数据按照主键粒度通过行级别更新和覆盖的表，类似于MySQL之类关系型数据库中的表。重要 该表最多支持存储3000万行的数据，超过3000万行的数据将无法写入。时序表：适用于存储随着时间不断追加的数据，例如设备...
资源角色
数据管理DMS提供了4种资源角色，包括实例DBA、实例Owner、数据库Owner、表Owner。本文介绍各资源角色具有的权限。资源角色名 说明 权限 实例DBA 每个实例只能有一个DBA。系统角色为DBA、管理员的用户可以编辑调整实例DBA。可查看实例上每个...
RDS for MySQL字符集相关说明
修改数据库的字符集 create database db_name character set utf8;创建数据库时指定字符集 alter table tab_name default charset utf8 collate utf8_general_ci;修改表字符集和字符序 示例如图：控制台修改字符集参数（character_set_...
定义SQL组件
防止配置的输出表和组件定义的输出表字段个数不一致、字段类型不兼容，导致组件运行时出错。说明 该定义仅为参考，为您提供输出参数配置的帮助指示，并不会即时强制检查。参数定义的格式建议为：字段1名 字段1类型 字段1注释 字段2名 字段2...
端到端图搜解决方案
1、配置数据源 配置数据源（目前支持的数据源有“MaxCompute数据源”和“API推送数据源”）这里以MaxCompute数据源为例：点击“添加数据源”，数据源类型选择“MaxCompute”，设置project、accesskeyID、accesskeyId、accesskeySecret、...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见 ...
StorageDescriptor
名称 类型 描述 示例值 object StorageDescriptor BucketCols ListString 分桶的字段的数组 Cols array 表中的所有字段 FieldSchema 表字段的定义 Compressed boolean 是否启用压缩 false InputFormat string 输入格式，具体参见...
创建表
AUTO_INCREMENT自增字段指明该列为唯一值，该列必须为BIGINT类型，分布式数据库会自动为该列生成一个64位的唯一值，且该字段将自动成为主键，对于表的字段，若用户插入该字段，那么数据库将存储用户提供的值，用户需要自行保证该值的唯一性...
数据类型映射
多元索引的字段值来源于数据表中同名字段的值，两者的数据类型必须相匹配，多元索引字段数据类型与数据表中字段数据类型的匹配关系请参见下表。注意 表中的类型必须一一对应，否则数据会被当做脏数据丢弃，尤其是Geo-point和Nested拥有各自...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
限制账号只能访问指定表、视图、字段
GRANT ALL PRIVILEGES ON `<数据库名>`.`<表名>` TO '<用户名>'@'%';GRANT SELECT ON `mysql`.`help_topic` TO '<用户名>'@'%';GRANT SELECT ON `mysql`.`func` TO '<用户名>'@'%';GRANT SELECT ON `mysql`.`time_zone` TO '<用户名>'@'%';...
数组和嵌套类型
嵌套类型字段在写入数据表时为字符串类型，对应到多元索引嵌套字段类型的格式为JSON对象的数组，例如[{"tagName":"tag1","score":0.8},{"tagName":"tag2","score":0.2}]。重要 即使只有一个子行，也必须按照JSON数组的格式构造字符串。单层...
insertOne
说明_id 字段为系统保留字段，在插入数据时请勿指定该字段值，系统将会自动分配。如果您必须指定该字段的值，则只能接收 ObjectId 格式（长度为 24 且仅包含 0-9、a-z、A-Z）。字段值符合 yyyy-MM-dd'T'HH:mm:ss.SSS'Z' 格式将会自动转化为...
insertMany
id 字段为系统保留字段，在插入数据时请勿指定该字段值，系统将会自动分配。如果您必须指定该字段的值，则只能接收 ObjectId 格式（长度为 24 且仅包含 0-9、a-z、A-Z）。字段值符合 yyyy-MM-dd'T'HH:mm:ss.SSS'Z' 格式将会自动转化为日期...
离线同步能力说明
示例：创建一个离线同步任务，每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区，原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds，可以将任务配置如下：同步任务配置：调度参数配置：订单...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
创建外部表
高级选项 表名冲突 创建表时，如果数据库中已存在当前创建的表名称，您可以根据需要选择如下处理方式：忽略，继续创建其他表：忽略当前创建的表，继续创建其他表。更新，修改同名表：更新已有表的数据。报错，不再重复创建：产生报错，不再...
扩展字段
可类比关系型数据库中字段的 DEFAULT 值。数据类型：不可编辑。默认值：可编辑。字段类型：下拉框 Select 数据类型：指定数据为字符串或数字。数据项：定义下拉框中不同选项的键值对。处于数据兼容性考虑，数据项创建完成后无法删除，只能...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
云数据库 RDS MySQL 版如何查看表的主键字段
概述 本文介绍云数据库 RDS MySQL 版查看表主键字段的方法。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改...
过滤条件不下推
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
管理敏感数据
页面介绍 元数据信息汇总：可查看实例中数据库相关信息，包括 数据库数量、已扫描的 表数量、已扫描的 字段数量 以及 涉敏字段数量。涉敏字段-法案分布：可查看数据库中的敏感字段涉及哪些法案或政策，以及相关敏感字段的数量和分布情况。...
数据迁移服务隐藏列机制说明
源端 目标端 参考文档 OceanBase 数据库 MySQL 租户 OceanBase 数据库 MySQL 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle 租户 OceanBase 数据库 Oracle 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle ...
配置ClickHouse输入组件
阿里云数据库ClickHouse创建数据表的操作，请参见 创建表；非阿里云数据库ClickHouse创建数据表的操作，请参见 ClickHouse官方文档。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线单条管道脚本的开发页面。按照下图指引，进入 ...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
配置SAP Table输入组件
RFC_READ_TABLE是SAP系统自带的RFC函数，用于读取SAP数据库表的结构和数据。参数 描述 步骤名称 即SAP Table输入组件的名称。Dataphin自动生成步骤名称，您也可以根据业务场景修改。不超过64字符。数据源 可选取Dataphin中所有SAP Table...
配置MaxCompute输出
实时同步写入MCompute表支持 时间自动分区 与 根据字段内容动态分区 两种分区方式 时间自动分区：根据_execute_time_字段将数据写入到对应时间分区中，详情请参见 实时同步字段格式,重要 您最少需要设置二级分区（月和年），最多支持设置五...
Quick BI如何设置自动用字段备注作为字段名
问题描述 数据库的建表语句已经给字段加了备注名称，希望创建数据集时，可以直接用该备注名称作为字段名 解决方案 需要修改工作空间的配置信息，个人空间与群空间配置入口不一样。要确认数据集是在哪个工作空间创建的，然后进入相应工作...
步骤二：编写SQL分析语句
重要 如果SQL分析任务存储数据到自定义的时序表中，每条数据写入都必须包含时间戳字段 ts，否则数据写入时序表会失败。如果写入失败，您可通过 任务运维 页面查看SQL分析任务的 运行日志。具体操作，请参见 运维SQL分析任务。您可单击工作...
条形图
该组件以时间作为Y轴，使用条状形式展示一条或多条数据变动趋势，方便您分析数据的变动情况。下文介绍组件的详细配置方法。前提条件 已完成组件待分析数据集的工作簿创建。具体操作，请参见 创建工作簿。步骤一：配置字段 在数据分析报表...
柱状图
该组件以时间作为X轴，使用柱状形式展示一条或多条数据变动趋势，方便您分析数据的变动情况。下文介绍组件的详细配置方法。前提条件 已完成组件待分析数据集的工作簿创建。具体操作，请参见 创建工作簿。步骤一：配置字段 在数据分析报表...
散点图
该组件以时间作为X轴，使用散点形式展示一条或多条数据变动趋势，方便您分析数据的变动情况。下文介绍组件的详细配置方法。前提条件 已完成组件待分析数据集的工作簿创建。具体操作，请参见 创建工作簿。步骤一：配置字段 在数据分析报表...
折线图
该组件以时间作为X轴，使用折线或曲线展示一条或多条数据的变化趋势，方便您分析数据的变动情况。下文介绍组件的详细配置方法。前提条件 已完成组件待分析数据集的工作簿创建。具体操作，请参见 创建工作簿。步骤一：配置字段 在数据分析...
- 产品推荐
- 这些文档可能帮助您