新建及管理质量规则模板
两表字段统计值一致性比较/单表字段统计值一致性比较：统计方式：可统计字段分组个数、字段最大值、字段重复率等，详情请参见 创建全域数据表质量规则。两表字段业务逻辑一致性比较：业务逻辑：输入SQL表达式函数。例如${T1.total_sales}=$...
用户洞察常见问题
常见失败原因包括：无相应数据的权限，可能是组织数据源的数据源表授权设置发生了变更，特别是数据表启用行级权限控制后，需要给所有工作空间针对全部受控字段设置授权值，否则工作空间取不到数据。请组织管理员检查授权情况，参见 授权...
新建及管理质量规则模板
一致性 包括 单字段业务逻辑一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较、单表字段统计值一致性比较、跨源两表字段统计值一致性比较。及时性 包括 单表时间字段比较、两表时间字段比较、时间函数比较。自定义SQL ...
HikariCP 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 HikariCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 hikaricp-mysql-client 示例工程 前提条件 您已安装 OceanBase...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
为了提取数据表中的数据，需要构建数据表的检索索引表，支持自由指定表名（需满足数据库规范），本文以 schema_index 为例，构建检索索引表的SQL语句如下：/*创建数据库表索引*/*polar4ai*/CREATE TABLE schema_index(id integer,table_...
SQL数据类型映射
本文介绍了SQL中字段数据类型、数据表中字段数据类型和多元索引中字段数据类型的映射关系。使用SQL过程中请确保SQL中和数据表中字段数据类型相匹配。重要 SQL中主键列的数据类型使用VARBINARY和VARCHAR时，建议最大长度设置为1024，即使用...
创建单物理表服务单元
如果业务数据表的字段类型不在待选参数类型范围内，推荐 您选择String。服务单元字段 支持自定义勾选部分源表字段作为服务单元字段，对源表新增字段也可在编辑时添加勾选。配置数据源中字段映射到服务单元中的字段名称，您可以根据业务情况...
数据表管理
更新从数据库导入的数据表 字段同步 当数据库中新增或删除有关列的字段后，通过 同步字段 功能，系统会自动检测数据库中的字段变更内容，并可根据实际业务需求选择是否对有关元数据做字段变更同步。具体操作如下：选择 知识中心>数据问答>...
MaxCompute表数据
包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。前提条件 已绑定MaxCompute引擎至当前工作空间，绑定后DataWorks会面向引擎自动采集元数据，...
文档更新动态（2023年）
更新说明 创建全域数据表规则 创建数据表质量规则 资产安全-敏感数据识别 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。...
资产目录
特殊的，如果您搜索的是数据表且数据表非Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以使用点击 手动同步 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。刷新元数据详情请参见 刷新...
文档更新动态（2022年）
更新说明 管理动态脱敏规则、项目安全策略、脱敏算法、密钥管理 2022年10月25日 数据表质量规则和质量规则模块升级 支持多种数据源表的质量监控，支持数据源连通性及表结构异动性监控。内置丰富的质量规则模板。资产报告升级，可从资源粒度...
概述
如果查询的SQL语句中的过滤字段不是数据表的主键，则需要进行全表扫描。由于col1不是数据表的主键，表格存储会进行全表扫描找到col1的值为'阿%'的一行数据；由于col2不是数据表的主键，表格存储会再次进行全表扫描找到col2的值为'a'的两行...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
表结构说明
本文介绍了SQL Trace功能使用的 mysql.sql_sharing 表和 information_schema.sql_sharing 表的表结构和相关字段说明。mysql.sql_sharing MySQL库下一张位于InnoDB引擎的系统表 sql_sharing，用于保存需要跟踪的指定的SQL语句。其表结构如下...
功能更新动态（2023年）
创建全域数据表规则 创建数据表质量规则 数据安全 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。创建、配置及手动触发识别...
管理健康报告
表分析 该页面展示数据表的查询热度、查询SQL类型、数据分布均衡度等相关的指标，为优化数据表提供判断依据。主要指标如下表所示。指标 说明 SQL执行次数 是指包含这张表的SQL的总执行次数。一般的，表的执行次数越多，越需要对表设计进行...
JindoCube使用说明
可以选择的Cache类型分为两类：Raw Cache：某一个表或者视图的raw cache，表示将对应表或视图代表的表数据按照指定的方式持久化。在创建Raw Cache时，需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、数字、...
JindoCube使用说明
可以选择的Cache类型分为两类：Raw Cache：某一个表或者视图的raw cache，表示将对应表或视图代表的表数据按照指定的方式持久化。在创建Raw Cache时，需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、数字、...
JindoCube使用说明
可以选择的Cache类型分为两类：Raw Cache：某一个表或者视图的raw cache，表示将对应表或视图代表的表数据按照指定的方式持久化。在创建Raw Cache时，需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、数字、...
JindoCube使用说明
可以选择的Cache类型分为两类：Raw Cache：某一个表或者视图的raw cache，表示将对应表或视图代表的表数据按照指定的方式持久化。在创建Raw Cache时，需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、数字、...
JindoCube使用说明
可以选择的Cache类型分为两类：Raw Cache：某一个表或者视图的raw cache，表示将对应表或视图代表的表数据按照指定的方式持久化。在创建Raw Cache时，需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、数字、...
JindoCube使用说明
可以选择的Cache类型分为两类：Raw Cache：某一个表或者视图的raw cache，表示将对应表或视图代表的表数据按照指定的方式持久化。在创建Raw Cache时，需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、数字、...
JindoCube使用说明
可以选择的Cache类型分为两类：Raw Cache：某一个表或者视图的raw cache，表示将对应表或视图代表的表数据按照指定的方式持久化。在创建Raw Cache时，用户需要指定如下信息：参数 描述 是否必选 Cache Name 指定Cache的名字，支持字母、...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
DMS数据管理预案助力业务大促
DDL无锁变更 适应用于应急情况下，调整数据表中字段大小、增加索引等操作。具体操作，请参见 开启无锁结构变更。开启大促业务解决方案 若您未开通DMS服务，现诚邀您参加DMS推出的稳定变更-2实例首购3个月仅9.9元、安全协同-2实例首购3个月...
审计日志
数据操作-任务执行 CreateTable 通过SQL创建数据表。AlterTable 通过SQL修改表。SelectTable 通过SQL查询表。DropTable 通过SQL删除表。AdhocDownload 导出查询的结果。INSERT_INTO_TABLE 通过SQL插入表数据。DropPartition 删除分区。...
PostgreSQL数据源
是 无 column 所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。默认使用所有列配置，例如[*]。支持列裁剪，即列可以挑选部分列进行导出。支持列换序，即列可以不按照表schema信息顺序进行导出。支持常量配置，您需要按照...
API概览
GetTableTopology 获取数据表的拓扑信息 调用GetTableTopology获取数据表的拓扑信息。GetMetaTableDetailInfo 获取表的字段、索引等信息 调用GetMetaTableDetailInfo接口获取表的字段、索引等信息。GetMetaTableColumn 获取表的字段信息 ...
用户行为
请在MaxCompute项目中对Quick Audience系统账号进行数据表的读权限授权，单击下图中的 授权SQL 即可获取授权语句，完成授权后请单击 更新 继续配置。填写数据表别名，为数据表设置别名。说明 创建AIPL模型、人群筛选等页面的行为数据来源...
资源函数
例如 update_time_key="update_time"，其中 update_time 为MySQL数据库中数据更新的时间字段，该时间字段支持如下数据类型：Datetime、Timestamp、Int、Float、Decimal。需保证该时间字段的值随时间递增。说明 数据加工基于该时间字段做...
使用PostGIS
空间数据写入数据库表 首先创建带Geometry字段的表，SQL参考：CREATE TABLE testg(id int,geom geometry)distributed BY(id);该SQL表示插入的空间数据不区分几何类型，几何类型包括Point/MultiPoint/Linestring/MultiLinestring/Polygon/...
逻辑视图和字段资产详情
本文为您介绍如何查看逻辑视图和字段资产详情。逻辑视图详情 请参见 搜索数据，进入逻辑视图详情页面。编号 描述 ① 概要信息 为您展示表的类型、名称、负责人、...字段详情 为您展示当前字段所在数据表的表详情，详情请参见 逻辑视图详情。
日志类型
日志服务提供的服务日志功能可记录多种日志类型，本文介绍各种日志类型及不同日志类型的日志字段。日志类型 开启服务日志功能时，您可以选择服务日志的类型，具体说明如下表所示。重要 为保证您自定义查询语句的兼容性，建议您在查询语句中...
Query Profiling Statistics
AnalyticDB PostgreSQL版 提供了查询执行信息收集（Query Profiling Statistics）功能，开启该功能后，系统会自动收集并记录查询执行过程的统计信息，您可以通过系统视图浏览并检查执行较慢的SQL查询语句。在 AnalyticDB PostgreSQL版 中，...
MaxCompute物理视图和字段详情
本文为您介绍如何查看计算引擎为MaxCompute时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。MaxCompute引擎的物理视图展示信息...字段详情 为您展示当前字段所在数据表的表详情，详情请参见 物理视图详情。
StarRocks物理视图和字段详情
本文为您介绍如何查看计算引擎为StarRocks时物理视图和字段资产详情。物理视图详情 请参见 搜索数据，进入物理视图详情页面。编号 描述 ① 概要信息 为您展示表的...字段详情 为您展示当前字段所在数据表的表详情，详情请参见 物理视图详情。
- 产品推荐
- 这些文档可能帮助您