如何发布和调用JDBC数据服务

例如出参定义某个字段为Long型,但数据表中对应字段记录为字符值,则在试图解析到此记录字段值并转换为Long型时会抛出异常,导致此条记录生成失败,此时定义的业务结果字段为空,而此字段则会表达出生成记录的错误信息。...

数据质量保障原则

数据缺失主要包括记录的缺失和具体某个字段信息的缺失,两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如,某个稳定业务的数据量每天约为100万条记录天突然下降了1万条,则可能是出现了记录缺失。例如,科高考成绩表...

Quick BI数据集报“xxx is full scan with all ...

设置后,每天都会默认展示前一天的数据 如果分区字段是string类型,而且固定查看某个分区值的数据,也可以直接将该字段添加到过滤器。如果string类型的值不固定,那么就需要开启全表扫描:打开数据集列表页,找到报错的数据集。右键该...

查询报错问题

若SQL自身无法进行优化,但依旧触发该错误,可联系分析型数据库MySQL版技术支持对单个分析型数据库MySQL版的系统默认值进行调整,此操作可能会造成数据库性能下降。查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后...

多选

多选为基础控件,选项菜单中可选择多个数据,用于数据 选项较多 且需要同时选择多个值的场景。应用场景 多选 控件常用于数据选项较多的场景。例如 满意度调研表。效果图 控件配置 基础配置 配置项 描述说明 ①显示标题:选择是否显示下拉多...

配置Teradata输入组件

使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建Teradata数据源。具体操作,请参见 创建Tablestore数据源。进行Teradata输入组件属性配置的账号,需具备该数据源的同步读权限。如果...

数据集组合

功能入口 仪表板或数据大屏入口 在仪表板或数据大屏编辑页面,选中某个图表,在数据面板上单击数据集(①),选择“切换数据集,清空字段配置”(②),单击 多选(③),选择多个数据集(④)并单击 确定(⑤)。说明 最多选择 10 个数据...

基本概念

Trajectory Attribute Field 轨迹属性字段(以下简称字段),轨迹属性中的某个字段,比如速度字段,轨迹属性字段值的个数与轨迹点个数一致。Trajectory Field Value 轨迹属性值,轨迹属性在一时刻某个字段的值。Trajectory Events 轨迹...

配置Teradata输入组件

使用限制 不支持读取Teradata数据库的视图。操作步骤 请参见 配置离线单条管道,进入离线单条管道脚本的开发页面。按照下图指引,进入 Teradata输入配置 对话框。序号 说明 ① 单击 组件库。② 单击 输入。③ 拖动 Teradata 组件至左侧的...

多元索引

数据表创建多元索引后,您可以通过Tablestore CLI查看多元索引列表、查看多元索引信息、使用多元索引查询数据以及删除多元索引。创建多元索引 创建一个多元索引。命令格式 create_search_index-n search_index_name 配置项说明请参见下表...

配置同步任务中的数据来源和去向

成功将数据导入分析型数据库MySQL版后,您就可以使用分析型数据库MySQL版进行数据分析。进入 DataWorks控制台,单击对应项目操作栏中的 数据开发。单击左侧菜单栏中的 数据开发,右键单击 业务流程 新建一个流程。右键单击 步骤2 中新建的...

Oracle数据

说明 数据库容器CDB(Container Database)是Oracle 12c及之后版本的数据库新特性,用于承载多个可插拔数据库PDB(Pluggable Database)。使用限制 当前数据集成同步数据时,仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...

测试数据构建

库名 指定数据库实例上某个具体数据库(需要在产品内有数据库的操作权限,输入库名前缀后可出现联想提示)。表名 在指定的目标表中进行检索,支持添加多张表(需要输入表名前缀后可出现联想提示)。配置算法 您在选择 表名 后,才会出现此...

配置Quick引擎

直连模式 直连模式是Quick引擎查询的默认模式,所有的查询会发送给底层数据库仓执行,所有与Quick BI连接的数据库均支持该模式。登录 Quick BI控制台。在Quick BI首页,按照下图指引,进入数据集编辑页面。在数据集编辑页面创建数据集...

基本概念

动态数据源:如从上下文中获取某个数据、从数据库读取某个数据、从逻辑流获取某个数据。形式上是一个对象,通过API加载数据。事件:如保存当前的数据、删除当前的数据、跳转页面、触发某个逻辑流。形式上是一个对象。通过API触发相关的事件...

PutLogMonitor-创建或修改日志监控

test Operator string 否 字段值的匹配方式。N 的取值范围:1~10。取值:contain:包含。notContain:不包含。大于。小于。大于等于。小于等于。contain 关于公共请求参数的详情,请参见 公共参数。返回参数 名称 类型 描述 示例值 object ...

查询语法

字段查询语法 字段查询对应的字段类型包含 text、long、double、JSON,且针对具体的字段进行查询,其查询语法为:indexname1[:|>|>=|<||=|in]keyword1[[and|or|not]indexname2.]indexname1 是需要查询的字段名,如果字段名中有(空格)、-...

常见问题

同步ECS自建的数据库的数据时,如何保障数据库与DataWorks的网络连通?数据库和DataWorks不在同一个地域(Region)下,进行数据同步时如何保障数据库与DataWorks的网络连通?数据库和DataWorks不在同一个阿里云账号下,进行数据同步时如何...

基于AnalyticDB构建企业数仓

本文将为您介绍如何基于AnalyticDB构建企业仓,并进行运维和元数据管理等操作。开始本文的操作前,请首先创建工作空间,详情请参见 创建工作空间。配置AnalyticDB for MySQL 2.0数据源 进入数据源页面。登录 DataWorks控制台,切换至目标...

MySQL分分表同步至Hologres(方案1.0)

则需要在Hologres表中添加上三个附加字段(src_datasource、src_database、src_table),标识记录的来源数据源实例、数据库以及表,这三个附加字段和物理表中的主键在Hologres构成了唯一键,保障了条物理表记录在Hologres逻辑表里...

类型转换函数

如果您在查询与分析数据时需要区分更细维度的数据类型,您可以在查询与分析语句中使用类型转换函数转换数据数据类型。日志服务支持如下类型转换函数。重要 在日志服务分析语句中,表示字符串的字符必须使用单引号('')包裹,无符号包裹...

配置ClickHouse输入组件

如果不需要将某些字段输出至下游组件,则您可以删除对应的字段:单个删除字段场景:按照下图操指引,删除单个字段。批量删除字段场景:按照下图操指引,删除多个字段。单击 确认,完成 ClickHouse 输入组件的属性配置。后续步骤 完成输入...

常见问题

1、NLP自学习平台服务调用限制 算法类型 单模型QPS 最大请求长度(字节)文本实体抽取 20 暂无限制 文本分类 20 暂无限制 关键短语抽取 20 暂无限制 短文本匹配 20 暂无限制 关系抽取 20 暂无限制 简历抽取 20 暂无限制 商品评价解析 20 暂...

自定义RDBMS数据库及同步数据

为了满足不同业务场景数据集成的诉求,Dataphin支持用户自定义当前系统不支持的RDBMS数据库(关系型数据库)类型的组件,并进行数据同步。您只需要准备关系型数据库的驱动,即可自定义RDBMS数据库类型的组件。本教程以MySQL为例,为您介绍...

自定义RDBMS数据库及同步数据

为了满足不同业务场景数据集成的诉求,Dataphin支持用户自定义当前系统不支持的RDBMS数据库(关系型数据库)类型的组件,并进行数据同步。您只需要准备关系型数据库的驱动,即可自定义RDBMS数据库类型的组件。本教程以MySQL为例,为您介绍...

DB2数据

DB2数据源作为数据中枢,为您提供读取和写入DB2数据库的双向通道,能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...

PolarDB数据源配置

数据库PolarDB是阿里云对外提供的一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务(了解PolarDB)。购买 PolarDB 前须知 OpenSearch目前支持PolarDB for mysql5.6、5.7、8.0。PolarDB集群必须隶属于当前登录阿里云账号才能访问使用...

调优集群性能

当您根据分布不均的字段来做分组聚合查询或者作为JOIN的条件,云原生数据仓库 AnalyticDB MySQL 版 内部会根据这些字段对数据进行一次不同节点间的重分布,重新分布后,因为相关的字段值的数据会被分发到同一个节点上,就出现了字段分布...

通过DataX导入RDS数据

数据库用户名 无 tsdbuser password String 否 数据库密码 无 tsdbpsw ignoreWriteError Bool 是 忽略写入错误 false true database String 否 导入TSDB的数据库名 default default 配置迁移任务 配置一个从MySQL数据库同步抽取数据到时序...

查询治理

数据库自治服务DAS(Database Autonomy Service)通过离线数据分析技术,在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理建议和数据导出功能。前提条件 目标...

数据建模诊断

在倾斜表中,您可以查看某个数据库中已经存在倾斜的表,重新进行分布字段的选择。具体方法,请参见 表结构设计。复制表合理性诊断 AnalyticDB MySQL版 在创建表时可以指定数据的分布方式为复制方式(DISTRIBUTED BY BROADCAST),复制表会...

查询治理

数据库自治服务DAS(Database Autonomy Service)通过离线数据分析技术,在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理建议和数据导出功能。前提条件 目标...

查询治理

数据库自治服务DAS(Database Autonomy Service)通过离线数据分析技术,在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理建议和数据导出功能。前提条件 目标...

查询治理

数据库自治服务DAS(Database Autonomy Service)为RDS PostgreSQL提供查询治理功能,通过离线数据分析技术,在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理...

数据集成侧同步任务能力说明

说明 以业务数据库数据同步到MaxCompute数据仓库为例,当有大量的数据存储在数据库系统,需要将数据库中的全量及增量数据同步到MaxCompute进行仓分析时,数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...

数据总线DataHub

背景信息 阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish)、订阅(Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用,详情请参见 产品概述。说明 DataHub兼容Kafka...

查询治理

数据库自治服务DAS(Database Autonomy Service)为RDS MySQL提供查询治理功能,通过离线数据分析技术,在每天凌晨1点将全部实例在昨天产生的慢SQL进行统计分析和自动打标,帮助您对慢SQL进行自动分类和划分治理优先级,同时提供治理建议和...

配置数据识别规则

说明 对CDH引擎中数据进行识别和脱敏时,您需要通过DataWorks的数据抽样采集器功能,从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别,抽样采集的数据不会存储至DataWorks中,没有数据泄漏风险。详情请参见:CDH Hive数据...

常见问题

可以排查数据集中新建计算字段的表达式中是否引用了其他计算字段,注意计算字段表达式中只能使用数据库中原始字段,不能引用之前创建的计算字段,您也可以使用前计算字段的表达式来代替。日期类型的字段,在不转换文本的情况下是否支持...

配置并管理实时同步任务

数据集成附加字段支持的变量字段如下:EXECUTE_TIME:执行时间 UPDATE_TIME:更新时间 DB_NAME_SRC:原始数据库名称 DB_NAME_SRC_TRANSED:转换后数据库名称 DATASOURCE_NAME_SRC:源端数据源名称 DATASOURCE_NAME_DEST:目的端数据源名称 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 MongoDB 版 云数据库 Redis 版 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用