C 驱动连接 OceanBase 数据库
本文介绍了如何通过 OBCI 驱动连接并使用 OceanBase 数据库。前提条件 确保设置了基本的数据库开发环境。确保满足如下硬件环境：硬件平台：x86_64。操作系统：CentOS/Redhat 系 Linux 发行版 7.2。编译器：GCC 4.8。联系技术支持人员获取 ...
DRDS（PolarDB-X 1.0）数据源
目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句。例如 delete*from table xxx；表示同步写入数据前清理xxx表的数据。请根据自身需求进行配置。否 无 postSql 执行数据同步任务之后执行的SQL语句。目前向导模式仅允许执行...
写入与查询
带分组的聚合查询，如果SELECT字段中的某个字段没有聚合函数，也没有出现在GROUP BY字段中，那么这个字段将随机返回一个值。若仍有问题，请联系技术支持。为什么执行计划里的表扫描行数累加不等于查询的总扫描行数？一般是由于创建了维度表...
图表管理
每一个图表均需要关联一个数据集，图表编辑器通过将数据集中的原始SQL语句与数据模型进行组合，生成新的SQL语句到数据库中执行，获取图表展示所需要的数据。图表功能流程图 编辑器介绍 序号 名称 说明 ① 数据模型展示区 在左上角选择了...
数据库变更管理
用户可以通过数据库变更任务运行耗时较高的 SQL 语句以避免语句执行超时。注意事项 只支持对 UPDATE 和 DELETE 变更语句自动生成回滚语句。支持的变更影响行数上限为 100W，超过则不支持自动生成回滚语句。若表中包含大字段，不支持自动...
自定义查询事件
当您需要查询多个地域超过90天的事件时，可以通过自定义查询功能设置筛选条件或SQL语句查询事件。本文为您介绍如何通过操作审计控制台自定义查询事件详情。前提条件 请确保您已经启用事件高级查询。具体操作，请参见 启用事件高级查询。...
MaxCompute数据开发规范
SQL语句别名或分层的命名，从第一层次至第四层次，分别用P、S、U、D表示，取意为Part，Segment，Unit，Detail。也可用a、b、c、d来表示第一层次到第四层次。对于同一层次的多个子句，可以在字母后加1、2、3、4区分。必要时，为表别名添加...
DM（达梦）数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前只允许执行一条SQL语句，例如加上某一个时间戳。说明 当有多条SQL语句时，不支持事务。否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据集成与DM（达梦）的网络...
通过SQL模式创建API（Dataphin表）
SQL模式是基于Dataphin逻辑表，编写SQL语句创建API。本文为您介绍如何使用SQL模式生成API。前提条件 MaxCompute计算引擎支持逻辑表创建API，需完成以下步骤：基于逻辑表生成API的场景中，需要完成逻辑表（维度逻辑表、事实逻辑表和汇总逻辑...
Raw
通过上述语句将原始数据读取为纯字符串后，可以使用自定义函数将字符串拆分为多个字符串并进行进一步分析，例如以下SQL语句当中的my_split函数。SELECT t.hostname,t.datetime,t.url,t.browser,.FROM(SELECT my_split(log)as t FROM nginx_...
错误码
没有数据—按照 SQL 标准的要求，这也是警告类 02000 没有数据（NO DATA）02001 返回了没有附加动态结果集（NO ADDITIONAL DYNAMIC RESULT SETS RETURNED）03 类：SQL语句尚未结束 03000 SQL语句尚未结束（SQL STATEMENT NOT YET COMPLETE...
PolarDB-X 2.0数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句。例如，加上某一个时间戳：tablename为表名，colname为列名 alter table tablename add colname timestamp DEFAULT ...
数据库敏感数据加密
conn=db_connection()#得到一个可以执行SQL语句并且将结果作为字典返回的游标。cursor=conn.cursor(cursor=pymysql.cursors.DictCursor)#定义要执行的SQL语句。sql='insert into user(name,email)values(%s,%s);'#执行SQL语句。cursor....
Teradata应用迁移至AnalyticDB PostgreSQL
本文介绍如何将Teradata数据和应用迁移到 云原生数据仓库AnalyticDB PostgreSQL版。迁移原则 云原生数据仓库AnalyticDB PostgreSQL版 对Teradata语法有着很好的兼容。本指南在将TD数仓应用迁移至 AnalyticDB PostgreSQL 云化数仓过程中，...
AnalyticDB for PostgreSQL数据源
目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据集成与AnalyticDB for PostgreSQL的网络交互次数，并提升整体吞吐量。但是该...
DB2数据源
否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Db2的网络交互...
逻辑数仓
数据管理DMS提供的逻辑数仓具有强大的数据源管理能力，可以实现将企业的异构数据源进行逻辑聚合，形成物理分散、逻辑统一的虚拟数仓，然后快速地提供数据分析和访问服务，满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...
功能特性
无锁结构变更概览 开启无锁结构变更 通过无锁变更工单实现无锁结构变更 数据变更 普通数据变更 支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复...
查询计划概述
Lindorm支持查看SQL语句在数据库中的执行过程，帮助您定位和排查SQL执行问题。您可以通过 EXPLAIN 语句查看不同深度的执行计划，进一步分析优化查询逻辑，以提升查询性能。适用引擎 适用于宽表引擎和时序引擎。背景信息 查询计划（Query ...
MySQL数据源
重要 如果需要同步DRDS的MySQL，请不要将DRDS的MySQL配置为MySQL数据源，您可以参考 配置DRDS数据源 文档直接将其配置为DRDS数据源。使用限制 实时读 不支持同步MySQL只读库实例的数据。不支持同步含有Functional index的表。不支持XA ...
数据准备与预处理
如果您从 读数据表-1 到 SQL脚本-1 连线的节点是t2或其他（在 SQL脚本-1 的 参数设置 页面的 输入源 会显示对应节点），需要修改SQL语句为对应节点。单击画布上方的 运行 按钮，实验将根据工作流顺序依次运行 读数据表-1、SQL脚本-1 节点。...
使用SQL导入MaxCompute的数据至Hologres
当MaxCompute业务数据规模超过200 GB，且查询复杂度较高、对响应时间要求达到秒级时，Hologres支持将这些数据直接导入内部表进行查询，相较于通过外部表查询方式，该方式可以设置索引，且数据查询效率更高。本文为您介绍不同场景的数据导入...
扫描（Scan）分析概述
SELECT avg(cast(latency AS bigint))AS '平均延时',api GROUP BY api 扫描分析模式下，日志服务通过扫描方式提取SQL语句中所有字段对应的日志，已有的字段索引不生效。例如已为 status 字段创建long类型的字段索引，如果在扫描模式下使用...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
2020年
2020-04-23 全部区域 Policy权限控制 限制单SQL消费 MaxCompute支持监控单个SQL语句的消费，在SQL语句执行前先预估SQL语句的消费，预防单个SQL语句产生意料之外的高额费用。2020-04-14 全部区域 消费监控告警 2020-03 功能名称 功能描述 ...
查询和分析日志
分析语句必须配合查询语句一起使用，格式为 查询语句|分析语句，语法说明请参见 函数概览。使用Data Explorer，用户可以简单、快速地构建查询和分析语句，无需编写SQL代码。具体操作，请参见 通过Data Explorer构建查询和分析语句。设置...
SET
说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MB，默认值为256 MB。odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句中使用Limit，会限制...
DAO 存储
tableName 指定下面方法里默认操作的表名，在 SQL 语句里可以用${T}或${t} 代替，不用每次都写表名。建议每个配置文件只操作一张表。tableName 可空，应对同一配置文件操作相同格式的多张表的情况。比如聊天消息分表处理，可以调用 DAO ...
配置路由算法
按表规则路由 简单取模 数字取模：#user_id#100 二次取模：#user_id#10000%100 数字JavaHash取模：Math.abs(#user_id#.hashCode())%100 字符串取模 数字字符串hash：Math.abs(#user_id#.toString().hashCode())%100 字符串hash：Math.abs(#...
Quick BI能否将数据集里面的字段值进行替换
概述 本文主要介绍如何将Quick BI数据集里面的字段值进行替换。详细信息 本文档举例将男和女改变成0和1。创建数据集存在以下两种方式：SQL创建数据集，可以使用SQL进行处理。select 其他字段,CASE WHEN 性别字段='男' THEN '0' WHEN 性别...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
8.0.1和8.0.2版功能对比
支持 支持 Readable Protobuf 针对存储在数据库中经过Protobuf序列化的Blob类型的字段，您可以在对应的字段上配置Protobuf schema，并通过可视化函数PROTO_TO_JSON(blob_field)来读取数据，也可以使用JSON_EXTRACT()函数来抽取数据中的部分...
SQL其他常见问题
如果只运行一个SQL语句，您可以使用MaxCompute SQL中的 sqltext 方法，命令示例如下。odpscmd-e"select*from dual;您可以通过 odps-help 获得更多的信息。SQL能将MaxCompute的配置转移到另外一个阿里云账号上吗？您可以通过Package方法...
管理数据集
在命令执行区域输入SQL语句，单击 执行。在执行结果区域，单击 一键可视化。系统将基于此SQL查询语句完成数据集的创建、仪表盘集合的创建，并自动进入仪表盘编辑页面。说明 一键可视化自动创建的数据集和仪表盘的名称、描述格式如下：仪表...
配置SAP HANA输入组件
如果需要删除大批量字段，则可以单击 字段管理，在 字段管理 页面选择多个字段后，单击 图标，将 已选的输入字段 移入到 未选的输入字段。后续步骤 完成输入组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 通过离线单...
Flag参数列表
说明 SQL语句中使用Limit，会限制Limit作用的Worker单并发运行。因此在设置该配置项的时候，SQL语句中应避免使用Limit。单位MiB，默认值为256 MiB。ALL 调度 Session odps.stage.reducer.num 修改每个Reduce阶段的Worker数量。说明 SQL语句...
时序引擎版本说明
如何查看或升级实例的时序引擎版本 您可以通过控制台查看当前的时序引擎版本，如下图所示，具体操作及升级版本的注意事项，请参见 升级版本。重要 系统会自动检测实例的时序引擎版本，如果 小版本升级 按钮不存在，表示该实例的时序引擎...
SQL窗口
您可以将复制的SQL语句粘贴至其他SQL查询窗口使用。重命名SQL查询 在左侧导航栏，单击 我的SQL查询，查找目标SQL查询。如果目标SQL查询存放于文件夹中，您可以在 Query查询 下方的搜索框输入目标SQL查询名称。鼠标右击目标SQL查询，单击 重...
如何发布和调用JDBC数据服务
JDBC数据服务是通过JDBC将后端数据库访问能力在CSB实例上发布为服务，发布服务时只能以RESTful开放类型发布。前提条件 创建或申请CSB实例，请参见 创建实例。了解如何在CSB实例上发布、订阅和调用RESTful服务的基本使用，请参见 快速体验...
- 产品推荐
- 这些文档可能帮助您