配置Microsoft SQL Server输入组件
同步Microsoft SQL Server数据源的数据至其他数据源的场景中，您需要先配置Microsoft SQL Server输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Microsoft SQL Server输入组件。请参见 通过离线单条管道配置集成...
配置Microsoft SQL Server输出组件
本文为您介绍如何配置Microsoft SQL Server输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图操作指引，进入 Microsoft SQL Server输出组件 对话框。在 Microsoft SQL Server输出配置 对话框，...
配置Microsoft SQL Server输出组件
本文为您介绍如何配置Microsoft SQL Server输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图操作指引，进入 Microsoft SQL Server输出组件 对话框。在 Microsoft SQL Server输出配置 对话框，...
加工数据
配置ODPS SQL节点 配置数据清洗节点。双击数据清洗节点，进入节点配置页面。编写处理逻辑。SQL逻辑如下所示。INSERT OVERWRITE TABLE clean_trend_data PARTITION(dt=${bdp.system.bizdate})SELECTuid,trend FROMtrend_data WHEREtrend IS ...
应用总览
配置要求如下：SOFA 框架中默认日志：`/home/admin/logs/tracelog/zdal-db-digest.log。自定义配置中可以使用自己设定的日志文件，要求日志文件中必须有：数据库、SQL、耗时、事务ID。Flow Limit-flowlimit 流量监控指标。消息发布-msgpub ...
赋值节点
配置节点上下文，详情请参见 配置节点上下文。不同类型的下游节点取值如下：ODPS SQL：select '${inputs_odps_sql[0][0]}';SHELL：echo '${inputs_shell[0]}';Pyodps3：print('${inputs_python[0]}');Hello SHELL 示例语句为：echo 'Data',...
应用总览
配置要求如下：SOFA 框架中默认日志：/home/admin/logs/tracelog/zdal-db-digest.log。自定义配置中可以使用自己设定的日志文件，要求日志文件中必须有：数据库、SQL、耗时、事务 ID。Flow Limit-flowlimit 流量监控指标。消息发布-msgpub ...
通过Flink SQL模式配置ETL任务
本文将介绍如何通过Flink SQL模式配置ETL任务。背景信息 说明 ETL功能处于灰度公测阶段，仅部分用户可以免费体验。如在体验过程中遇到问题，请加钉钉群沟通（钉钉群号：32326646）。在配置ETL任务前，请您了解以下信息：输入/维表 指ETL的...
参数配置
通过参数配置，可对Notebook或SQL查询中的SQL代码中所使用的参数变量进行赋值，在SQL代码运行时，参数变量可以自动被替换为相应的值。本文为您介绍如何配置参数。操作步骤 在Dataphin首页，单击顶部菜单栏 分析，进入 分析 平台。按照下图...
参数配置
通过参数配置，可对Notebook或SQL查询中的SQL代码中所使用的参数变量进行赋值，在SQL代码运行时，参数变量可以自动被替换为相应的值。本文为您介绍如何配置参数。操作步骤 在Dataphin首页，单击顶部菜单栏 分析，进入 分析 平台。按照下图...
Table/SQL JAR迁移至SQL
背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的RDS Connector，您也可以替换为开源JDBC Connector。商业化的RDS ...
新建BLINK_SQL任务
Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置：配置State中数据自动清理的周期。配置说明，实时模式...
新建BLINK_SQL任务
Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置：配置State中数据自动清理的周期。配置说明，实时模式...
通过脚本模式生成API
说明 当数据服务的API在编辑页面右侧导航栏的 返回参数 已经开启了 返回结果分页，如果您在该API编辑页面的 编写查询SQL 区域，使用SQL语句配置了 limit 限制（即返回结果的条数限制），则该 limit 限制不生效，返回结果的条数限制仍然会以...
ApsaraDB For OceanBase数据源
配置该项后，数据同步系统会忽略 tables、columns 和 splitPk 配置项，直接使用该项配置的内容对数据进行筛选。当您配置 querySql 时，ApsaraDB For OceanBase Reader直接忽略 table、column、where 和 splitPk 条件的配置。否 无 ...
新建FLINK_SQL任务
Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置：配置State中数据自动清理的周期。配置说明，实时模式...
新建FLINK_SQL任务
Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置：配置State中数据自动清理的周期。配置说明，实时模式...
自动SQL限流
当数据库存在突发流量导致SQL并发量急剧上升、部分SQL占用大量数据库资源、或者大量未创建索引的SQL被调用等问题影响正常业务时，需要限制问题SQL的并发度，保障大部分的业务正常运转。数据库自治服务DAS支持自动SQL限流，会自动提取SQL...
新建FLINK_SQL任务
Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，请参见 实时模式Checkpoint配置。State配置：配置State中数据自动清理的周期。配置说明，请...
新建Flink_SQL任务
在配置对话框中，配置FLINK_SQL任务 实时模式 和 离线模式 的相关配置信息。说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批 的任务配置，基于同一份代码生成不同模式下的实例。开启批处理...
自动SQL限流
当数据库存在突发流量导致SQL并发量急剧上升、部分SQL占用大量数据库资源、或者大量未创建索引的SQL被调用等问题影响正常业务时，需要限制问题SQL的并发度，保障大部分的业务正常运转。数据库自治服务DAS支持自动SQL限流，会自动提取SQL...
SQL Adapter
ADAM SQL Adapter是基于PostgreSQL通迅协议的SQL转发代理服务。本文介绍如何使用SQL Adapter实现不兼容SQL的转换。功能介绍 SQL Adapter目前支持Oracle到PolarDB O或PolarDB PostgreSQL的SQL改造。主要功能有：实时转换从Oracle迁移到...
功能更新动态（2024年）
配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 离线研发 支持基于MySQL、Oracle数据源的数据库SQL任务调度和即席查询。...
文档更新动态（2024年）
配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 数据开发-编码研发-离线任务开发 支持基于MySQL、Oracle数据源的数据库SQL任务调度和即席查询...
Impala SQL作业配置
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
配置并使用调度参数
本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换情况。注意事项 运行（）与高级运行（）功能需手动为代码中的变量赋值常量，因此无法校验配置的调度参数是否符合...
Hive SQL作业配置
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
SQL 窗口规范
用户在 SQL 窗口中执行 SQL 语句时，ODC 会根据配置的 SQL 窗口规范检查 SQL 语句。本篇文档旨在介绍如何编辑和执行 SQL 窗口规范。原理介绍 执行流程 ODC 系统管理员按照 ODC 提供的配置模板启用 SQL 审核集成、设置访问外部 SQL 审核系统...
概述
配置SQL赋值节点 条件分支 条件分支节点可用于在任务流中进行条件判断。执行任务流时，如果条件分支节点的条件表达式判断结果为True，执行后续任务，否则不执行后续任务。配置条件分支节点 DLA一键数仓 基于DLA一键建仓的功能，将数据库的...
Spark SQL作业配置
本文介绍如何配置Spark SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
Presto SQL作业配置
在数据开发过程中如果您需要使用Presto SQL，可以在E-MapReduce中配置Presto SQL作业。本文介绍如何配置Presto SQL作业。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况...
创建EMR Spark SQL节点
配置EMR-HOOK，详情请参见 配置Spark SQL的EMR-HOOK。操作步骤 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 EMR Spark SQL 节点。鼠标悬停...
使用流程参数
如下图，示例配置流程参数取值为 20230615，保存配置后，业务流程中ODPS SQL节点的参数取值将替换为 20230615。您也可根据业务需求，新增多个参数使用。说明 当同一参数在流程参数的赋值与单个节点中的赋值不一致时，流程参数的赋值会覆盖...
文档更新动态（2023年）
更新说明 通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 调度配置 支持设置不依赖corn表达式的固定间隔时间的调度。...
功能更新动态（2023年）
通过单条管道创建集成任务 配置OSS输入组件 配置Salesforce输入组件 配置FTP输入组件 配置Microsoft SQL Server输入组件 通过整库迁移配置集成任务 配置OSS输出组件 实时研发 实时任务研发体验流程优化：Flink SQL任务支持通过数据源编码的...
如何发布和调用JDBC数据服务
生成的统计SQL模板：显示根据当前配置和SQL模板最终生成的查询记录数统计SQL示例。高级选项：COUNT扫描总记录数保护 是通过设置 COUNT扫描总记录数上限，对SQL语句进行封装，限定统计SQL扫描记录数量的上限，避免 COUNT 命令对数据库造成的...
查询SQL Server数据库（tds_fdw）
说明 服务器定义中的 servername 必须配置为SQL Server的内网地址，port 必须配置为SQL Server的内网端口。创建外部表。您可以通过多种方式创建外部表：使用table_name定义创建外部表，示例如下：CREATE FOREIGN TABLE mssql_table(id ...
Reserve参数说明
SQL Server增量同步或迁移的模式，取值为：cdc：非堆表用日志解析增量同步或迁移，堆表用CDC增量同步或迁移。log：解析源库日志做增量同步或迁移。src.sqlserver.schema.mapper.mode 目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）、...
访问JDBC外表
您需要为Catalog自定义一个名称，以 hello_jdbc 为例，配置Spark SQL作业的参数说明如下：配置项 说明 示例值 spark.sql.catalog.hello_jdbc 声明一个外部数据源。固定取值为 org.apache.spark.sql.execution.datasources.v2.jdbc....
在DMS中执行SQL语句后出现“禁止未知SQL执行”报错
自定义安全规则：禁止未知SQL执行 问题原因 DMS控制台的安全规则中，默认未配置相关SQL语句允许执行，因此执行相关SQL语句时，会被拒绝执行。解决方案 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错...
- 产品推荐
- 这些文档可能帮助您