基于SLS+OSS+DLA构建海量、低成本日志分析方案
执行命令-sudo crontab-e 并在该命令中添加如下配置来运行脚本文件 gen-log.sh，生成日志数据到/user/sls-crawler/full_type_logs/目录。sleep 10;sh/user/sls-crawler/gen-log.sh 通过Logtail采集ECS服务器上的日志数据到Logstore。具体...
ClickHouse数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } ClickHouse Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须要与添加的数据源名称保持一致。是 无 table 所...
ODPS-0130071
OK 错误2：expect equality expression(i.e.,only use '=' and 'AND')for join condition without mapjoin hint 错误信息示例 ODPS-0130071:[m,n]Semantic analysis exception-expect equality expression(i.e.,only use '=' and 'AND')for...
AddServersToServerGroup-添加后端服务器
正常返回示例 JSON 格式 {"JobId":"72dcd26b-f12d-4c27-b3af-18f6aed5*","RequestId":"365F4154-92F6-4AE4-92F8-7FF34*"} 错误码 HTTP status code 错误码 错误信息 描述 400 ResourceQuotaExceeded.ServerAddedNum The quota of%s is ...
GetRedisAllSession-获取Redis实例当前会话
r-2zemyfd1sh1u2i*-proxy-14#1679*Age string 已连接时长，单位为秒（s）。12 Db long 该客户端正在使用的数据库 ID。0 Events string 文件描述符事件，取值为：r：客户端套接字在事件 Loop 中可读。w：客户端套接字在事件 Loop 中可写。r ...
HBase数据同步与迁移
如果您想要将自建HBase或阿里云HBase中的数据迁移或同步至Lindorm 宽表引擎，可以通过LTS服务完成存量数据迁移和实时数据同步。本文介绍HBase数据同步与迁移的使用场景、功能列表、迁移优势、使用限制以及迁移任务等操作。使用场景 自建...
MySQL数据源
{"hops":[{"from":"Reader","to":"Writer"}]} } MySQL Reader脚本参数 脚本参数名 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，此配置项填写的内容必须与添加的数据源名称保持一致。是 无 table 选取的需要同步...
错误码
数据源相关（FMT 模式下）错误码 错误消息 错误说明 解决方案 DTX-500 transaction[%s]:[%s]on db[%s]flush branchInfo to db failed.保存 undo log 至 dtx\_branch\_info 表失败 检查业务数据库是否正常。DTX-501 transaction[%s]:[%s]on ...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
RestAPI（HTTP形式）数据源
则需要将 column 配置为"column":["SERNR"]，dataMode 配置为"dataMode":"oneData"，dataPath 配置为"dataPath":"content.DATA"Reader脚本参数 说明 以下的参数包含在添加数据源和配置数据集成任务节点的过程中。当前插件暂不支持使用调度...
离线同步常见问题
实例ID形式添加数据源：在数据库名后拼接，格式为 database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45 。修改数据库相关的编码格式为utf8mb4。例如，在RDS控制台修改RDS的数据库编码格式。说明 设置RDS数据源编码格式命令：set...
性能测试指南
MKTSEGMENT AS C_MKTSEGMENT,s.S_NAME AS S_NAME,s.S_ADDRESS AS S_ADDRESS,s.S_CITY AS S_CITY,s.S_NATION AS S_NATION,s.S_REGION AS S_REGION,s.S_PHONE AS S_PHONE,p.P_NAME AS P_NAME,p.P_MFGR AS P_MFGR,p.P_CATEGORY AS P_CATEGORY,...
Tablestore Stream数据源
V2 pk2_V2 col_b—DA pk1_V3 pk2_V3—DR pk1_V3 pk2_V3 col_a 1441803688005 col_val1 U 假设导出的数据如上，共7行，对应Tablestore表内的3行，主键分别是（pk1_V1，pk2_V1），（pk1_V2，pk2_V2），（pk1_V3，pk2_V3）：对于主键为（pk1_V...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
ListScripts-查询脚本
DD6B1B2A-5837-5237-ABE4-FF0C8944*NextToken string 返回读取到的数据位置。dd6b1b2a-5837-5237-abe4-ff0c89568982 MaxResults integer 本次请求所返回的最大记录条数。10 TotalCount integer 本次请求条件下的数据总量。200 示例 正常...
数据库采集
采集方式介绍 在线采集：将源数据库的网络打通，并在源数据库白名单中添加ADAM服务器，确保ADAM服务器可以直接通过在线采集方式进行信息收集。更多信息，请参见 在线采集。有公网IP：源数据库具有公网IP，可以通过外网访问。无公网IP：通过...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。操作步骤 重要 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的...
常见错误码及排查方法
DTS-70004:execute statement failed:/*s2gb356ds228bt8MysqlEngine(0)*/insert into `xxx`.`yyy`(`.`)values(.)error detail message:INSERT command denied to user'user'@'100.104.175.31' for table 'yyy' MySQLSyntaxErrorException:...
新建数据库网关
以下介绍如何通过控制台新建数据库网关。操作步骤 进入 数据库网关控制台，单击 新建网关 按钮。在弹出的对话框中，...您可以单击 添加数据库地址 图标直接向网关添加数据库，或者稍后添加。有关添加数据库的详细信息，请参见 添加数据库。
Amazon Redshift应用和数据迁移至AnalyticDB ...
您可通过阿里云在线迁移服务或ossimport迁移工具将Amazon Redshift数据迁移至 云原生数据仓库AnalyticDB PostgreSQL版。准备工作 需要迁移的Amazon Redshift实例。用于导出Amazon Redshift数据的Amazon S3服务。已开通阿里云对象存储服务...
错误码
常见 PolarDB-X 数据节点连接失败的原因如下：后端数据节点连接数已满 计算节点到数据节点的连接超时 数据节点拒绝连接 如果排除后端数据节点问题后仍然出现该错误，请联系技术支持。PXC-4103 ERR_ATOM_CONNECTION_POOL_FULL 描述：PolarDB...
在程序中通过AnalyticDB MySQL版Client高效写入数据到...
本文介绍了在程序中通过 AnalyticDB MySQL版 Client高效写入数据到2.0集群的方法。背景信息 AnalyticDB MySQL版 Client旨在为用户提供一个高效、简单地插入数据到AnalyticDB MySQL 2.0集群的方法。您只需要通过接口将数据提交给 AnalyticDB...
CreateProjectMember
调用CreateProjectMember，添加一个用户至DataWorks工作空间。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
添加数据库
以下介绍如何向网关中添加数据库。本地网关启动后就可以开始添加数据库了，一个网关可以添加多个数据库。操作步骤 打开 添加数据库 对话框。您可以选择以下任意一种方式：在创建数据库网关时，进入 添加本地数据库 步骤，单击 添加数据库 ...
错误码表（2.0版）
DDL相关错误码 范围 说明 18000~18100 DDL CREATE语句用户错误。18600~18799 DDL ALTER语句用户错误。18800~18899 DDL DROP语句用户错误。19000~19599 DDL CREATE语句系统错误。19600~19799 DDL ALTER语句系统错误。19800~19899 DDL DROP...
自定义资源组
添加ECS资源组时，报错 gateway already exists 的解决方法如下：报错提示对应ECS已经在gateway中注册过，因为一个ECS只能添加到一个自定义资源组下，所以需要您在 资源列表 和 数据集成>自定义资源组 页面，查看是否存在同名或同UUID的...
创建OSS外部表
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建OSS外部...
全增量数据同步
本文主要介绍全增量数据同步的使用场景，功能列表，迁移优势，使用限制以及创建数据同步任务等操作。使用场景 大版本升级：HBase1.x升级HBase2.x。跨地域迁移：例如从青岛机房迁移到北京机房。跨账号迁移：支持不同账号迁移数据。集群升配...
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
Oracle 数据库 OceanBase 数据库 Oracle 租户 CHAR(n CHAR)CHAR(n CHAR)CHAR(n BYTE)CHAR(n BYTE)NCHAR(n)NCHAR(n)VARCHAR2(n)VARCHAR2(n)NVARCHAR2(n)NVARCHAR2(n)NUMBER(n)NUMBER(n)NUMBER(p,s)NUMBER(p,s)RAW RAW CLOB CLOB NCLOB ...
使用Kafka（离线与实时）
MaxCompute与Kafka的集成能够提供高效、可靠的数据处理和分析能力，适用于需要实时处理、大规模数据流和复杂数据分析的场景。本文介绍消息队列Kafka版和自建Kafka数据的写入流程，以及自建Kafka数据的写入示例。Kafka数据写入MaxCompute...
自建PostgreSQL迁移至PolarDB PostgreSQL版
begin for nsp,rel in select nspname,relname from pg_class t2,pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S' loop execute format($_$select last_value from%I.%I$_$,nsp,rel)into val;raise notice '%',format($_...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，便可以实现MaxCompute SQL对其他脚本语言的支持。功能...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
自建PostgreSQL迁移至云原生数据仓库 AnalyticDB ...
begin for nsp,rel in select nspname,relname from pg_class t2,pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S' loop execute format($_$select last_value from%I.%I$_$,nsp,rel)into val;raise notice '%',format($_...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
基于Client SDK数据写入
说明 通过 e.getErrData()即可获得异常数据List，此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生，因此在这些操作的时候需要单独处理此错误码的异常 COMMIT_ERROR_OTHER 102 commit中的其他异常。ADD_DATA_ERROR 103 add...
多方数据融合计算
全密态数据库可以用于多方数据融合计算，支持数据所有者授权第三方使用数据参与计算，实现联合营销等多种场景。场景介绍 以某数据平台公司业务场景为例，该平台通过合法渠道，经用户授权后，收集了用户信息，生成用户画像表（portrait），...
多方数据融合计算
全密态数据库可以用于多方数据融合计算，支持数据所有者授权第三方使用数据参与计算，实现联合营销等多种场景。场景介绍 以某数据平台公司业务场景为例，该平台通过合法渠道，经用户授权后，收集了用户信息，生成用户画像表（portrait），...
多方数据融合计算
全密态数据库可以用于多方数据融合计算，支持数据所有者授权第三方使用数据参与计算，实现联合营销等多种场景。场景介绍 以某数据平台公司业务场景为例，该平台通过合法渠道，经用户授权后，收集了用户信息，生成用户画像表（portrait），...
- 产品推荐
- 这些文档可能帮助您