C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
常见问题
如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟ClickHouse对不上？如何使用Spark、Flink导入数据？如何从现有ClickHouse导入数据到云数据库...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
创建数据脱敏规则
（可选，仅动态脱敏需要）如果您希望通过白名单控制部分用户在指定时间段内不受脱敏规则影响，可查看未脱敏数据，您需要提前将白名单用户添加为用户组，操作详情请参见 配置用户组。（可选，仅MaxCompute引擎层脱敏需要）如果您需要配置的...
设置资产数据源
说明 如果您使用的是API数据源，还可以根据需要，进行跨域数据配置以及获取用户cookie，详情请参见 跨域数据配置 和 使用cookie实现可视化应用数据隔离。在编辑框中，修改数据源脚本。单击数据源脚本编辑框右下角的 图标，全屏编辑数据源；...
通过RAM角色授权模式配置数据源
本文以OSS数据源为例，为您介绍如何通过RAM角色授权模式配置数据源，提高云上数据的安全性。前提条件 如果您需使用RAM用户登录并完成本文操作流程，请先为RAM用户授予 AliyunDataWorksFullAccess 和 AliyunRAMFullAccess 权限策略，详情请...
离线同步常见问题
脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和目的端数据类型比较，看哪一条或哪一些不合规范。比如：{"byteSize":28,"index":25,"rawData":"ohOM71vdGKqXOqtmtriUs5QqJsf4","type":"STRING"} byteSize：字节...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
功能更新动态（2024年）
配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 离线研发 支持基于MySQL、Oracle数据源的数据库SQL任务调度和即席查询。...
数据源管理常见问题
在 添加数据 对话框，设置 类型，选择 RDS for MySQL，选择 外网，输入 名称、域名、端口、用户名 和 数据库 等信息，单击 确定，即可创建数据库数据源。创建完成后，在画布编辑器内添加一个组件，在组件右侧 数据 面板中的 设置数据源 ...
数据源管理常见问题
在 添加数据 对话框，设置 类型，选择 RDS for MySQL，选择 外网，输入 名称、域名、端口、用户名 和 数据库 等信息，单击 确定，即可创建数据库数据源。创建完成后，在画布编辑器内添加一个组件，在组件右侧 数据 面板中的 设置数据源 ...
公网PostgreSQL数据库一键上云
背景 RDS PostgreSQL基于用户VPC的网络构建，一键上云功能默认支持通过内网将其他数据库迁移到RDS PostgreSQL，如需将公网上的PostgreSQL数据库迁移上云，还需配置公网NAT网关并绑定弹性公网IP（EIP）。本文介绍为RDS PostgreSQL实例配置...
数据湖管理FAQ
用户数据库有视图。RDS源库压力过大，RDS/MySQL 重启中断或者无响应。解决方案：排除视图，降低并发数。哪些区支持数据湖构建服务？中国内地的地域都支持，中国内地以外的地域支持列表如下。地域 数据湖构建服务 中国，香港 正常 日本，...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
文档更新动态（2024年）
更新说明 配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 数据开发-编码研发-离线任务开发 支持基于MySQL、Oracle数据源的...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
配置回源协议
回源协议指CDN节点回源站请求资源时使用的协议。配置该功能后，CDN节点将根据指定的协议回源到源站请求资源，同时支持自定义HTTP和HTTPS协议端口。功能介绍 回源协议功能默认关闭，功能关闭状态下的回源协议以 配置源站 中设置的回源端口为...
通过函数计算节点实现GitHub实时数据分析与结果发送
DataWorks提供“Github十大热门编程语言”模板，通过对GitHub中公开数据集进行加工和分析，并将分析结果以邮箱的方式发送给指定用户。运行本案例后，您将得到Github中Top10编程语言每小时被提交的次数与排行。说明 手动配置与实际应用中的...
负载均衡
事务写后读被路由到只读节点的前提是当前的只读节点已同步事务之前的写操作的数据，如果用户配置了会话一致性，那么在路由写后读时会先判断当前Session的只读节点是否已经同步之前的写，如果已同步就会路由过去，否则会直接路由到主节点。...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动释放...
区域下钻热力层（v2.x版本）
配置 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。可见级别：设置区域下钻热力层的可见级别值，在设定的级别范围内...
文档更新动态（2022年）
更新说明 创建Kafka数据源、创建DataHub数据源、创建SAP HANA数据源、创建MongoDB数据源、管理FTP组件、配置脚本模式输入组件 2022年10月25日 资产权限新增权限审计模块 可以对自己的权限进行审计。新增说明 权限操作审计 2022年10月25日 ...
数据导入常见问题
报错“failed to send batch或TabletWriter add batch with unknown id”，该如何处理？报错“LOAD-RUN-FAIL;msg:OrcScannerAdapter:init_include_columns.col name=xxx not found”，该如何处理？导入作业长时间没有结束等问题应该如何...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
同步 OceanBase 数据库的数据至 RocketMQ
同步 OceanBase 数据库的数据至 RocketMQ 时，两种租户对应的数据格式请参见 数据库传输到文本协议的格式说明。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步...
加工数据
背景信息 数据开发DataStudio提供丰富的节点，并对引擎能力进行封装，本案例使用 ODPS SQL节点 对同步至MaxCompute的用户数据与访问日志数据进行分层加工，具体逻辑请参照下文。业务流程管控：使用 虚拟节点 统筹管理整个业务流程，例如...
加工数据
背景信息 数据开发DataStudio提供丰富的节点，并对引擎能力进行封装，本案例使用 ODPS SQL节点 对同步至MaxCompute的用户数据与访问日志数据进行分层加工，具体逻辑请参照下文。业务流程管控：使用 虚拟节点 统筹管理整个业务流程，例如...
版本发布记录
发布在线日志投递分析功能 企业用户只需要在 云数据库ClickHouse 中创建投递任务，将SLS中的用户行为日志数据在线投递到ClickHouse，即可基于 云数据库ClickHouse 在线进行多维日志数据分析。从SLS同步 2020年05月 功能名称 描述 相关文档 ...
通过注册方式创建API
返回参数取值路径 仅支持JSON格式，当返回数据多层嵌套，需要配置对应的返回参数路径。可点击 查看配置说明。单击 提交，即可完成API的生成。后续步骤 生成API后，需要对API进行测试并发布至数据服务市场，便于后续应用可以调用API。具体...
配置数据脱敏
用户输入 新增敏感数据类型，系统会判断文字与已有敏感数据类型名称是否相同（包括：内置和该租户下所有用户配置的敏感数据类型），如果名称相同则提示 敏感字段类型重复。说明 内置敏感数据类型：手机号、身份证号、银行卡号、邮箱_内置、...
通过SQL模式创建API（Dataphin表）
基于创建好的逻辑表，在集成中配置同步任务，具体步骤如下：在 运维>周期任务 中选中逻辑表对应任务，选择 补数据>补当前及下游任务，任务列表选择6层，全选任务列表，并在补数据实例查看是否运行成功。具体操作请参见 附录：周期任务补...
自建SQL Server通过物理网关迁移上云
物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...
自建SQL Server通过物理网关迁移上云
物理协议迁移上云和逻辑数据迁移上云的区别 对比项 物理协议迁移上云 逻辑数据迁移上云 迁移原理 采用数据库原生物理备份协议以数据块的方式写入到目标端。采用JDBC逻辑协议获取SQL并写入到目标端。操作系统要求 仅支持Windows上的SQL ...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
配置任务常见错误码及排查方法
本文介绍了用户在使用控制台或OpenAPI配置任务时系统返回的错误码、出现报错的场景及解决方法。用户配置使用类错误码 错误码 报错场景 原因及解决方法 DTS.Msg.LXCreateOrderError 购买DTS实例时创建订单不成功。原因：未将UID添加至白名单...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
配置SQLServer数据源
SQLServer数据源为您提供读取和写入SQLServer双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。前提条件 在配置SQLServer数据源之前，您需要在RDS for SQLServer端做好以下准备工作。创建RDS for SQLServer实例，请参见 快速...
产品创建及初始化
单击 客户端用户协议 右侧 配置，进入客户端用户协议编辑页面。在 客户端用户协议 编辑页面，编辑协议内容。企业可根据公司实际管理及内控流程和规定，自定义客户端用户协议。协议内容应告知用户产品在安装及运行过程中所获得的权限及数据...
产品架构
日志回放模块：日志回放模块从日志读取模块中请求增量数据，并根据用户配置的同步对象进行数据过滤，然后在保证事务时序性及事务一致性的前提下，将日志记录同步到目标实例。DTS具备日志读取模块、日志回放模块的高可用，DTS容灾系统一旦...
- 产品推荐
- 这些文档可能帮助您