某手游开发公司在离线一体分析方案
DLA Spark和云数据库Lindorm无缝衔接，支持数据工作台、作业调度、SQL，支持构建离线数据仓库等；通过DLA Spark Streaming进行实时ETL，并把结果写入云数据库HBase版；通过DLA Spark进行离线分析解决客户的报表等需求。客户价值 迁移到云...
新建 MySQL 数据源
主机 IP 数据库宿主机的 IP。端口 数据库宿主机 IP 的端口号。数据库网关 网关名称 从 网关名称 下拉列表中，选择目标数据库网关的名称。数据库实例 从 数据库实例 下拉列表中，选择目标数据库实例。公网 IP 自建数据库 主机 IP 数据库宿...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
新建 Oracle 数据源
主机 IP 数据库宿主机的 IP。端口 数据库宿主机 IP 的端口号。数据库网关 网关名称 从 网关名称 下拉列表中，选择目标数据库网关的名称。数据库实例 从 数据库实例 下拉列表中，选择目标数据库实例。公网 IP 自建数据库 主机 IP 数据库宿...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
A100使用指南
800万/小时入库速率 10亿条在线SQL语句存储 350亿条归档SQL语句存储 支持审计25个数据库实例 20,000元/月 240,000元/年 说明 可以通过需要使用的数据库实例的数量来选择需要开通的数据库审计版本，数据库实例通过 数据库IP+数据库端口号 ...
数据源白名单配置
为确保数据库访问的安全性，阿里云数据库相关产品通常情况存在IP白名单访问限制。若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表...
接入阿里云ECS自建数据库实例
本文介绍如何在数据库自治服务DAS中接入阿里云ECS自建数据库。前提条件 DAS目前支持接入的ECS自建数据库引擎有：MySQL PostgreSQL MongoDB Redis 说明 目前DAS仅支持接入6.0及以下版本的自建Redis。部署数据库实例的ECS与DAS属于同一个阿里...
查看会话日志
dp 数据库IP。dt 数据库端口。dc 数据库MAC地址。tm 会话动作时间。at 会话动作。取值：1：失败 0：登录 1：退出 rc 数据库应答码。rt 数据库应答信息。um 数据库用户名。tl 工具和应用。om OS用户。im 服务（实例）名。
接入其他自建或其他云厂商数据库实例
本文介绍如何在数据库自治服务DAS上接入除阿里云外的其他自建数据库，包括用户本地机房数据库、其他云厂商的数据库和其他云厂商虚拟机上的自建数据库。前提条件 DAS目前支持接入的自建数据库引擎：MySQL MongoDB PostgreSQL Redis 说明 ...
配置任务时测试连接失败的排查及解决方法
请在数据库实例中放开DTS公网IP段的访问权限（如数据库所属服务的防火墙或实例的IP白名单）。请确认并修正数据库的Port。当DTS测试连接失败时，你需要先通过数据库客户端连接数据库，验证数据库的存活性及数据库连接信息的正确性。如果数据...
新建 OceanBase 数据源
主机 IP 数据库宿主机的 IP。Port 数据库宿主机 IP 的端口号。租户名 OceanBase 数据库租户的名称。集群名 OceanBase 数据库租户所在集群的名称。用户名 OceanBase 数据库的用户名称。建议您为数据迁移或同步项目创建单独的数据库用户。...
查看会话日志
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
访问RDS SQL Server示例
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
迁移评估概述
目前支持进行对象评估的数据库类型及版本如下：Oracle 数据库：11g/12c/18c/19c MySQL 数据库：5.6/5.7/8.0 DB2 LUW 数据库（仅支持采集文件上传评估）云数据库 RDS PolarDB MySQL 引擎 支持对 Oracle 和 MySQL 数据库的 DDL 语句进行兼容...
执行离线评估
本文为您介绍迁移评估如何通过离线评估的方式，进行数据库评估。背景信息 由于用户的系统可能存在不方便从公有云连接至源端数据库的情况，迁移评估支持离线评估。您可以提供需要评估的文件，离线评估通过 SQL 文件、Mybatis、Ibatis 等持久...
离线集成概述
通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。更多信息，离线集成管道通道配置。提交：将离线集成管道提交至发布中心或管理中心。更多信息，发布中心概述。去...
离线集成概述
通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。更多信息，离线集成管道通道配置。提交：将离线集成管道提交至发布中心或管理中心。更多信息，发布中心概述。去...
地址池配置
永远离线：系统认为该IP地址永远处于异常状态，DNS解析不会向用户返回该IP地址，该IP地址只存在系统配置中，等待以后某个时间启用，健康检查不对永远离线的IP地址进行监控。8.修改 对已有地址池，进行编辑。包括地址池名称、地址池类型、...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 ...
地址池配置
永远离线：系统认为该IP地址永远处于异常状态，DNS解析不会向用户返回该IP地址，该IP地址只存在系统配置中，等待以后某个时间启用，健康检查对永远离线的IP地址进行监控并告警，但不会执行告警之后IP地址摘除、添加和故障切换动作。...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
功能概述
永远离线：系统认为该IP地址永远处于异常状态，DNS解析不会向用户返回该IP地址，该IP地址只存在系统配置中，等待以后某个时间启用，健康检查不对永远离线的IP地址进行监控；如果需要一集群进行升级操作，需要先将该集群的IP地址设置为 永远...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
Dataphin支持的数据源
离线集成概述 离线研发 数据源接入Dataphin中后，支持在Dataphin创建数据库SQL任务进行开发。实时研发 接入的数据源支持用于创建实时元表创建与实时任务的开发。Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是基于Dataphin平台，...
将AI模型推理结果写回数据库
本文描述了如何通过PolarDB for AI在数据库中生成含有AI模型推理列的数据表PolarDB for AI Augmented Table（下文简称AAT）。经过人工智能增强的数据表可广泛应用于Data+AI的多个场景，以协助用户进行数据洞察，并根据实际情况调整其决策。...
整库迁移与批量上云
DataWorks支持您在 数据集成主站 新建整库离线同步方案，快速将来源数据源内所有表上传至目标数据源，帮助您节省大量初始化数据上云的批量任务创建时间。支持的数据源 当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、...
Dataphin支持的数据源
数据集成概述 离线研发 数据源接入Dataphin中后，支持在Dataphin创建数据库SQL任务进行开发。新建数据库SQL任务 实时研发 接入的数据源支持用于创建实时元表创建与实时任务的开发。Flink_SQL任务开发方式 全域质量 全域质量即资产质量，是...
数据集成支持的数据源
整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至...
实时Top Key统计与离线全量Key分析
您可以调用数据库自治服务DAS（Database Autonomy Service）的相关API接口来执行实时Top Key统计或离线全量Key分析任务。功能介绍 实时Top Key统计：实时展示实例中的大Key和热Key信息，同时支持查看4天内的大Key和热Key历史信息。该功能可...
Oracle数据源
说明 数据库容器CDB（Container Database）是Oracle 12c及之后版本的数据库新特性，用于承载多个可插拔数据库PDB（Pluggable Database）。使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
集成组件库开发说明
Dataphin数据集成的离线管道功能为您提供可视化组件的开发方式。创建离线管道脚本后，您可以通过多样性的组件库拖拽所需模块进行开发。...完成后，RDBMS类型数据库可直接在默认组件中选取，非RDBMS类型数据库需自行上传自定义读写插件。
集成组件库开发说明
组件名称 组件配置 限速 配置限速流程组件 条件分发 配置条件分发流程组件 自定义组件 如需使用自定义组件，请先创建 离线自定义源类型，完成后，RDBMS类型数据库可直接在默认组件中选取，非RDBMS类型数据库需自行上传自定义读写插件。
管理数据库档案
数据库名 是 输入目标数据库名。编码方式 否 选择与数据库字符集对应的编码方式。端口 是 无需填写，在您选择数据库实例后，系统会为您自动获取。用户名 是 填写数据库账号。口令 是 填写数据库密码。单击 测试连接。测试连接成功后，单击 ...
管理数据库资产
支持加密审计的数据库需满足以下条件：数据库类型为自建数据库MySQL 5.6 加密算法为AES256-SHA和AES128-SHA（单向认证）如果您的MySQL数据库满足上述条件并配置了SSL证书，您需要打开 使用SSL 开关，并在 SSL密钥 处上传数据库使用的证书，...
管理数据库资产
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
新建 TiDB 数据源
前提条件 已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户必须具备相关的数据操作权限。详情请参见 创建 TiDB 数据库用户。如果您需要订阅 TiDB 增量日志，请...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
数据库访问失败的常见原因
使用安全组方式访问数据库会导致函数连接不稳定，推荐您使用配置IP地址白名单的方式访问数据库。参考 数据库连接必现失败，逐一排查原因。数据库连接必现失败 如果您访问数据库失败，可按照以下步骤排查原因。在请求的数据库中查找连接记录...
- 产品推荐
- 这些文档可能帮助您