数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
Android SDK接入验证
编译阶段常见问题排查 1：手动集成场景，确认已下载使用最新版本的SDK包，且内容完整无缺失。2：确认已正确添加依赖，...否：网络数据未上报，因此网络数据未显示的可能原因是SDK未获取数据、数据发送失败、后端问题，请联系 技术支持 解决。
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
内置时空数据引擎Ganos
PolarDB PostgreSQL版（兼容Oracle）内置了时空数据库引擎Ganos，可对空间/时空数据进行高效的存储、索引、查询和分析计算。从静态POI（兴趣点）到APP位置信息，从电子地图到移动对象轨迹，从卫星遥感到泛在物联网，空间和时空信息已成为...
安装Agent
数据库审计系统的Agent程序是部署在用户终端或目标数据库服务器上的功能插件，用来转发数据库访问流量到审计系统。您需要根据数据库服务器的类型，选择合适的方式来安装Agent，才能使数据库审计服务收集目标数据库的访问流量信息。本文介绍...
气泡卡片
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
Android SDK概述
网络扩展库 sls-android-okhttp Android Trace网络库自动采集库。更多信息，请参见 接入Android用户体验监控数据。采集Unity3D游戏引擎插件数据 Unity4SLS.unitypackage Unity3D游戏引擎数据采集插件。更多信息，请参见 通过Unity Plugin接...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍...在 创建数据集 弹窗中，输入 数据集名称，选择 数据源导入 创建方式，数据源 选择 兼容MySQL数据库，详细步骤，请参见 添加兼容MySQL数据库的数据源。确认无误后，单击 导入数据表。
卡死报告
说明 针对 Android 机型，支持在卡死报告的详情数据中查看相关的堆栈信息。其中，启动卡死的堆栈信息提供了当前全部线程的堆栈内容，供开发人员排查。针对 iOS 机型，仅支持在卡死报告的详情数据中查看非启动卡死对应的堆栈信息。卡死报告...
创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
数据源管理
本文介绍数据源的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据源 具体操作请参见 添加数据源。搜索数据源 登录 DataV控制台。在 功能导航 模块单击 数据源，进入数据源管理页面。在数据源卡片页右上角可以做以下操作。...
数据集管理
本文介绍数据集的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据集 具体操作请参见 添加适配数据集。搜索数据集 登录 DataV控制台。在 功能导航 模块单击 数据集，进入数据集管理页面。在数据集卡片页右上角可以做以下操作...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
离线数据加工卡点
离线数据加工卡点，主要指在业务系统的数据生成过程中进行的卡点校验。代码提交的卡点校验 代码提交卡点主要包括您在提交代码时，手动或自动进行SQL扫描，检查您的SQL逻辑。校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
概述
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家内多个地域的多个 PolarDB 集群组成的网络。本文将介绍GDN特性等详情。GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群...
连接全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，在本文介绍如何查看GDN的集群地址并连接GDN。GDN连接地址 GDN不提供统一的连接地址，但GDN中每个子集群（主集群和从集群...
API概览
本产品（云数据库 ...全球数据库网络（GDN）管理 API 标题 API概述 CreateGlobalDatabaseNetwork 新建全球数据库网络 创建一个新的全球数据库网络（GDN）。DeleteGlobalDatabaseNetwork 删除全球数据库网络 删除全球数据库网络（GDN）。...
应用场景
异地灾备与异地多活是全球数据库网络（Global Database Network，简称GDN）中两种典型的应用场景。本文介绍这两种典型场景的业务架构及部署流程。异地灾备 通过异地灾备实现跨地域高可用，提升数据安全性和系统可用性。当发生机房或数据...
常见问题
PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务，运行报错：...
全增量同步任务常见问题
PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？全增量实时至MaxCompute时，数据源被置灰了没法选择怎么办？实时任务，运行报错：...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
创建MySQL to MaxCompute离线同步周期任务
周期任务名称 数据源 数据源数据对象 目标端 目标端数据对象 信用卡办卡信息上云_d MySQL/dataq_dws_rds ys_xyk_bkxx MaxCompute/dataq_odps_dev stg_base_xykbkjl_demo_di 信用卡消费明细上云_d MySQL/dataq_dws_rds ys_xyk_xfmx ...
新增和使用独享数据集成资源组
由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，且不会因白名单限制等原因不能访问数据源。因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务...
术语
全球数据库网络（Global Database Network）全球数据库网络（GDN）是由分布在全球不同地域的多个 PolarDB 数据库集群组成的一张网络。网络中所有集群的数据保持同步，完全一致。更多详情，请参见 创建与删除全球数据库网络。主集群...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
通过DataWorks导入
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍如何通过DataWorks将HDFS数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或...
使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
跨阿里云主账号访问
您在跨账号进行数据同步任务之前，需要设置并确保执行任务的独享数据集成资源组，与源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时，数据库与DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...
- 产品推荐
- 这些文档可能帮助您