网络数据记录-网络数据记录文档介绍内容-阿里云

数据质量教程概述

数据的缺失包括数据记录的缺失（表行数异常）和记录中某字段信息的缺失（字段出现空值）。在本教程中，您需要重点关注数据的生产环节（MaxCompute外部表引用的表格存储数据）和加工环节（数据仓库CDM及ADS层）中表行数是否大于0、表行数...

实时同步字段格式

对于INSERT、UPDATE和DELETE等不同的操作类型，增量数据记录中的_before_image_和_after_image_定义如下：当操作类型为INSERT时，生成的记录为更新后的记录，_before_image_取值为N，_after_image_取值为Y。当操作类型为UPDATE时，数据集成...

查看我的导入记录

您可以查看数据导入的记录，包括数据字典、变量映射、资源管理、算子和模型的导入。本文主要介绍如何查看我的导入记录。操作步骤登录数据资源平台控制台。在页面左上角单击图标，选择探索。在页面右上角，单击图标，选择我的导入记录...

审计配置

流量采集（Agent）RDS、PolarDB、自建数据库通过在应用服务器或数据库服务器中部署Agent，并配置网络连接来打通数据采集链路。Agent将日志流量转发给 DSC 审计服务器完成日志采集。重要该审计模式会消耗服务器的一些CPU、内存、网络带宽...

数据质量评估标准

完整性完整性是指数据的记录和信息是否完整，是否存在数据缺失情况。数据缺失主要包括记录的缺失和具体某个字段信息的缺失，两者都会造成统计结果不准确。完整性是数据质量最基础的保障。例如，某个稳定业务的数据量每天约为100万条记录，...

查看合并记录

在 OceanBase 管理控制台对实例发起数据合并操作后，您可以进入实例工作台查看该实例的数据合并记录。前提条件已对集群实例发起数据合并操作。发起数据合并的操作，详见发起合并。操作步骤查看数据合并记录时，涉及如下两种操作场景：...

查看数据源校验记录

数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录在Dataphin首页，单击顶部菜单栏的资产。按照下图操作指引，进入数据源校验记录页面。参数说明筛选与搜索您可以...

查看数据源校验记录

数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录在Dataphin首页，单击顶部菜单栏的资产。按照下图操作指引，进入数据源校验记录页面。参数说明筛选与搜索您可以...

GetOpSensitiveData

}],"totalCount":6 返回的敏感数据记录信息。包括totalCount（敏感数据总条数）和opRiskDatas（风险数据列表）。其中opRiskDatas（风险数据列表）包括：sensType：敏感类型。sensLevel：敏感级别（数字越大表示敏感程度越高）。opType：...

查询诊断

您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称说明算子名称算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...

查看并管理运行记录

运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录在Dataphin首页，单击顶部菜单栏的研发。按照下图操作指引，...

查看并管理运行记录

运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录在Dataphin首页，单击顶部菜单栏的研发。按照下图操作指引，...

独享数据集成资源组

数据源处于经典网络中独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...

独享调度资源组

数据源处于经典网络中独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...

配置VPC数据源

本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息了解专有网络VPC，详情请参见什么是...

查询并下载数据

样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见数据下载配置。说明若规范设置中已开启下载审批，您需提交数据下载申请后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...

淘宝万亿级交易订单背后的存储引擎

每次交易会涉及到会员信息验证、商品库信息查询、订单创建、库存扣减、优惠扣减、订单支付、物流信息更新和确认支付等，每个环节都涉及到数据库记录创建和状态更新，整个流程可能涉及到数百次数据库事务操作，整个数据库集群每天会执行数百...

网络连通解决方案

添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案根据数据源所在的网络环境，在下图中选择对应的网络连通...

配置资源组与网络连通

在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...

实时数据订阅概述

背景信息云原生多模数据库 Lindorm 数据订阅功能支持任何一个表的每一条数据变更，您可以在客户端查看数据变更记录。当您开通某一张表的数据订阅功能后，其变更数据的操作就会被存储。每次对Lindorm表格的数据执行增删改操作时，数据订阅...

数据探查全局配置

数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件需开通数据质量功能模块才可使用数据探查功能。权限 ...

新增和使用独享数据服务资源组

网络连通与白名单配置独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下需要添加...

数据探查全局配置

数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件需开通数据质量功能模块才可使用数据探查功能。使用...

创建PostgreSQL数据源

前提条件若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见数据源白名单配置。权限说明 Dataphin仅支持超级管理员、...

创建Microsoft SQL Server数据源

前提条件若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见数据源白名单配置。使用限制 Dataphin仅支持超级管理员、...

创建ClickHouse数据源

前提条件若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见数据源白名单配置。权限说明 Dataphin仅支持超级管理员、...

创建MySQL数据源

前提条件若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见数据源白名单配置。使用限制 Dataphin仅支持超级管理员、...

创建Hologres数据源

若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见数据源白名单配置。操作步骤在Dataphin首页，单击顶部菜单栏管理...

查看数据探查报告及探查记录

本文为您介绍如何查看数据探查报告和探查记录。前提条件需开通数据质量功能模块才可使用数据探查功能。权限说明超级管理员和运营管理员支持查看所有数据表的探查报告和探查记录；当前数据表负责人仅可查看自己所负责表的探查报告和探查...

查看数据探查报告及探查记录

本文为您介绍如何查看数据探查报告和探查记录。前提条件需开通数据质量功能模块才可使用数据探查功能。权限说明超级管理员和运营管理员支持查看所有数据表的探查报告和探查记录；当前数据表负责人仅可查看自己所负责表的探查报告和探查...

创建全球数据库网络

全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...

查询并下载数据

样例数据下载：样例数据下载的格式和数据运行记录由数据下载审批设置决定。更多信息，请参见数据下载配置。说明若规范设置中已开启下载审批，您需提交数据下载申请后才可进行下载。审批通过后，您可查看审批任务、当前运行结果或在运行...

数据备份

数据备份页签的每一行信息表示一份基础备份数据，记录了备份开始时间，备份结束时间，备份状态（成功或失败），备份大小以及一致性时间点。一致性时间点表示此基础备份数据可以将集群恢复至该历史时间点，并使数据库处于一致性状态...

创建PolarDB数据源

前提条件若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见数据源白名单配置。权限说明 Dataphin仅支持超级管理员、...

使用公共资源组

数据源网络环境是否支持访问数据源处于公网环境支持数据源处于经典网络支持数据源处于VPC网络不支持公共数据集成（调试）资源组公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置公共调度资源组为您提供任务安全...

我是安全管理员

安全与规范操作日志操作日志中保存了数据变更记录，您可以随时在其中追溯变更时间、变更人、执行的操作等信息。敏感数据管理在敏感数据管理中，可以对表中的敏感数据进行添加算法、调整安全级别等操作。数据安全卫士数据安全卫士可以全...

产品优势

采用白名单、VPC网络、数据多副本存储等全方位的手段，对数据库数据访问、存储、管理等各个环节提供安全保障。快速弹性，应对不确定的业务增长配置升降级，5分钟生效。采用容器虚拟化技术和共享的分布式块存储技术，使得数据库服务器的CPU...

Tablestore Stream数据源

Tablestore会根据每种操作生成对应的增量数据记录，Reader插件会读出这些记录，并导出为数据集成的数据格式。同时，由于Tablestore具有动态列、多版本的特性，所以Reader插件导出的一行不对应Tablestore中的一行，而是对应Tablestore中的一...

创建RDS MySQL数据订阅通道

通过数据订阅功能，您可以实时订阅源库的增量数据，轻松帮助业务实现轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。本文将介绍如何创建RDS MySQL数据订阅通道。注意事项由于使用gh-ost或pt-online-schema-change等类似...

新增和使用独享数据集成资源组

由于执行数据同步任务流程的要求，需要保证资源组可以访问数据源（来源数据源和目标数据源）所在的网络，且不会因白名单限制等原因不能访问数据源。因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务...

网络数据记录

新品推荐