快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
集成与开发概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息，请参见 离线集成概述。离线集成是一种低代码的数据开发工具，...
概述
网络及数据安全最佳实践 从网络架构和数据安全等方面进行全面检测，以确保系统和数据进行了合理的设置和保护，有效减少网络和数据泄漏的风险。满足这些要求，可以大幅度降低网络安全风险。网络及数据安全最佳实践支持的功能如下表所示。...
Linux实例网站访问丢包延时高的排查方法
traceroute命令行工具 traceroute是几乎所有Linux发行版本预装的网络测试工具，用于跟踪Internet 协议（IP）数据包传送到目标地址时经过的路径。traceroute先发送最大存活时间值（Max_TTL）的UDP探测数据包，然后侦听从网关开始的整个链路...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
通过HTTP API写入数据
我们称POST的主体内容，包含你想要存储的时序数据，为行协议（Line Protocol），它的组成部分有measurement、tags、fields和timestamp。TSDB For InfluxDB®要求时序数据必须有measurement。严格来讲，tag是可选的，但是大多数时序数据都会...
大数据AI公共数据集分析
本文以分析公共数据集的数据示例，为您展示如何使用DataWorks进行简单数据分析工作。本教程以申请免费资源为例为您展示详细操作步骤，您也可以使用付费资源，操作类似。教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、...
Github实时数据同步与分析
操作难度 易 所需时间 55分钟 使用的阿里云产品 实时数仓Hologres 云原生大数据计算服务 MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据可视化 所需费用 0元 阿里云提供一定额度的资源包供您免费体验，开通后会使用计算...
网络大盘
网络大盘提供网关的实时网络请求数据分析，包括网络请求响应时长、网络请求失败率、请求数、DNS 用时、TCP 建连用时等网络传输指标，以及指标数据的地域分布情况。查看网络大盘数据的步骤如下：登录控制台，进入 产品与服务>移动开发平台 ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
安全性
网络和数据链路 AnalyticDB PostgreSQL版 做为云原生分布式系统拥有非常高的安全性，首先每个新建实例使用专有网络，也称为VPC（Virtual Private Cloud），VPC是一种隔离的网络环境，安全性和性能均高于传统的经典网络。根据使用场景可选择...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
关系网络
图表样式 关系网络是以点线的形式表现事物之间关系的组件，支持自定义点、线和标签的样式，支持多系列的节点配置，能够以点线的形式在数据看板中展示复杂的网络关系。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）网络连通解决方案 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务...
Windows实例网络访问丢包延时高的排查方法
tracert命令行工具 tracert(Trace Route)是Windows自带的网络诊断命令行实用程序，用于跟踪Internet协议（IP）数据包传送到目标地址时经过的路径。tracert通过向目标地址发送ICMP数据包来确定到目标地址的路由。在这些数据包中，tracert...
命令行界面
下载CLI 根据操作系统的不同，下载合适的二进制包，下载地址如下：macOS(amd64)Linux(amd64)Windows 解压下载的压缩包，进入到解压后的文件夹，可获得命令行工具 influx（Windows下为 influx.exe）。启动influx 在cmd终端启动 influx。成功...
对接使用CDH与CDP
数据地图配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据地图服务采集CDH集群中Hive数据库、表、字段、分区元数据，便于实现全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。说明 当前仅支持Hive数据库。...
固定规格计算包计费问题
其他 Q：为什么在费用中心看不到固定规格计算包抵扣情况？A：固定规格计算包订购成功后立即生效，但具体的抵扣信息一般会延迟6小时展示，建议您等待一段时间后再进行查看。更多信息请参见 查看固定规格计算包抵扣量。Q：固定规格计算包可以...
Tunnel SDK常见问题
使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用Tunnel SDK上传数据时，报错StatusConflict，如何解决？使用Tunnel SDK上传数据时，报错Blocks Not Match...
ModifyInstance-修改实例信息
当您需要修改实例的托管模式、数据库账密、功能包等基本信息，及环境类型、实例在DMS的名称、查询和导出数据的超时时间等高级信息时，可调用该API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，...
创建实例
您可以通过 云原生多模数据库 Lindorm 控制台创建Lindorm实例。本文介绍创建Lindorm实例的步骤，以及创建过程中各个参数的含义。前提条件 已注册阿里云账号。具体操作请参见 注册阿里云账号。免费试用 阿里云提供免费试用 云原生多模数据库...
云网络互访性能观测
探测集群会在网络上定时发送和接收性能探测数据包并将汇总统计后的数据发送并呈现在性能观测页面。由于探测集群内的测试机与租户完全独立，因此不会影响或消耗您的任何资源。性能观测数据与您在阿里云上实际部署的资源情况无关。云网络互访...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
RDS MySQL物理备份文件恢复到自建数据库
本文介绍如何使用Percona XtraBackup工具，将RDS MySQL的物理备份文件恢复到自建数据库。背景 RDS MySQL支持将实例备份文件恢复到自建数据库，当前支持物理备份文件恢复、逻辑备份文件恢复等多种方式。如何选择数据恢复方案，请参见 数据...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
客户端连接
此外也支持Docker形态的工具包，你可以在 Docker官网 找到对应平台的Docker安装地址。运行 AnalyticDB PostgreSQL 6.0版 对应的工具镜像，操作示例如下：docker run-idt-name=adbpgcli aliadbpg/adbpgcli:v6.3.0 docker exec-it adbpgcli/...
AddInstance-录入数据库实例
调用该API可以实现将您的数据库实例录入至DMS中，同时，可以为实例开启安全托管能力。接口说明 系统角色为 DBA 或管理员。查看系统角色的操作，请参见 查看我的系统角色。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
自建SNAT策略后网络不通
根据该图可得如下结论：当一个数据包进入网卡时，数据包首先进入PREROUTING链，在PREROUTING链中可以修改数据包的目的IP，然后内核的路由模块根据数据包目的IP以及内核中的路由表判断是否需要转送出去。如果数据包的目的IP是本机的网口IP，...
监控与报警
当您遇到公网限速等网络问题时，您可以使用 云监控 CMS（Cloud Monitor）对IPv6网关和IPv6公网带宽收集实时指标，并生成可视化的时序曲线图。然后根据各监控指标排查问题。查看IPv6网关监控 登录 IPv6网关管理控制台。在顶部菜单栏处，选择...
DBS计费概述
说明 如果您的数据量较大时，推荐您使用 DBS网络包 抵扣网络费用。按量付费 网络包（预付费）。更多信息，请参见 使用网络包。DBS沙箱费用 在DBS中创建沙箱实例所产生的相关费用。您可以在DBS沙箱功能中快速恢复目标备份集，让您的备份数据...
- 产品推荐
- 这些文档可能帮助您