文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
使用OpenAPI
本文为您介绍使用物联网络管理平台OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2019-03-01 推荐 接入点说明 地域 服务地址 华东1（杭州）linkwan....
附录：预设角色权限列表（空间级）
DataWorks提供项目所有者、空间管理员、数据分析师、开发、运维、部署、访客、安全管理员、模型设计师这几种角色，本文将为您介绍具体角色的权限说明。DataWorks提供的空间预设角色默认拥有所有空间级模块的可读权限，但不同空间预设角色所...
什么是网络智能服务
网络智能服务 NIS（Network Intelligence Service）是一个对网络进行健康分析、性能监控、诊断修复、流量分析和测量仿真的云服务，通过集成机器学习、知识图谱等AIOps方法减少网络使用复杂性，提供自助运维能力，方便网络架构师和运维...
前言
本次培训主要介绍 Mesh 协议插件和功能插件。协议插件包含各种场景的私有协议接入；功能插件包括协议转换、拦截器以及动态配置等场景，帮助您高效、低成本、快速完成系统集成能力。培训目标 通过插件机制开放扩展点，赋能外部生态客户，...
监控与日志
日志服务 网络智能服务集成了阿里云日志服务SLS，您可在开通同域跨VPC流量分析时，对该VPC与TR连接的弹性网卡ENI开启VPC Flowlog，通过日志服务收集和处理云产品的同域流量日志数据。开启VPC Flowlog的操作，请参见 开通同域流量。关于流...
数据集成概述
但在进行上述网络环境下的数据同步前，您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与...
成为阿里云官方认证解决方案
请您与阿里云架构师共同设计集成方案并确认测试用例，阿里云架构师会协助您申请测试资源、完成产品的部署，将贵司的产品或解决方案与阿里云的产品进行深度集成测试。还需贵司点击下方链接，下载测试报告并输出，并将测试报告盖章（首页、尾...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
添加白名单
前提条件 您需保障数据源与数据集成资源组间的网络时连通状态：如果您目前需要连通的数据库网络较复杂（不是同步同阿里云账号下同Region的数据库），您需要根据数据集成资源组网络能力来选择合适的方案访问您特殊场景下的数据库，详情可...
使用DataWorks同步iGraph数据
数据集成是大数据开发治理平台DataWorks提供的数据同步服务，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。借助DataWorks提供的数据同步能力可将多种数据源的数据批量写入iGraph。本文为您讲解如何配置...
DataWorks节点合集
类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步，并提供用于离线（批量）数据周期性同步的离线同步节点，与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发（DataStudio）界面直接创建。...
Github实时数据同步与分析
进入 DataWorks资源组列表 页面，单击目标独享数据集成资源组 操作 列的 网络设置。在 专有网络绑定 页签下，单击 新增绑定，在弹出的 新增专有网络绑定 面板中，填写专有网络信息。并单击 确定。参数 说明 资源组名称 默认为目标独享数据...
机器学习
MADlib机器学习模块主要解决以下问题：分类/回归问题：提供一系列算法如K最近邻、MLP多层感知神经网络、SVM支持向量机、决策树等算法来解决二元分类/回归问题，集成最小二乘法、GLM广义线性回归、逻辑回归、多项式回归等模型来解决回归问题...
金融行业系统设计与咨询服务
指派具备行业经验及相关项目经验的若干业务架构师及技术架构师，进行现状调研及方案设计。配合甲方完成方案交接与讲解。4.1.3.完工标准 系统设计方案设计完成并经过甲方确认 产出交付物 5.服务SLA 纯咨询服务，服务完工前，根据客户需要...
云效客户声音
——中小金融企业持续交付之路“使用云效后，我们实现了多个产品多个版本的同步开发和测试，快速迭代交付，五十几个应用模块，在七个测试环境中，持续集成持续交付，互不干扰，发布周期由之前的每月发布变成了每天可发布，全过程的自动化...
阿里云上的Salesforce中国架构数据手册
目前的主要中国法规和法律包括：《网络安全法》（2017 年首次颁布）：定义了向中华人民共和国境外传输个人数据和“重要”数据的相关要求《数据安全法》（2021 年首次颁布）：定义了境内和境外处理在中华人民共和国收集和生成的数据的法律...
什么是AUI Kits
离线录制，即当学生断网后，将自动开启本地视频录制，并在网络恢复后上传至云端。产品优势 低成本接入，1小时跑通 提供丰富的场景化UI组件，低代码集成场景SDK快速实现音视频应用。1小时即可跑通业务流程，简单易用，降低开发门槛和运维...
常见问题
5、应用集成：专有钉钉具备开放集成的特点，通过专有钉的集成中心可将客户自购的三方能力集成到底座供业务调用，如手写签批，量子云码等；6、业务定制：专有钉钉开放属性大于标准化属性，是开放态产品。客户特定场景下有需求，且能沉淀在...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
独享数据集成资源组
网络连通方案 独享数据集成资源组与其他独享资源组类似，本质上为一组阿里云ECS实例，在数据集成任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。...
通用参考：按量付费转包年包月
独享数据集成资源组：网络连通方案 独享调度资源组：网络连通方案 独享数据服务资源组：网络连通方案。使用资源组 资源组绑定工作空间：资源组购买完成后，您需要为资源组绑定所需工作空间。独享数据集成资源组：绑定归属工作空间 独享调度...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
OSS数据离线同步至MaxCompute
配置完成后，单击 测试连通性，选择您已经完成与OSS网络联通的数据集成独享资源组，确保连通状态为 可连通，即可实现OSS与对应数据集成独享资源组的网络联通。新增MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源...
ClickHouse整库数据离线同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...
Android应用集成SDK
本文介绍了为您的Android应用集成WAF App防护SDK（以下简称SDK）的操作方法。您必须在应用中集成SDK，才能为应用开启App防护。使用限制 Android应用的API版本必须是 16 及以上，否则无法正常使用SDK。前提条件 已开通WAF App防护模块且开启...
MaxCompute数据离线同步至ClickHouse
准备独享数据集成资源组并与ClickHouse网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和ClickHouse集群的 配置网络连通。如果您的独享数据集成资源组和ClickHouse属于同一地域，可使用同地域VPC内网联通独享资源组和...
计费逻辑说明
访问复杂网络环境数据库 访问复杂网络环境下的数据库，请选择独享数据集成资源组。网络解决方案详情请参见 配置资源组与网络连通。实时同步数据 实时同步数据，需要使用独享数据集成资源组。调度费用 数据集成离线任务通过调度系统下发至...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
公共数据集成（调试）资源组
公共数据集成（调试）资源组支持哪些网络类型？公共数据集成（调试）资源组的性能限制 公共数据集成（调试）资源组的其他注意事项 公共数据集成（调试）资源组怎么收费？公共数据集成（调试）资源组采用按量付费策略，具体参见 公共数据...
集成的云服务
ADP集成了弹性计算、网络和数据等一系列云服务。弹性计算 云服务器ECS 容器服务 网络 专有网络 VPC 负载均衡 弹性公网IP 数据库 云数据库 RDS 云数据库 Redis 版
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
资源组操作及网络连通
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
专有网络VPC的数据源连通独享数据集成资源组
本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件 购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见 快速创建RDS MySQL实例。在目标实例...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
概览
本服务提供的SDK集成到用户应用程序或者SDK中，配合云端配置的探测策略，即可获取丰富的、可视化的业务相关网络数据。可以结合业务场景进行网络故障的定界定位、网络质量的优化以及与其他云产品联动。应用场景 全局用户网络质量概览 通过...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
- 产品推荐
- 这些文档可能帮助您