数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
新建Paimon数据源
通过新建Paimon数据源能够实现Dataphin读取Paimon的业务数据或向Paimon写入数据。本文为您介绍如何新建Paimon数据源。权限说明 仅支持具备新建数据源权限的账号进行新建。更多信息，请参见 数据源权限说明。使用限制 Paimon数据源不支持以...
创建TDH Inceptor数据源
通过创建TDH Inceptor数据源能够实现Dataphin读取TDH Inceptor的业务数据或向TDH Inceptor写入数据。本文为您介绍如何创建TDH Inceptor数据源。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析服务，同时支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。本文为您介绍如何使用Quick BI连接...
OSS数据安全防护最佳实践
DSC 在您完成数据源识别授权后，从您存储在OSS的海量数据中快速发现和定位敏感数据，对敏感数据分类分级并统一展示，同时追踪敏感数据的使用情况，并根据预先定义的安全策略，对数据进行保护和审计，以便您随时了解OSS数据资产的安全状态。...
数据质量评估标准
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要保持一致...
使用MaxCompute控制台（离线）
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
DataWorks On CDP/CDH使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
DataWorks On Hologres使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
识别任务说明
扫描速度 不同类型数据库的扫描速度说明如下，该扫描速度仅供参考：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据（TableStore、MaxCompute等）：对于较大的数据库（即表数量大于1000个），扫描速度为1000列/分钟。...
数据归档
通过数据归档OSS功能，用户能够将低频访问、数据量大的表转储至OSS，并通过原生InnoDB的访问方式去读取冷表数据。数据归档DDL操作如下：归档 ALTER TABLE$table_name ENGINE_ATTRIBUTE='{"OSS":"Y"}';取回 ALTER TABLE$table_name ENGINE_...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
常见问题
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
准备数据
同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。错误记录数 错误记录数，表示脏数据的最大容忍条数。确认当前节点的配置无误后，单击左上...
近实时数仓数据入仓介绍
为满足业务对数据仓库中高度时效性数据的需求，MaxCompute基于Transaction Table2.0实现了分钟级近实时数据写入和主键更新功能，显著提升了数据仓库的数据更新效率。数据写入场景 面对具有突发性和热点性的客户行为日志，如评论、评分和点...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
安全白皮书概述
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
数据科学计算概述
背景信息 Python作为目前机器学习、AI模型开发的主流编程语言，提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库，用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
如何选用安全类产品
极高 3 加密服务（国密加密，政务业务数据加密必备）加密服务基于国家密码局认证的硬件加密机，提供了云上数据加解密解决方案，用户能够对密钥进行安全可靠的管理，也能使用多种加密算法来对云上业务的数据进行可靠的加解密运算 数据通讯...
Tair扩展数据结构概览
云数据库 Redis 版 与开源Redis相同，支持String、List、Hash、Set、Sorted Set、Stream等数据类型，能够满足大部分场景下的开发需求，但无法直接满足一些复杂场景的业务需求，需要通过开发大量代码、使用Lua脚本等复杂的方式实现。...
Tair命令概览
Cpc 无 TairCpc是基于CPC（Compressed Probability Counting）压缩算法开发的数据结构，支持仅占用很小的内存空间对采样数据进行高性能计算，支持滚动窗口和滑动窗口，可以更好地支持流式运算，支持大数据分析中常用的聚合算子，如：...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
数据可视化概览
仪表盘和大屏是图表的组合布局，支持快速分析和自由可视化这两类主流场景，以满足大部分的数据可视化需求。场景支持 安全自助式数据分析 基于DMS安全管控底座，确保可视化所用的数据均经过授权访问。一次配置即可实现可视组件高级过滤、...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
- 产品推荐
- 这些文档可能帮助您