数据库采集
.bat]–h<host>-u<username>-p<password>-P<port>-d<service_name>-s<sid>Teradate 13 14 15 collect_td[.sh]-h ip-p password-u username Db2_LUW collect_db2_luw[.sh]-h ip-u username-p password-d databasename-P port-h:采集数据库的...
迁移评估概述
您可以自行采集数据库对象定义，也可以安装迁移评估采集器完成数据库对象的采集。详情请参见 通过迁移评估采集器采集数据库对象。在线评估需要连接目标数据库，采集源端数据库的对象、SQL 语句和数据库负载等信息。离线评估需要上传 SQL ...
数据库评估概览
数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标画像，单击 下一步查看目标库选型建议，查看目标库兼容情况和推荐类型。具体操作，...
数据库评估常见问题
本文档介绍了您在使用数据库评估过程中遇到的常见问题。画像报错，非法的项目？请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请...
使用流程
1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 基于以上操作，可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等，用户可根据数据库评估分析里 对象兼容度 详情和 SQL兼容度 详情，根据指导建议自助...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
使用前须知
Logtail配置 创建采集任务后，自动生成一个类型为service_lumberjack的Logtail配置，用于采集数据库日志。仪表盘 仪表盘 说明 审计运营中心 展示数据库基本操作相关的指标，包括PV、UV、执行错误、累计插入行数、累计更新行数、累计删除行...
执行离线评估
本文为您介绍迁移评估如何通过离线评估的方式，进行数据...详情请参见 通过迁移评估采集器采集数据库对象。上传文件 单击 上传文件，选择需要评估的文件进行上传。支持上传多个文件，生成一个评估报告。单击 发起评估，即可启动离线评估任务。
数据库采集器问题
本文解释一些数据库采集问题。采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法...
应用评估
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
SQL Console初体验
您可手动采集数据库信息，请右键单击实例名称，选择 刷新/同步字典，再单击 确认，稍等片刻刷新实例列表即可。创建表 以在自由操作的MySQL数据库中创建test_table表举例。使用SQL语句创建表 在SQL Console中输入创建表的SQL语句。创建一个...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
数据库评估分析
数据库兼容评估可以帮助您评估目标库兼容性、规格、迁移风险，全面了解数据库上云的可行性以及改造工作量。新建目标库评估项目 说明 您可以在 目标库 选型建议 页签中，直接单击 下一步新建目标库评估，创建新的评估项目，或通过下面的步骤...
元数据采集的数据源有白名单访问控制时需要配置的白...
如果目标数据库未开启白名单访问控制，则DataWorks可以正常使用数据地图采集数据库的元数据；如果数据库开启了白名单访问控制，则需要进行下一步的添加白名单操作。数据库添加白名单。如果您需要进行元数据采集的数据库已开启白名单访问...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
实时数据API
在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。实时数据业务痛点。处理实时数据业务的整个链路中，要求数据库提供高...
产品优势
Hologres兼容PostgreSQL生态，支持快速查询分析MaxCompute的数据、实时查询实时写入的数据、联邦分析实时数据与离线数据，帮助您快速搭建企业实时数据仓库。Hologres专注实时数仓需求，从以下几个方面创新，提高数仓开发效率，降低应用门槛...
数据库实时入仓快速入门
同样的操作依次为tpc_ds、user_db1、user_db2和user_db3数据库导入对应的数据文件。在Hologres控制台创建my_user数据库，用于存放合并后的user表数据。操作步骤详情请参见 创建数据库。配置IP白名单 为了让Flink能访问MySQL和Hologres实例...
错误码表（2.0版）
18001 Not support CREATE DATABASE in db:schema 无法在该数据连接上进行CREATE DATABASE操作，请检查所用数据库连接是否正确。18002 非ADS user导致的失败信息。操作必须由ADS user进行，请确认当前使用的UMM账号是ADS用户账号。18003 NA...
采集客户端数据的高可用方案
本文介绍日志服务从客户端采集数据的两个高可用方案，包括双写方案和数据加工复制+写入切换方案。背景 在单集群环境下，日志服务存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群的...
基于Flink+Hologres搭建实时数仓
搭建实时数仓 构建ODS层：业务数据库实时入仓 基于Catalog的 CREATE DATABASE AS（CDAS）语句 功能，可以一次性把ODS层建出来。ODS层一般不直接做OLAP或SERVING（KV点查），主要作为流式作业的事件驱动，开启binlog即可满足需求。Binlog是...
CREATE DATABASE AS（CDAS）语句
参数 说明 target_database 数据同步的目标数据库名，可以指定具体的Catalog名称。COMMENT 目标库的描述，默认使用source_database的描述。WITH 目标库的参数，详情请参见 管理元数据 中对应的Catalog文档。说明 key和value都需要为字符串...
基于Flink+Hologres搭建实时数仓
构建ODS层：业务数据库实时入仓 基于Catalog的 CREATE DATABASE AS（CDAS）语句 功能，可以一次性把ODS层建出来。ODS层一般不直接做OLAP或SERVING（KV点查），主要作为流式作业的事件驱动，开启binlog即可满足需求。Binlog是Hologres的核心...
什么是实时数仓Hologres
所见即所得的开发 数据实时写入即可查询，支持DB、Schema、Table三级体系，支持视图View，原生支持Update/Delete/Upsert，支持关联、嵌套、窗口等丰富表达能力，原生支持半结构化JSON数据分析，支持MySQL等数据库数据整库一键入库，实时...
基于GitHub公开事件数据集的离线实时一体化实践
本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
实时数据采集
本文为您介绍如何使用智能制造平台AICS实时数据采集模块。创建通道 登录 工业数据中台IGate。在通道管理页面，单击右上角 新增通道 按钮。通道是测点数据的来源，如果不使用IGate主动采集则不需要添加通道，可使用默认提供的平台标准通道，...
事件上报概述
您可以将用户在您的APP、小程序、网页等应用上的行为事件（含订单事件）数据实时采集并上报到Quick Audience，会员中台、社交互动 模块也会将相关用户行为事件同步上报到Quick Audience，这些用户行为事件数据将参与实时 ID Mapping 获取...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
东软案例
企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长，对映可用性保障运维监控采集数据采集种类，以及需要存储的数据量同步激增，现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的...
图扑案例
厦门图扑软件联手 云原生多模数据库 Lindorm 开启工业物联超融合存储模式，应用于工业、制造、楼宇建筑、航空与航天行业。业务/技术亮点 百PB级海量多源异构监控数据一站存储。每秒高吞吐量轻松应对监控指标高并发写入。多模数据检索引擎...
哈啰出行
单车数据、APP数据无缝打通，因而催生了数据的实时采集、分析、存储需求。业务痛点 哈啰出行原有架构是将数据采集到Kafka，然后将日志写入ELK做查询，同时写入ClickHouse做分析。由于每天增量数据在TB级别，对ES稳定性压力比较大。当查询...
概述
实时日志推送与日志下载的区别 实时日志为实时采集的日志数据，日志数据延迟不超过3分钟。帮助您快速对日志进行分析，发现问题，及时决策。通过日志下载，您可以下载每小时的日志数据（存在延迟）。计费说明 您需要按照实时日志推送成功条...
应用场景
风力发电 在风力发电机组本地网络中，部署边缘计算网关，实时采集机组数据。在本地处理采集的数据后，先将数据上传至阿里云MaxCompute，再使用大数据训练模型后，对发电参数，如风向灵敏度、启动延时参数等做优化。将模型转化为算法或者...
使用前须知
阿里云日志服务与全站加速DCDN联合推出日志功能，支持近实时采集DCDN实时日志。日志服务提供实时查询、可视化分析、告警、投递、加工等一站式服务。本文介绍DCDN实时日志相关的功能介绍、资产详情、费用说明及使用限制。功能介绍 您的业务...
什么是实时日志
通过实时日志功能，您可以实时采集节点产生的日志，并投递到日志服务（简称SLS）进行存储和消费，以便快速监控和定位业务问题。如果您想深入了解日志服务，请参见 什么是日志服务。注意事项 通过CDN/DCDN控制台（或者OpenAPI）的监控查询、...
云产品日志审计
一键式采集：一次性配置采集策略后，即可完成跨账号自动实时发现新资源（例如新创建的RDS、SLB、OSS Bucket实例等）并实时采集日志。中心化存储：将采集到的日志存储到某个地域的中心化Project中，方便后续查询分析、可视化与告警、二次...
使用前须知
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
什么是实时日志
在借助 CDN 访问图片、文字或视频资源时，CDN 会产生大量的日志数据，并对这些日志数据进行实时采集。阿里云 CDN 通过与日志服务融合，将采集到的实时日志实时推送至日志服务（简称SLS），并进行日志分析。通过日志的实时分析，您可以快速...
使用前须知
说明 目前，平台操作日志功能支持采集对象存储OSS的平台操作日志、云服务器ECS的平台操作日志、云数据库RDS的平台操作日志、容器服务Kubernetes版ACK的平台操作日志和E-MapReduce的平台操作日志。资产说明 自定义Project和Logstore 该...
平台操作审计概览
说明 目前，平台操作审计功能支持采集密钥管理服务KMS、数据安全中心DSC、对象存储OSS、云服务器ECS、云数据库RDS、容器服务Kubernetes版ACK、容器镜像服务ACR和E-MapReduce的平台操作事件。应用场景 追踪平台操作事件，查看资产变化原因。...
- 产品推荐
- 这些文档可能帮助您