归档 - Menglonq的个人博客

2026-07-27

Glue

Glue Data Catalog 10 万+ 表规模元数据搜索实测：GetTables Expression 真实语义、并行策略与 Glue job vs 纯脚本成本对比内容性质：基于公开 API 的黑盒行为实测（2026-07，cn-north-1，500 库 / 100,120 表模拟环境）

2026-07-27

Glue

Glue Python Shell 升 3.9 后 import pg 报 ModuleNotFoundError：PyGreSQL 预装消失的解法与 C 扩展 wheel 编译配方内容性质：解决方案（solution）。基于中国区真实 Glue Python Shell 2.0/Python 3

2026-07-27

Glue

Python .egg 库转换为 .whl 的操作指南（Glue Python Shell 3.9 适用）内容性质：操作方法（howto）。两种方式均经实测验证。可直接指导客户。概述 Glue Python Shell 升级到 Python 3.9 后不再支持 .egg 格式的库（egg 不会被

2026-07-12

DynamoDB

DynamoDB 跨账号最小停机迁移 —— 演练完整记录演练日期：2026-06-22。目的：验证「S3 Export/Import + DynamoDB Streams + Lambda」跨账号最小停机迁移方案的可行性。结论：全流程数据零丢失，源表与目标表精确对齐（1,562,087 == 1

2026-07-12

Glue

概述在使用 Amazon Glue 进行大数据处理时，我们经常需要安装额外的 Python 包。由于安全和网络限制，直接从公共 PyPI 安装可能不可行。或者即便配置了国内镜像源，也可能会因为镜像源的不稳定或网络波动导致安装失败从而导致Job失败。本文将介绍如何创建私有 Python 包仓库，并在

在EMR中实现 Running Solr on S3

2026-07-12

EMR

前言：在工作中遇到的问题，由于网上几乎没有相关文章，所以记录下来。感谢博客[1] 中的作者 @tcahill提供了宝贵经验。环境： emr-6.3.0 solr-8.6.0 根据 [1] 中的描述得知 Solr 自带了 hadoop 相关 jar 包。由于 EMR 中的

菜单