DR拍片机器怎么调大数据-151 Apache Druid 集群落地 [上篇] MySQL 元数据 + HDFS 深存与低配调优

新闻资讯2026-04-20 23:19:40
症状 根因 定位 修复 Historical 启动即退出/Direct buffer OOM buffer 过大与 MaxDirectMemory 不匹配 查看 historical 日志中 “Cannot allocate memory / direct buffer” 提示;核对 runtime.properties 与 jvm.config 降低 druid.processing.buffer.sizeBytes 或提高 -XX:MaxDirectMemorySize;按公式收敛(buffer ×(merge+threads+1))。 “No suitable driver / 找不到 MySQL 驱动” 连接器未放到正确目录或命名错误 检查 $DRUID_HOME/extensions/mysql-metadata-storage 确保 mysql-connector-java-8.0.19.jar 存在且重启生效。 深度存储写失败 / “No FileSystem for scheme: hdfs” Hadoop 客户端依赖/配置未生效 看 middleManager/historical 日志;核对 _common 下 *-site.xml 确保 druid-hdfs-storage 已加载;软链 Hadoop 配置,必要时补齐 Hadoop 客户端依赖。 Broker 查询 500 / “No servers found” 无可用 Historical/Realtime 节点或段未加载 Web 控制台看 Coordinator Segments/Rules;Broker 日志 启动 Historical/Realtime;确认段已加载与路由规则有效。 ZK 连接超时 / ConnectionLoss zk 地址/端口错误或网络不可达 zookeeper 客户端 zkCli 直连测试 修正 druid.zk.service.host;放通 2181;确保 /druid 存在。 MiddleManager 任务卡住/日志不落 HDFS HDFS 目录权限/配额问题 hdfs dfs -ls/-chmod 检查目录;任务日志报错 赋权/预建目录;必要时调整 fs.permissions.umask-mode。 时间列偏移 8 小时 JVM 时区参数不规范 查询服务与任务日志中的时区信息 将 -Duser.timezone 设为 Asia/Shanghai(或 GMT+08:00),并核对 ingestion spec 的 timestampSpec。 HDFS 路径解析异常 使用相对路径但 defaultFS 未配置 查看 core-site.xml 的 fs.defaultFS 将存储目录改为 hdfs://host:port/… 或补齐 defaultFS。 主机名不可达 / DNS 失败 使用内网域名未解析 ping/host 验证 h121.wzk.icu 等 /etc/hosts 写死映射或改用 IP;同步修改 druid.host。