cloudstack下libvirtd服务无响应问题

在cloudstack4.5.2版本下，偶尔出现libvirtd服务无响应的情况，导致virsh命令无法使用，同时伴随cloudstack master丢失该slave主机连接的情况。最初怀疑是libvirtd服务或版本的问题，经过分析和排查最终确定是cloudstack-agent的问题。但是在官网上并没有找到类似的bug提交，该问题可能还存在于更高的版本，需要时间进一步从根本上分析。下面是该问题的处理过程，在此记录下，关注和使用cloudstack的朋友可以参考。

众所周知，cloudstack的社区热度远不如openstack，为什么还要选择clcoudstack？这个问题以后有机会再和大家聊。言归正传。

环境交代

宿主机操作系统：centos6.5x64(2.6.32-431.el6.x86_64)

问题描述

通过cloudstackapi listHosts报警信息显示:

登陆问题宿主服务器检查：

[root@node5 log]#virsh list --all

没有响应ctrl^c退出

这时的vm可以正常工作，但处于失控状态

尝试重启启动libvirtd服务：

[root@node5 log]# service libvirtd stop

正在关闭 libvirtd 守护进程：                               [失败]　　#无法关闭libvirtd服务

尝试重启启动cloudstack-agent服务：

[root@node5 libvirt]# service cloudstack-agent restartStopping Cloud Agent: Starting Cloud Agent: 

libvirtd故障依旧

简单维护

[root@node5 ping]# libvirtd -d -l --config /etc/libvirt/libvirtd.conf 

libvirtd：错误：Unable to initialize network sockets。查看 /var/log/messages 或者运行不带 --daemon 的命令查看更多信息。

[root@node5 log]# libvirtd -d

可以执行成功，这时执行virsh list --all 可以查看和操作vm

[root@node5 log]#virsh list --allId  名称             状态---------------------------------------------------- 2   i-4-185-VM           running

虽然vm运行正常，现在也可以通过命令正常管理了。但是对于cloudstack平台而言，宿主机处于down状态，vm处于失控状态。

临时解决办法是在其它大的升级和维护过程中重启服务器解决，根本解决还要具体问题具体分析。

分析与排查

检查进程

[root@node5 log]# ps ax |grep libvirtd 6485 ?    R  863:37 libvirtd --daemon -l　　#该服务始终处于run状态

[root@node5 log]# top -p 6485top -p 6485top - 09:19:41 up 12 days, 22:27, 1 user, load average: 3.05, 5.07, 6.64Tasks:  1 total,  0 running,  1 sleeping,  0 stopped,  0 zombieCpu(s): 4.8%us, 1.4%sy, 0.0%ni, 93.1%id, 0.6%wa, 0.0%hi, 0.1%si, 0.0%stMem: 264420148k total, 182040780k used, 82379368k free,  834232k buffersSwap: 8388600k total,    92k used, 8388508k free, 100453708k cached  PID USER   PR NI VIRT RES SHR S %CPU %MEM  TIME+ COMMAND 6485 root   20  0 984m 12m 4440 R 100.2 0.0 844:22.68 libvirtd 　　　　　　#cpu占用100%，无法释放，影响系统稳定性