26 hours agoCheck for --live flag for postcopy-after-precopy migration master
Kothapally Madhu Pavan [Fri, 26 Aug 2016 09:25:52 +0000]
Check for --live flag for postcopy-after-precopy migration

Unlike postcopy migration there is no --live flag check for

Signed-off-by: Kothapally Madhu Pavan <>

27 hours agodocs: Add missing / to closing tag
Christophe Fergeau [Tue, 23 Aug 2016 22:08:56 +0000]
docs: Add missing / to closing tag

The iothread example for virtio-scsi should be
<driver iothread='4'/> rather than <driver iothread='4'>
for the XML to be valid.

30 hours agoconf: Fix build with picky GCC
Peter Krempa [Thu, 25 Aug 2016 22:40:09 +0000]
conf: Fix build with picky GCC

../../src/conf/domain_conf.c:4425:21: error: potential null pointer dereference [-Werror=null-dereference]
         switch (vcpu->hotpluggable) {

30 hours agoqemu: driver: Validate configuration when setting maximum vcpu count
Peter Krempa [Thu, 25 Aug 2016 19:30:21 +0000]
qemu: driver: Validate configuration when setting maximum vcpu count

Setting vcpu count when cpu topology is specified may result into an
invalid configuration. Since the topology can't be modified, reject the
setting if it doesn't match the requested topology. This will allow
fixing the topology in case it was broken.

Partially fixes:

30 hours agoconf: Don't validate vcpu count in XML parser
Peter Krempa [Thu, 25 Aug 2016 19:24:22 +0000]
conf: Don't validate vcpu count in XML parser

Validating the vcpu count is more intricate and doing it in the XML
parser will make previously valid configs (with older qemus) vanish.

Now that we have a very similar check in the qemu domain validation
callback we can do it in a more appropriate place.

This basically reverts commit b54de0830a.

Partially resolves:

31 hours agodoc: clarify documentation for vcpu order
Peter Krempa [Thu, 25 Aug 2016 15:41:44 +0000]
doc: clarify documentation for vcpu order

Make it clear that vcpu order is valid for online vcpus only and state
that it has to be specified for all vcpus or not provided at all.


31 hours agoqemu: driver: Fix qemuDomainHelperGetVcpus for sparse vcpu topologies
Peter Krempa [Thu, 25 Aug 2016 18:53:06 +0000]
qemu: driver: Fix qemuDomainHelperGetVcpus for sparse vcpu topologies

ce43cca0e refactored the helper to prepare it for sparse topologies but
forgot to fix the iterator used to fill the structures. This would
result into a weirdly sparse populated array and possible out of bounds
access and crash once sparse vcpu topologies were allowed.


31 hours agovirsh: vcpuinfo: Report vcpu number from the structure rather than it's position
Peter Krempa [Thu, 25 Aug 2016 18:48:52 +0000]
virsh: vcpuinfo: Report vcpu number from the structure rather than it's position

virVcpuInfo contains the vcpu number that the data refers to. Report
what's returned by the daemon rather than the sequence number as with
sparse vcpu topologies they won't match.

31 hours agovz: getting bus type for containers
Mikhail Feoktistov [Mon, 15 Aug 2016 16:02:49 +0000]
vz: getting bus type for containers

We should query bus type for containers too, like for VM.
In openstack we add volume disk like SCSI, so we can't
hardcode SATA bus.

31 hours agovz: update domain cache after device updates
Nikolay Shirokovskiy [Thu, 25 Aug 2016 08:33:35 +0000]
vz: update domain cache after device updates

31 hours agovz: fixed race in vzDomainAttach/DettachDevice
Olga Krishtal [Thu, 18 Aug 2016 11:57:14 +0000]
vz: fixed race in vzDomainAttach/DettachDevice

While dettaching/attaching device in OpenStack, nova
calls vzDomainDettachDevice twice, because the update of the internal
configuration of the ct comes a bit latter than the update event.
As the result, we suffer from the second call to dettach the same device.

Signed-off-by: Olga Krishtal <>

34 hours agovz: added VIR_MIGRATE_PARAM_BANDWIDTH param handling
Pavel Glushchak [Thu, 25 Aug 2016 14:00:25 +0000]
vz: added VIR_MIGRATE_PARAM_BANDWIDTH param handling

libvirt-python passes parameter bandwidth = 0
by default. This means that bandwidth is unlimited.
VZ driver doesn't support bandwidth rate limiting,
but we still need to handle it and fail if bandwidth > 0.

Signed-off-by: Pavel Glushchak <>

34 hours agovz: implicitly support additional migration flags
Pavel Glushchak [Thu, 25 Aug 2016 14:00:24 +0000]
vz: implicitly support additional migration flags

  VIR_MIGRATE_PERSIST_DEST to supported migration flags

Signed-off-by: Pavel Glushchak <>

47 hours agoqemu: set tap device online for type='ethernet'
Laine Stump [Thu, 25 Aug 2016 05:46:37 +0000]
qemu: set tap device online for type='ethernet'

When support for auto-creating tap devices was added to <interface
type='ethernet'> in commit 9c17d6, the code assumed that
virNetDevTapCreate() would honor the VIR_NETDEV_TAP__CREATE_IFUP flag
that is supported by virNetDevTapCreateInBridgePort(). That isn't the
case - the latter function performs several operations, and one of
them is setting the tap device online. But virNetDevTapCreate() *only*
creates the tap device, and relies on the caller to do everything
else, so qemuInterfaceEthernetConnect() needs to call
virNetDevSetOnline() after the device is successfully created.

47 hours agoqemu: remove unnecessary setting of tap device online state
Laine Stump [Thu, 25 Aug 2016 05:18:25 +0000]
qemu: remove unnecessary setting of tap device online state

The linkstate setting of an <interface> is only meant to change the
online status reported to the guest system by the emulated network
device driver in qemu, but when support for auto-creating tap devices
for <interface type='ethernet'> was added in commit 9717d6, a chunk of
code was also added to qemuDomainChangeNetLinkState() that sets the
online status of the tap device (i.e. the *host* side of the
interface) for type='ethernet'. This was never done for tap devices
used in type='bridge' or type='network' interfaces, nor was it done in
the past for tap devices created by external scripts for
type='ethernet', so we shouldn't be doing it now.

This patch removes the bit of code in qemuDomainChangeNetLinkState()
that modifies online status of the tap device.

47 hours agoqemu: fix ethernet network type ip/route assign
Vasiliy Tolstov [Wed, 24 Aug 2016 16:09:22 +0000]
qemu: fix ethernet network type ip/route assign

The call to virNetDevIPInfoAddToDev() that sets up tap device IP
addresses and routes was somehow incorrectly placed in
qemuInterfaceStopDevice() instead of qemuInterfaceStartDevice() in
commit fe8567f6.  This fixes that error by moving the call to
virNetDevIPInfoAddToDev() to qemuInterfaceStartDevice().

Signed-off-by: Vasiliy Tolstov <>

3 days agoqemu: hotplug: Add support for VCPU unplug
Peter Krempa [Tue, 16 Aug 2016 13:02:11 +0000]
qemu: hotplug: Add support for VCPU unplug

This patch removes the old vcpu unplug code completely and replaces it
with the new code using device_del. The old hotplug code basically never
worked with any recent qemu and thus is useless.

As the new code is using device_del all the implications of using it
are present. Contrary to the device deletion code, the vcpu deletion
code fails if the unplug request is not executed in time.

3 days agoqemu: hotplug: Allow marking unplugged devices by alias
Peter Krempa [Thu, 4 Aug 2016 21:53:13 +0000]
qemu: hotplug: Allow marking unplugged devices by alias

Add a overlay function that takes the alias directly rather than
extracting it from a device info.

3 days agoqemu: Use modern vcpu hotplug approach if possible
Peter Krempa [Tue, 16 Aug 2016 12:44:26 +0000]
qemu: Use modern vcpu hotplug approach if possible

To allow unplugging the vcpus, hotplugging of vcpus on platforms which
require to plug multiple logical vcpus at once or plugging them in an
arbitrary order it's necessary to use the new device_add interface for
vcpu hotplug.

This patch adds support for the device_add interface using the old
setvcpus API by implementing an algorithm to select the appropriate
entities to plug in.

3 days agoqemu: command: Add support for sparse vcpu topologies
Peter Krempa [Thu, 4 Aug 2016 12:36:24 +0000]
qemu: command: Add support for sparse vcpu topologies

Add support for using the new approach to hotplug vcpus using device_add
during startup of qemu to allow sparse vcpu topologies.

There are a few limitations imposed by qemu on the supported
- vcpu0 needs to be always present and not hotpluggable
- non-hotpluggable cpus need to be ordered at the beginning
- order of the vcpus needs to be unique for every single hotpluggable

Qemu also doesn't really allow to query the information necessary to
start a VM with the vcpus directly on the commandline. Fortunately they
can be hotplugged during startup.

The new hotplug code uses the following approach:
- non-hotpluggable vcpus are counted and put to the -smp option
- qemu is started
- qemu is queried for the necessary information
- the configuration is checked
- the hotpluggable vcpus are hotplugged
- vcpus are started

This patch adds a lot of checking code and enables the support to
specify the individual vcpu element with qemu.

3 days agoqemu: process: Copy final vcpu order information into the vcpu definition
Peter Krempa [Thu, 4 Aug 2016 12:23:25 +0000]
qemu: process: Copy final vcpu order information into the vcpu definition

The vcpu order information is extracted only for hotpluggable entities,
while vcpu definitions belonging to the same hotpluggable entity need
to all share the order information.

We also can't overwrite it right away in the vcpu info detection code as
the order is necessary to add the hotpluggable vcpus enabled on boot in
the correct order.

The helper will store the order information in places where we are
certain that it's necessary.

3 days agoqemu: command: Add helper to convert vcpu definition to JSON props
Peter Krempa [Thu, 4 Aug 2016 12:12:39 +0000]
qemu: command: Add helper to convert vcpu definition to JSON props

For use on the monitor we need to format certain parts of the vcpu
private definition into a JSON object. Add a helper.

3 days agoqemu: migration: Prepare for non-contiguous vcpu configurations
Peter Krempa [Thu, 4 Aug 2016 11:57:46 +0000]
qemu: migration: Prepare for non-contiguous vcpu configurations

Introduce a new migration cookie flag that will be used for any
configurations that are not compatible with libvirt that would not
support the specific vcpu hotplug approach. This will make sure that old
libvirt does not fail to reproduce the configuration correctly.

3 days agoconf: Add XML for individual vCPU hotplug
Peter Krempa [Tue, 2 Aug 2016 15:58:43 +0000]
conf: Add XML for individual vCPU hotplug

Individual vCPU hotplug requires us to track the state of any vCPU. To
allow this add the following XML:

  <vcpu current='2'>3</vcpu>
    <vcpu id='0' enabled='yes' hotpluggable='no' order='1'/>
    <vcpu id='1' enabled='yes' hotpluggable='yes' order='2'/>
    <vcpu id='1' enabled='no' hotpluggable='yes'/>

The 'enabled' attribute allows to control the state of the vcpu.
'hotpluggable' controls whether given vcpu can be hotplugged and 'order'
allows to specify the order to add the vcpus.

3 days agoutil: Extract and rename qemuDomainDelCgroupForThread to virCgroupDelThread
Peter Krempa [Thu, 4 Aug 2016 21:36:38 +0000]
util: Extract and rename qemuDomainDelCgroupForThread to virCgroupDelThread

3 days agoqemu: domain: Prepare for VCPUs vanishing while libvirt is not running
Peter Krempa [Fri, 5 Aug 2016 12:48:27 +0000]
qemu: domain: Prepare for VCPUs vanishing while libvirt is not running

Similarly to devices the guest may allow unplug of the VCPU if libvirt
is down. To avoid problems, refresh the vcpu state on reconnect. Don't
mess with the vcpu state otherwise.

3 days agoqemu: domain: Extract cpu-hotplug related data
Peter Krempa [Sun, 31 Jul 2016 12:05:04 +0000]
qemu: domain: Extract cpu-hotplug related data

Now that the monitor code gathers all the data we can extract it to
relevant places either in the definition or the private data of a vcpu.

As only thread id is broken for TCG guests we may extract the rest of
the data and just skip assigning of the thread id. In case where qemu
would allow cpu hotplug in TCG mode this will make it work eventually.

3 days agotests: cpu-hotplug: Add data for ppc64 without threads enabled
Peter Krempa [Fri, 29 Jul 2016 17:55:29 +0000]
tests: cpu-hotplug: Add data for ppc64 without threads enabled

The reported data is unusual so add it to the test suite.

3 days agotests: cpu-hotplug: Add data for ppc64 out-of-order hotplug
Peter Krempa [Fri, 29 Jul 2016 17:44:43 +0000]
tests: cpu-hotplug: Add data for ppc64 out-of-order hotplug

Test the algorithm that extracts the order in which the vcpu entries
were plugged in on a sample of data created by plugging in vcpus

3 days agotests: cpu-hotplug: Add data for ppc64 platform including hotplug
Peter Krempa [Fri, 29 Jul 2016 17:24:22 +0000]
tests: cpu-hotplug: Add data for ppc64 platform including hotplug

Power 8 platform's basic hotpluggable unit is a core rather than a
thread for x86_64 family. This introduces most of the complexity of the
matching code and thus needs to be tested.

The test data contain data captured from in-order cpu hotplug and
unplug operations.

3 days agotests: cpu-hotplug: Add data for x86 hotplug with 11+ vcpus
Peter Krempa [Tue, 23 Aug 2016 21:05:52 +0000]
tests: cpu-hotplug: Add data for x86 hotplug with 11+ vcpus

During review it was reported that adding at least 11 vcpus creates a
collision of prefixes in the monitor matching algorithm. Add a test case
to verify that the problem won't happen.

3 days agotests: Add test infrastructure for qemuMonitorGetCPUInfo
Peter Krempa [Fri, 29 Jul 2016 16:08:06 +0000]
tests: Add test infrastructure for qemuMonitorGetCPUInfo

As the combination algorithm is rather complex and ugly it's necessary
to make sure it works properly. Add test suite infrastructure for
testing it along with a basic test based on x86_64 platform.

3 days agoqemu: monitor: Add algorithm for combining query-(hotpluggable-)-cpus data
Peter Krempa [Mon, 1 Aug 2016 11:56:23 +0000]
qemu: monitor: Add algorithm for combining query-(hotpluggable-)-cpus data

For hotplug purposes it's necessary to retrieve data using
query-hotpluggable-cpus while the old query-cpus API report thread IDs
and order of hotplug.

This patch adds code that merges the data using a rather non-trivial
algorithm and fills the data to the qemuMonitorCPUInfo structure for
adding to appropriate place in the domain definition.

3 days agoqemu: monitor: Add support for calling query-hotpluggable-cpus
Peter Krempa [Fri, 8 Jul 2016 11:52:11 +0000]
qemu: monitor: Add support for calling query-hotpluggable-cpus

Add support for retrieving information regarding hotpluggable cpu units
supported by qemu. Data returned by the command carries information
needed to figure out the granularity of hotplug, the necessary cpu type
name and the topology information.

Note that qemu doesn't specify any particular order of the entries thus
it's necessary sort them by socket_id, core_id and thread_id to the
order libvirt expects.

3 days agoqemu: monitor: Extract QOM path from query-cpus reply
Peter Krempa [Thu, 28 Jul 2016 08:33:10 +0000]
qemu: monitor: Extract QOM path from query-cpus reply

To allow matching up the data returned by query-cpus to entries in the
query-hotpluggable-cpus reply for CPU hotplug it's necessary to extract
the QOM path as it's the only link between the two.

3 days agoqemu: capabilities: Extract availability of new cpu hotplug for machine types
Peter Krempa [Fri, 29 Jul 2016 07:45:19 +0000]
qemu: capabilities: Extract availability of new cpu hotplug for machine types

QEMU reports whether 'query-hotpluggable-cpus' is supported for a given
machine type. Extract and cache the information using the capability

When copying the capabilities for a new start of qemu, mask out the
presence of QEMU_CAPS_QUERY_HOTPLUGGABLE_CPUS if the machine type
doesn't support hotpluggable cpus.

3 days agoqemu: Forbid config when topology based cpu count doesn't match the config
Peter Krempa [Mon, 1 Aug 2016 08:35:04 +0000]
qemu: Forbid config when topology based cpu count doesn't match the config

As of qemu commit:
commit a32ef3bfc12c8d0588f43f74dcc5280885bbdb30
Author: Thomas Huth <>
Date:   Wed Jul 22 15:59:50 2015 +0200

    vl: Add another sanity check to smp_parse() function


configuration where the maximum CPU count doesn't match the topology is
rejected. Prior to that only configurations where the topology would
contain more cpus than the maximum count would be rejected.

Use QEMU_CAPS_QUERY_HOTPLUGGABLE_CPUS as a relevant recent enough
witness to avoid breaking old configs.

3 days agoqemu: Add capability for query-hotpluggable-cpus command
Peter Krempa [Thu, 23 Jun 2016 11:56:12 +0000]
qemu: Add capability for query-hotpluggable-cpus command

3 days agoqemu: monitor: Return struct from qemuMonitor(Text|Json)QueryCPUs
Peter Krempa [Mon, 1 Aug 2016 11:44:25 +0000]
qemu: monitor: Return struct from qemuMonitor(Text|Json)QueryCPUs

Prepare to extract more data by returning an array of structs rather than
just an array of thread ids. Additionally report fatal errors separately
from qemu not being able to produce data.

3 days agoqemu: monitor: Return structures from qemuMonitorGetCPUInfo
Peter Krempa [Mon, 1 Aug 2016 05:43:32 +0000]
qemu: monitor: Return structures from qemuMonitorGetCPUInfo

The function will gradually add more returned data. Return a struct for
every vCPU containing the data.

3 days agostorage_backend_rbd: fix typos
Chen Hanxiao [Wed, 24 Aug 2016 07:25:49 +0000]
storage_backend_rbd: fix typos

s/failed/failed to

Signed-off-by: Chen Hanxiao <>

3 days agovirsh: use vshError consistently after virBufferError checks
Pino Toscano [Wed, 24 Aug 2016 14:14:25 +0000]
virsh: use vshError consistently after virBufferError checks

If virBufferError() reports an error, then vshError() is needed to
report the error situation instead of a simple vshError().

3 days agovirsh: avoid i18n puzzle
Pino Toscano [Wed, 24 Aug 2016 14:14:24 +0000]
virsh: avoid i18n puzzle

Use the full versions of the message, instead of composing a base
message with what was updated; the change makes the messages properly
translatable, since different parts of a sentence might need different
declensions for example.

3 days agovirsh: respect -q/--quiet more
Pino Toscano [Wed, 24 Aug 2016 14:14:23 +0000]
virsh: respect -q/--quiet more

Turn various vshPrint() informative messages into vshPrintExtra(), so
they are not printed when requesting the quiet mode; neither XML/info
outputs nor the results of commands are affected.
Also change the expected outputs of the virsh-undefine test, since virsh
is invoked in quiet mode there.

Some informative messages might still be converted (and thus silenced
when in quiet mode), but this is an improvements nonetheless.


4 days agoFix remote_protocol-structs after recent commit
Peter Krempa [Tue, 23 Aug 2016 19:47:10 +0000]
Fix remote_protocol-structs after recent commit

Commit 0adc9d26ae0cfbb4aa227e89424f3d48bb977da0 broke the build since
remote_protocol-structs was not updated.

4 days agovz: add ACL checks to API calls
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:38 +0000]
vz: add ACL checks to API calls

  vzDomainMigrateConfirm3Params is whitelisted. Otherwise we need to
move removing domain from domain list from perform to confirm
step. This would further imply adding a flag and check that migration
is in progress to prohibit mistakenly (maliciously) removing domains
on confirm step. vz version of p2p also need to be fixed to include confirm step.
One would also need to add means to cleanup pending migration
on client disconnect as now is has state across several API

  On the other hand current version of confirm step is totaly
harmless thus it is easier to whitelist it at the moment.

Signed-off-by: Nikolay Shirokovskiy <>
Signed-off-by: Maxim Nestratov <>

4 days agoremote: rename protocol names for close callbacks
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:37 +0000]
remote: rename protocol names for close callbacks

This way we make naming consistent to API calls and make subsequent
ACL checks possible (otherwise ACL check would discover name

Signed-off-by: Nikolay Shirokovskiy <>

4 days agovz: prepare migration for ACL checks
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:36 +0000]
vz: prepare migration for ACL checks

  ACL check on perform step should be in API call itself to make ACL
checking script pass. Thus we need to reorganize code to obtain
domain object in perform API itself. Most of this is straight
forward, the only nuance is dropping locks on lengthy remote
  The other motivation is to have only perform step ACL checks for
p2p migration instead of both begin in perform if we can leave
ACL check in vzDomainMigratePerformStep.

Signed-off-by: Nikolay Shirokovskiy <>

4 days agovz: expand setting memory API calls
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:35 +0000]
vz: expand setting memory API calls

We need it to prepare the calls for ACL checks otherwise ACL checking
script will fail.

Signed-off-by: Nikolay Shirokovskiy <>

4 days agovz: add missing flagged versions of API functions
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:34 +0000]
vz: add missing flagged versions of API functions

Signed-off-by: Nikolay Shirokovskiy <>

4 days agovz: factor out converting block stats to params
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:33 +0000]
vz: factor out converting block stats to params

This action deserves its own function and makes main API call
structure much cleaner.

Signed-off-by: Nikolay Shirokovskiy <>

4 days agovz: factor out block stats impl
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:32 +0000]
vz: factor out block stats impl

Now we can use intended ACL check for both API calls.

Signed-off-by: Nikolay Shirokovskiy <>

4 days agovz: implement plain create API thru createFlags instead of visa versa
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:31 +0000]
vz: implement plain create API thru createFlags instead of visa versa

Signed-off-by: Nikolay Shirokovskiy <>

4 days agovz: expand start/stop/... APIs for ACL checks
Nikolay Shirokovskiy [Fri, 24 Jun 2016 14:32:30 +0000]
vz: expand start/stop/... APIs for ACL checks

  The original motivation is to expand API calls like start/stop etc so that
the ACL checks could be added. But this patch has its own befenits.

1. functions like prlsdkStart/Stop use common routine to wait for
job without domain lock. They become more self contained and do
not return intermediate PRL_RESULT.

2. vzDomainManagedSave do not update cache twice.

Signed-off-by: Nikolay Shirokovskiy <>
Signed-off-by: Maxim Nestratov <>

5 days agonetwork: Need to free formatted addr in networkDnsmasqConfContents
John Ferlan [Sat, 20 Aug 2016 13:26:26 +0000]
network: Need to free formatted addr in networkDnsmasqConfContents

Commit id '0b6336c2' formatted the 'addr', but didn't VIR_FREE it.

Found by Coverity.

5 days agoremove the dead code this patch is to remove the dead code Signed-off-by: JieWang...
JieWang [Mon, 22 Aug 2016 12:17:37 +0000]
remove the dead code this patch is to remove the dead code Signed-off-by: JieWang <>

Signed-off-by: JieWang <>

7 days agoqemu: Fix crash hot plugging luks volume
John Ferlan [Wed, 17 Aug 2016 14:25:43 +0000]
qemu: Fix crash hot plugging luks volume

Crash occurs because 'secrets' is being dereferenced in call:

        if (qemuDomainSecretSetup(conn, priv, secinfo, disk->info.alias,
                                  VIR_SECRET_USAGE_TYPE_VOLUME, NULL,
                                  true) < 0)

(gdb) p *src->encryption
$1 = {format = 2, nsecrets = 0, secrets = 0x0, encinfo = {cipher_size = 0,
    cipher_name = 0x0, cipher_mode = 0x0, cipher_hash = 0x0, ivgen_name = 0x0,
    ivgen_hash = 0x0}}
(gdb) bt
    priv=priv@entry=0x7fffc03be160, disk=disk@entry=0x7fffb4002ae0)
    at qemu/qemu_domain.c:1087
    disk=0x7fffb4002ae0, vm=0x7fffc03a2580, driver=0x7fffc02ca390,
    conn=0x7fffb00009a0) at qemu/qemu_hotplug.c:355

Upon entry to qemuDomainAttachVirtioDiskDevice, src->encryption points
at a valid 'secret' buffer w/ nsecrets == 1; however, the call to
qemuDomainDetermineDiskChain will call virStorageFileGetMetadata
and eventually virStorageFileGetMetadataInternal where the src->encryption
was overwritten when probing the volume.

Commit id 'a48c7141' added code to virStorageFileGetMetadataInternal
to determine if the disk/volume would use/need encryption and allocated
a meta->encryption. This overwrote an existing encryption buffer
already provided by the XML

This patch adds a check for meta->encryption already present before
just allocating and overwriting an existing buffer. It then checks the
existing encryption data to ensure the XML provided format for the
disk matches the expected format read from the disk and errors if there
is a mismatch.

7 days agonetwork: allow limiting a <forwarder> element to certain domains
Laine Stump [Fri, 12 Aug 2016 02:28:27 +0000]
network: allow limiting a <forwarder> element to certain domains

For some unknown reason the original implementation of the <forwarder>
element only took advantage of part of the functionality in the
dnsmasq feature it exposes - it allowed specifying the ip address of a
DNS server which *all* DNS requests would be forwarded to, like this:

   <forwarder addr=''/>

This is a frontend for dnsmasq's "server" option, which also allows
you to specify a domain that must be matched in order for a request to
be forwarded to a particular server. This patch adds support for
specifying the domain. For example:

   <forwarder domain='' addr=''/>
   <forwarder domain=''/>
   <forwarder domain='' addr=''/>

would forward requests for, and all to the DNS server at, but would
forward requests for and to And due to the second line, requests for,
and would be resolved by the libvirt network's own
DNS server (i.e. thery wouldn't be immediately forwarded) even though
they also match '' - the match is given to the entry with
the longest matching domain. DNS requests not matching any of the
entries would be resolved by the libvirt network's own DNS server.


7 days agonetwork: allow disabling dnsmasq's DNS server
Laine Stump [Thu, 11 Aug 2016 21:29:43 +0000]
network: allow disabling dnsmasq's DNS server

If you define a libvirt virtual network with one or more IP addresses,
it starts up an instance of dnsmasq. It's always been possible to
avoid dnsmasq's dhcp server (simply don't include a <dhcp> element),
but until now it wasn't possible to avoid having the DNS server
listening; even if the network has no <dns> element, it is started
using default settings.

This patch adds a new attribute to <dns>: enable='yes|no'. For
backward compatibility, it defaults to 'yes', but if you don't want a
DNS server created for the network, you can simply add:

   <dns enable='no'/>

to the network configuration, and next time the network is started
there will be no dns server created (if there is dhcp configuration,
dnsmasq will be started with "port=0" which disables the DNS server;
if there is no dhcp configuration, dnsmasq won't be started at all).

7 days agonetwork: new network forward mode 'open'
Laine Stump [Wed, 10 Aug 2016 23:09:55 +0000]
network: new network forward mode 'open'

The new forward mode 'open' is just like mode='route', except that no
firewall rules are added to assure that any traffic does or doesn't
pass. It is assumed that either they aren't necessary, or they will be
setup outside the scope of libvirt.


8 days agonetworkxml2conftest: Don't leak dnsmasq capabilities
Michal Privoznik [Thu, 18 Aug 2016 09:06:26 +0000]
networkxml2conftest: Don't leak dnsmasq capabilities

==18324== 32 bytes in 1 blocks are still reachable in loss record 41 of 114
==18324==    at 0x4C2C070: calloc (vg_replace_malloc.c:623)
==18324==    by 0x4EA479B: virAlloc (viralloc.c:144)
==18324==    by 0x4EA674A: virBitmapNewQuiet (virbitmap.c:77)
==18324==    by 0x4EA67F7: virBitmapNew (virbitmap.c:106)
==18324==    by 0x4EC777D: dnsmasqCapsNewEmpty (virdnsmasq.c:801)
==18324==    by 0x4EC781B: dnsmasqCapsNewFromBuffer (virdnsmasq.c:815)
==18324==    by 0x407CF4: mymain (networkxml2conftest.c:99)
==18324==    by 0x409CF0: virTestMain (testutils.c:982)
==18324==    by 0x4080EA: main (networkxml2conftest.c:136)

Signed-off-by: Michal Privoznik <>

9 days agovz: add validation callbacks
Mikhail Feoktistov [Thu, 18 Aug 2016 11:43:09 +0000]
vz: add validation callbacks

This patch fixes a bug which occurs when we check a bus and unit number
for a new attached disk. We should do this check in ValidadionCallback,
not in PostParse callback. Because in PostParse we have not initialized
disk-> struct yet.
Move part of code from domainPostParseCallback to domainValidateCallback
and part from devicesPostParseCallback to deviceValidateCallback.
PostParse callbacks are for modification data.
ValidateCallbacks are only for checks.

9 days agovz: fixed race in vzDomainAttach/DettachDevice
Olga Krishtal [Thu, 18 Aug 2016 12:37:00 +0000]
vz: fixed race in vzDomainAttach/DettachDevice

While dettaching/attaching device in OpenStack, nova
calls vzDomainDettachDevice twice, because the update of the internal
configuration of the ct comes a bit latter than the update event.
As the result, we suffer from the second call to dettach the same device.

Signed-off-by: Olga Krishtal <>

9 days agovz: specify VIR_DOMAIN_NET_TYPE_NETWORK for routed networks
Maxim Nestratov [Wed, 3 Aug 2016 11:40:20 +0000]
vz: specify VIR_DOMAIN_NET_TYPE_NETWORK for routed networks

Somehow we lost this during recent refactoring

Signed-off-by: Maxim Nestratov <>

9 days agovz: reset errors after ignoring return values
Maxim Nestratov [Wed, 3 Aug 2016 09:41:53 +0000]
vz: reset errors after ignoring return values

If we are going to ignore return value of a functions
that can raise an error, it's not enough to use ignore_value
construction. We should explicitly call virResetLastError

Signed-off-by: Maxim Nestratov <>

9 days agovz: don't fail query domain info in case we don't have valid stats handle
Maxim Nestratov [Tue, 7 Jun 2016 16:34:50 +0000]
vz: don't fail query domain info in case we don't have valid stats handle

Signed-off-by: Maxim Nestratov <>

9 days agovz: get additional error information from job correctly
Maxim Nestratov [Thu, 26 May 2016 08:56:23 +0000]
vz: get additional error information from job correctly

First, make function logPrlEventErrorHelper be void and only
print information (if any) from an event.
Second, don't rewrite original error with any errors we get
during parsing event info.
Third, ignore PRL_ERR_NO_DATA at all.

Signed-off-by: Maxim Nestratov <>

9 days join not_streq and not_strneq tests
Ján Tomko [Thu, 16 Jun 2016 12:16:43 +0000] join not_streq and not_strneq tests

The marginally nicer error message is not worth the extra lines in

Also drop the excludes since there was only one offender in the tests.

9 days drop redundant sc_prohibit_gethostby
Ján Tomko [Tue, 26 Jul 2016 11:18:43 +0000] drop redundant sc_prohibit_gethostby

Both gethostbyaddr and gethostbyname* are already checked
by sc_prohibit_nonreentrant.

9 days use subst instead of tr
Ján Tomko [Thu, 16 Jun 2016 10:05:35 +0000] use subst instead of tr

GNU make is able to replace characters, no need to call tr.

9 days agotests: fix the return value of test-wrap-argv
Ján Tomko [Tue, 26 Jul 2016 11:33:36 +0000]
tests: fix the return value of test-wrap-argv

The script was returning success unless it failed on the last file.
This went unnoticed because sc_prohibit_long_lines forbids lines
longer than 90 characters in .arg[sv] files.

9 days agomaint: update to latest gnulib
Ján Tomko [Wed, 3 Aug 2016 10:20:36 +0000]
maint: update to latest gnulib

Pick up the new syntax-check speedups.

Ján Tomko [Mon, 8 Aug 2016 14:05:27 +0000]

Check whether the disable-legacy property is present on the following

Assuming that if QEMU knows other virtio devices where this property
is applicable, it will have at least one of these devices.

Added in QEMU by:
commit e266d421490e0ae83044bbebb209b2d3650c0ba6
    virtio-pci: add flags to enable/disable legacy/modern

10 days agoqemu: Fix the command line generation for rbd auth using aes secrets
John Ferlan [Tue, 16 Aug 2016 20:50:15 +0000]
qemu: Fix the command line generation for rbd auth using aes secrets

Since libvirt still uses a legacy qemu arg format to add a disk, the
manner in which the 'password-secret' argument is passed to qemu needs
to change to prepend a 'file.' If in the future, usage of the more
modern disk format, then the prepended 'file.' can be removed.

Fix based on Jim Fehlig <> posting and subsequent
upstream list followups, see:

for details. Introduced by commit id 'a1344f70'.

10 days agoqemu_driver: update comments for qemuDomainSaveInternal
Chen Hanxiao [Fri, 12 Aug 2016 08:51:49 +0000]
qemu_driver: update comments for qemuDomainSaveInternal


Signed-off-by: Chen Hanxiao <>

10 days agoconf: Provide error on undefined vcpusched entry
John Ferlan [Mon, 15 Aug 2016 14:37:34 +0000]
conf: Provide error on undefined vcpusched entry

Modify virDomainDefGetVcpuSched to emit an error message if
virDomainDefGetVcpu returns NULL meaning the vcpu could not
be found. Prior to commit id '9cc931f0b' the error message
would have been issued in virDomainDefGetVcpu.

10 days agoqemu_process: graphics: setup listen types before ports are reserved/allocated
Pavel Hrdina [Sat, 13 Aug 2016 19:29:38 +0000]
qemu_process: graphics: setup listen types before ports are reserved/allocated

The code that setups listen types may change a listen type from address to
socket based on configuration from qemu.conf.  This needs to be done before we
reserve/allocate ports that won't be used.


Signed-off-by: Pavel Hrdina <>

10 days agoqemu_process: graphics: reserve port only if listen type is address or network
Pavel Hrdina [Sat, 13 Aug 2016 19:03:15 +0000]
qemu_process: graphics: reserve port only if listen type is address or network

Ports are valid only for listen types 'address' and 'network', other listen
types doesn't use them so we should not try to reserve any ports.

Signed-off-by: Pavel Hrdina <>

10 days agoqemu_process: graphics: extract for loop out of qemuProcessGraphicsReservePorts
Pavel Hrdina [Sat, 13 Aug 2016 19:01:38 +0000]
qemu_process: graphics: extract for loop out of qemuProcessGraphicsReservePorts

Signed-off-by: Pavel Hrdina <>

10 days agoqemu_process: graphics: extract port allocation into function
Pavel Hrdina [Sat, 13 Aug 2016 18:58:55 +0000]
qemu_process: graphics: extract port allocation into function

Signed-off-by: Pavel Hrdina <>

10 days agoqemu_process: graphics: ref driver config only in function where it is used
Pavel Hrdina [Sat, 13 Aug 2016 18:54:58 +0000]
qemu_process: graphics: ref driver config only in function where it is used

Signed-off-by: Pavel Hrdina <

11 days agoutil: Make virStringArrayHasString() const-correct
Andrea Bolognani [Tue, 16 Aug 2016 10:20:56 +0000]
util: Make virStringArrayHasString() const-correct

The first argument should be const char ** instead of
char **, because this is a search function and as such it
doesn't, and shouldn't, alter the haystack in any way.

This change means we no longer have to cast arrays of
immutable strings to arrays of mutable strings; we still
have to do the opposite, though, but that's reasonable.

11 days agoconf: Provide error on undefined iothreadsched entry
John Ferlan [Mon, 15 Aug 2016 13:45:28 +0000]
conf: Provide error on undefined iothreadsched entry

When commit id '6dfb4507' refactored where the iothreadsched data was
stored, the error message for when the virDomainIOThreadIDFind failed
to find an iothreadid ("iothreadsched attribute 'iothreads' uses
undefined iothread ids") was lost. This led to the possibility that
someone would try to use it, but receive the generic message "An error
occurred, but the cause is unknown".

This patch adds the error message back so that someone will know that
they have an invalid configuration.

Signed-off-by: John Ferlan <>

11 days agoqemu: driver: Split out regular vcpu hotplug code into a function
Peter Krempa [Tue, 16 Aug 2016 12:07:12 +0000]
qemu: driver: Split out regular vcpu hotplug code into a function

All other modes of qemuDomainSetVcpusFlags have helpers so finish the
work by splitting the regular code into a new function.

This patch also touches up the coding (spacing) style.

11 days agoqemu: driver: Extract setting of live vcpu count
Peter Krempa [Tue, 16 Aug 2016 11:27:57 +0000]
qemu: driver: Extract setting of live vcpu count

The live code does ugly things. Contain it in a separate function.

11 days agoqemu: setvcpus: Extract setting of maximum vcpu count
Peter Krempa [Wed, 3 Aug 2016 11:21:42 +0000]
qemu: setvcpus: Extract setting of maximum vcpu count

Setting of the maximum vcpu count is slightly semantically different
thus split it into a self-contained func.

11 days agoutils: storage: Fix JSON field name for uri based storage
Peter Krempa [Tue, 16 Aug 2016 07:24:12 +0000]
utils: storage: Fix JSON field name for uri based storage

qemu uses 'url' instead of 'uri'. They unfortunately look very similar.


11 days agoconf: report an error message for non-existing USB hubs
Ján Tomko [Mon, 15 Aug 2016 15:39:35 +0000]
conf: report an error message for non-existing USB hubs

If any of the devices referenced a USB hub that does not exist,
defining the domain would either fail with:
error: An error occurred, but the cause is unknown
(if only the last hub in the path is missing)
or crash.

Return a proper error instead of crashing.

11 days agoconf: free the ports array of a USB hub
Ján Tomko [Mon, 15 Aug 2016 15:21:32 +0000]
conf: free the ports array of a USB hub

The array needs to be freed too, not just its members.

11 days agoqemu: setcpus: Report better errors
Peter Krempa [Wed, 3 Aug 2016 10:57:23 +0000]
qemu: setcpus: Report better errors

Mention whether it was the live or persistent definition which caused an
error reported and explicitly error out in case when attempting to set
maximum vcpu count for a live domain.

11 days agolxc: don't try to reference NULL when mounting filesystems
Daniel P. Berrange [Thu, 11 Aug 2016 13:02:48 +0000]
lxc: don't try to reference NULL when mounting filesystems

  <filesystem type='ram' accessmode='passthrough'>
    <source usage='524288' units='KiB'/>
    <target dir='/dev/shm'/>

would lead to lxcContainerMountAllFS calling STRPREFIX
on a NLL pointer because it failed to check if fs->src->path
was non-NULL. This is a regression caused by

  commit da665fbd4858890fbb3bbf5da2a7b6ca37bb3220
  Author: Olga Krishtal <>
  Date:   Thu Jul 14 16:52:38 2016 +0300

    filesystem: adds possibility to use storage pool as fs source

Signed-off-by: Olga Krishtal <>

Signed-off-by: Daniel P. Berrange <>

11 days agolxc: don't try to resolve a NULL path for filesystems
Daniel P. Berrange [Thu, 11 Aug 2016 13:02:48 +0000]
lxc: don't try to resolve a NULL path for filesystems

  <filesystem type='ram' accessmode='passthrough'>
    <source usage='524288' units='KiB'/>
    <target dir='/dev/shm'/>

would lead to lxcContainerResolveSymlinks calling
access(NULL) because it failed to check if fs->src->path
was non-NULL. This is a regression caused by

  commit da665fbd4858890fbb3bbf5da2a7b6ca37bb3220
  Author: Olga Krishtal <>
  Date:   Thu Jul 14 16:52:38 2016 +0300

    filesystem: adds possibility to use storage pool as fs source

Signed-off-by: Olga Krishtal <>

Signed-off-by: Daniel P. Berrange <>

11 days agolibxl_driver: Indent LIBXL_VBD_SECTOR_SIZE macro correctly
Michal Privoznik [Tue, 16 Aug 2016 07:04:47 +0000]
libxl_driver: Indent LIBXL_VBD_SECTOR_SIZE macro correctly

Because of change in caaa1bd357a99ad this macro is no under
#ifdef block. That means it needs to be re-intended correctly.

Signed-off-by: Michal Privoznik <>

11 days agotests: fix domaincapstest linking for libxl
Roman Bogorodskiy [Sun, 14 Aug 2016 23:18:35 +0000]
tests: fix domaincapstest linking for libxl

Commit 11567cf added some libxl tests into domaincapstest and
added to domaincapstest_LDADD.

This causes link fail on systems without GNU regex implementation:

gmake[2]: Entering directory '/usr/home/novel/code/libvirt/tests'
  CCLD     domaincapstest
  In function `libxlMakeCapabilities':
  libxl/libxl_capabilities.c:(.text+0x6b2): undefined reference to
  libxl/libxl_capabilities.c:(.text+0x6d0): undefined reference to
  libxl/libxl_capabilities.c:(.text+0x803): undefined reference to
  libxl/libxl_capabilities.c:(.text+0xa58): undefined reference to
  clang-3.8: error: linker command failed with exit code 1 (use -v to
  see invocation)

This happens because on these system it tries to use gnulib's builtin
regex implementation, but doesn't link to gnulib.

Fix by adding $(GNULIB_LIBS) along with to

11 days agolibxl: fix unused functions
Roman Bogorodskiy [Sun, 14 Aug 2016 01:24:37 +0000]
libxl: fix unused functions

Commit eee7bd4e introduced two functions: libxlDiskPathToID and

However, as they're used only by code under #ifdef __linux__,
on non-Linux platforms it results in errors similar to this:

CC libxl/libvirt_driver_libxl_impl_la-libxl_driver.lo
libxl/libxl_driver.c:5263:1: error: unused function 'libxlDiskPathToID' [-Werror,-Wunused-function]
libxlDiskPathToID(const char *virtpath)
libxl/libxl_driver.c:5312:1: error: unused function 'libxlDiskSectorSize' [-Werror,-Wunused-function]
libxlDiskSectorSize(int domid, int devno)
2 errors generated.

Fix that by moving these functions under the #ifdef __linux__ block.

12 days agoIntroduce node device update event as top level event
Jovanka Gulicoska [Thu, 11 Aug 2016 15:15:23 +0000]
Introduce node device update event as top level event

This event is emitted when a nodedev XML definition is updated,
like when cdrom media is changed in a cdrom block device.

Also includes node device update event implementation for udev
backend, virsh nodedev-event support, and event-test support

12 days agovirsh: Fix core for cmdSecretGetValue
John Ferlan [Mon, 15 Aug 2016 11:53:45 +0000]
virsh: Fix core for cmdSecretGetValue

When commit id 'cb2e3e50' reworked the cmdSecretGetValue call to use
VIR_DISPOSE_STRING for base64, it neglected to initialize the base64
value to NULL since the cleanup: label could be reached prior to the
base64 value being set or not.  This resulted in a core dump, adding
the initialization will avoid the issue.

12 days agoqemu_command: don't modify heads for graphics device
Pavel Hrdina [Fri, 12 Aug 2016 14:12:39 +0000]
qemu_command: don't modify heads for graphics device

Setting heads to 0 in case that *max_outputs* is not supported while building
command line doesn't have any real effect.  It only removes *heads* attribute
from live XML, but after restarting libvirt the default value is restored.

Signed-off-by: Pavel Hrdina <>

12 days agovirschematest: Make sure that validator is initialized
Michal Privoznik [Mon, 15 Aug 2016 07:51:10 +0000]
virschematest: Make sure that validator is initialized

It may happen that a developer wants to run just a specific
subset of tests:

tests $ VIR_TEST_RANGE=22 ../run ./virschematest

This now fails miserably:

    ==6840== Invalid read of size 8
    ==6840==    at 0x4F397C0: virXMLValidatorValidate (virxml.c:1216)
    ==6840==    by 0x402B72: testSchemaFile (virschematest.c:53)
    ==6840==    by 0x403737: virTestRun (testutils.c:180)
    ==6840==    by 0x402CF5: testSchemaDir (virschematest.c:98)
    ==6840==    by 0x402EB1: testSchemaDirs (virschematest.c:131)
    ==6840==    by 0x40314D: mymain (virschematest.c:194)
    ==6840==    by 0x4051AF: virTestMain (testutils.c:982)
    ==6840==    by 0x4035A9: main (virschematest.c:217)
    ==6840==  Address 0x10 is not stack'd, malloc'd or (recently) free'd

Problem is, we are trying to do two types of tests here: validate
RNG schema itself, and validate XML files against RNG schemas.
And the latter tries to re-use a resource allocated in the
former. Therefore if the former is skipped (due to
VIR_TEST_RANGE) we have to allocate the resource manually.

Signed-off-by: Michal Privoznik <>

2 weeks agocpu_x86: fix libvirtd crash when host cpu vendor is not available
Jim Fehlig [Fri, 5 Aug 2016 21:23:47 +0000]
cpu_x86: fix libvirtd crash when host cpu vendor is not available

When starting a guest and copying host vendor cpuid to the guest
cpu, libvirtd would crash if the host cpu contained a NULL vendor
field. Avoid the crash by checking for a valid vendor in the host
cpu before copying the cpuid to the guest cpu.

For completeness, here is a backtrace from the crash

(gdb) bt
f0  0x00007ffff739bf33 in x86DataCpuid (cpuid=0x8, cpuid=0x8,
    data=data@entry=0x7fffb800ee78) at cpu/cpu_x86.c:287
f1  virCPUx86DataAddCPUID (data=data@entry=0x7fffb800ee78, cpuid=0x8)
    at cpu/cpu_x86.c:355
f2  0x00007ffff739ef47 in x86Compute (host=<optimized out>, cpu=0x7fffb8000cc0,
    guest=0x7fffecca7348, message=<optimized out>) at cpu/cpu_x86.c:1580
f3  0x00007fffd2b38e53 in qemuBuildCpuModelArgStr (migrating=false,
    hasHwVirt=<synthetic pointer>, qemuCaps=0x7fffb8001040, buf=0x7fffecca7360,
    def=0x7fffc400ce20, driver=0x1c) at qemu/qemu_command.c:6283
f4  qemuBuildCpuCommandLine (cmd=cmd@entry=0x7fffb8002f60,
    driver=driver@entry=0x7fffc80882c0, def=def@entry=0x7fffc400ce20,
    qemuCaps=qemuCaps@entry=0x7fffb8001040, migrating=<optimized out>)
    at qemu/qemu_command.c:6445
(gdb) f2
(gdb) p *host_model
$23 = {name = 0x7fffb800ec50 "qemu64", vendor = 0x0, signature = 0, data = {
    len = 2, data = 0x7fffb800e720}}