3 hours agoRevert "virthread: Introduce virRWLockInitPreferWriter" master
Michal Privoznik [Tue, 25 Jul 2017 08:31:54 +0000]
Revert "virthread: Introduce virRWLockInitPreferWriter"

This reverts commit 328bd24443d2a345a5832ee48ebba0208f8036ea.

As it turns out, this is not portable and very Linux & glibc
specific. Worse, this may lead to not starving writers on Linux
but everywhere else. Revert this and if the starvation occurs
resolve it.

Signed-off-by: Michal Privoznik <>
Reviewed-by: Daniel P. Berrange <>

4 hours agoconf: Rename virDomainControllerIsPCIHostBridge() to IsPSeriesPHB()
Andrea Bolognani [Mon, 24 Jul 2017 11:26:57 +0000]
conf: Rename virDomainControllerIsPCIHostBridge() to IsPSeriesPHB()

The original name didn't hint at the fact that PHBs are
a pSeries-specific concept.

Suggested-by: Peter Krempa <>
Signed-off-by: Andrea Bolognani <>

4 hours agoconf: Fix backwards migration of pSeries guests
Andrea Bolognani [Wed, 19 Jul 2017 08:37:04 +0000]
conf: Fix backwards migration of pSeries guests

Recent commits made it so that pci-root controllers for
pSeries guests are automatically assigned the
spapr-pci-host-bridge model name; however, that prevents
guests to migrate to older versions of libvirt which don't
know about that model name at all, which at the moment is
all of them :)

To avoid the issue, just strip the model name from PHBs
when formatting the migratable XML; guests that use more
than one PHB are not going to be migratable anyway.

Signed-off-by: Andrea Bolognani <>

20 hours agostorage: Check if provided parent is vHBA capable
John Ferlan [Thu, 20 Jul 2017 15:14:46 +0000]
storage: Check if provided parent is vHBA capable

If the parent provided for the storage pool adapter is not vHBA
capable, then issue a configuration error even though the provided
wwnn/wwpn were found.

It is a configuration error to provide a mismatched parent to
the wwnn/wwpn. The @parent is optional and is used as a means to
perform duplicate pool source checks.

20 hours agostorage: Remove @conn from virNodeDeviceCreateVport
John Ferlan [Tue, 18 Jul 2017 13:51:08 +0000]
storage: Remove @conn from virNodeDeviceCreateVport

It's no longer needed since the checkParent code moved back to

Signed-off-by: John Ferlan <>

20 hours agostorage: Fix existing parent check for vHBA creation
John Ferlan [Tue, 18 Jul 2017 13:21:30 +0000]
storage: Fix existing parent check for vHBA creation

Commit id '106930aaa' altered the order of checking for an existing
vHBA (e.g something created via nodedev-create functionality outside
of the storage pool logic) which inadvertantly broke the code to
decide whether to alter/force the fchost->managed field to be 'yes'
because the storage pool will be managing the created vHBA in order
to ensure when the storage pool is destroyed that the vHBA is also

This patch moves the check (and checkParent helper) for an existing
vHBA back into the createVport in storage_backend_scsi. It also
adjusts the checkParent logic to more closely follow the intentions
prior to commit id '79ab0935'. The changes made by commit id '08c0ea16f'
are only necessary to run the virStoragePoolFCRefreshThread when
a vHBA was really created because there's a timing lag such that
the refreshPool call made after a startPool from storagePoolCreate*
wouldn't necessarily find LUNs, but the thread would. For an already
existing vHBA, using the thread is unnecessary since the vHBA already
exists and the lag to configure the LUNs wouldn't exist.

Signed-off-by: John Ferlan <>

20 hours agonodedev: Remove driver locks around object list mgmt code
John Ferlan [Thu, 29 Jun 2017 20:51:54 +0000]
nodedev: Remove driver locks around object list mgmt code

Since virnodedeviceobj now has a self-lockable hash table, there's no
need to lock the table from the driver for processing. Thus remove the
locks from the driver for NodeDeviceObjList mgmt.

This includes the test driver as well.

20 hours agonodedev: Convert virNodeDeviceObjListPtr to use hash tables
John Ferlan [Thu, 29 Jun 2017 19:50:06 +0000]
nodedev: Convert virNodeDeviceObjListPtr to use hash tables

Rather than use a forward linked list of elements, it'll be much more
efficient to use a hash table to reference the elements by unique name
and to perform hash searches.

This patch does all the heavy lifting of converting the list object to
use a self locking list that contains the hash table. Each of the FindBy
functions that do not involve finding the object by it's key (name) is
converted to use virHashSearch in order to find the specific object.
When searching for the key (name), it's possible to use virHashLookup.
For any of the list perusal functions that are required to evaluate
each object, the virHashForEach function is used.

20 hours agonodedev: Remove @create from virNodeDeviceObjListGetParentHost
John Ferlan [Thu, 20 Jul 2017 13:17:22 +0000]
nodedev: Remove @create from virNodeDeviceObjListGetParentHost

The only callers to this function are from CreateXML paths now, so
let's just remove the unnecessary parameter.

20 hours agonodedev: Alter node device deletion logic
John Ferlan [Thu, 20 Jul 2017 13:07:52 +0000]
nodedev: Alter node device deletion logic

Alter the node device deletion logic to make use of the parent field
from the obj->def rather than call virNodeDeviceObjListGetParentHost.
As it turns out the saved @def won't have parent_wwnn/wwpn or
parent_fabric_wwn, so the only logical path would be to call
virNodeDeviceObjListGetParentHostByParent which we can accomplish
directly via virNodeDeviceObjListFindByName.

22 hours agovirdomainobjlist: Use virObjectRWLockable
Michal Privoznik [Wed, 19 Jul 2017 10:11:05 +0000]
virdomainobjlist: Use virObjectRWLockable

There is no reason why two threads trying to look up two domains
should mutually exclude each other. Utilize new
virObjectRWLockable that was just introduced.

Signed-off-by: Michal Privoznik <>
Reviewed-by: Pavel Hrdina <>

22 hours agovirobject: Introduce virObjectRWLockable
Michal Privoznik [Wed, 19 Jul 2017 07:31:50 +0000]
virobject: Introduce virObjectRWLockable

Up until now we only had virObjectLockable which uses mutexes for
mutually excluding each other in critical section. Well, this is
not enough. Future work will require RW locks so we might as well
have virObjectRWLockable which is introduced here.

Moreover, polymorphism is introduced to our code for the first
time. Yay! More specifically, virObjectLock will grab a write
lock, virObjectLockRead will grab a read lock then (what a
surprise right?). This has great advantage that an object can be
made derived from virObjectRWLockable in a single line and still
continue functioning properly (mutexes can be viewed as grabbing
write locks only). Then just those critical sections that can
grab a read lock need fixing. Therefore the resulting change is
going to be way smaller.

In order to avoid writer starvation, the object initializes RW
lock that prefers writers.

Signed-off-by: Michal Privoznik <>
Reviewed-by: Pavel Hrdina <>

22 hours agovirthread: Introduce virRWLockInitPreferWriter
Michal Privoznik [Wed, 19 Jul 2017 10:54:23 +0000]
virthread: Introduce virRWLockInitPreferWriter

We already have virRWLockInit. But this uses pthread defaults
which prefer reader to initialize the RW lock. This may lead to
writer starvation. Therefore we need to have the counterpart that
prefers writers. Now, according to the
pthread_rwlockattr_setkind_np() man page setting
PTHREAD_RWLOCK_PREFER_WRITER_NP attribute is no-op. Therefore we
attribute. So much for good enum value names.

Signed-off-by: Michal Privoznik <>
Reviewed-by: Pavel Hrdina <>

22 hours agotestutils: Remove unneeded variable
Martin Kletzander [Fri, 21 Jul 2017 06:11:56 +0000]
testutils: Remove unneeded variable

virDomainXMLOptionNew() gladly accepts NULL and it is used in some
drivers.  There is no need for additional variable with no members set

Signed-off-by: Martin Kletzander <>

23 hours agoqemu_capabilities: Fix the formatting with a space
Shivaprasad G Bhat [Mon, 24 Jul 2017 05:55:16 +0000]
qemu_capabilities: Fix the formatting with a space

It was observed while adding new property that there should be a space
before closing a curly brace in intel-iommu object property definition.
Fixing it as a separate patch.

Signed-off-by: Shivaprasad G Bhat <>

26 hours agodocs: Span cells if there's not doc text for enum val
Michal Privoznik [Sat, 22 Jul 2017 07:12:36 +0000]
docs: Span cells if there's not doc text for enum val

When generating HTML documentation we put enum values into a
table so that we can display the value's name, numerical value
and description (if it has one). Now the last part is problem. If
the value doesn't have description the table row has just two
cells and if it has one the row counts three cells. This makes
HTML engines render the description into very little space - for
instance see:


We can avoid this problem if we let the cell that corresponds to
numerical value span over two cells if there's no description.

Signed-off-by: Michal Privoznik <>
Reviewed-by: Martin Kletzander <>

26 hours Handle enum comments properly
Michal Privoznik [Sat, 22 Jul 2017 06:05:12 +0000] Handle enum comments properly

After f4cb85c6aff7c1d90 we only have two options for placing enum
values descriptions. It's either:

    typedef enum {
        /* Some long description. Therefore it's placed before
         * the value. */
        VIR_ENUM_A_VAL = 1,
    } virEnumA;


    typedef enum {
        VIR_ENUM_B_VAL = 1, /* Some short description */
    } virEnumB;

However, our script is not able to deal with the
former one. It messes up comments. To fix this couple of things
needs to be done:

a) DO NOT reset self.comment in parseEnumBlock(). This is a
result from our tokenizer. Upon calling token() if it finds a
comment block it stores it in self.comment and returns the next
token (which is not comment). Therefore, if we reset self.comment
we might lose the first comment in the enum block.

b) we need a variable to track if the current enum block uses
value descriptions before or after values. That is if it's type
virEnumA or virEnumB. Depending on that, it we're dealing with
virEnumA type and the current token is a comma ',' we can add the
value into the list as we already have everything needed:
comment, name and value.

Signed-off-by: Michal Privoznik <>
Reviewed-by: Martin Kletzander <>

27 hours agovirStorageNetHostDef: Turn @port into integer
Peter Krempa [Thu, 20 Jul 2017 10:45:42 +0000]
virStorageNetHostDef: Turn @port into integer

Currently, @port is type of string. Well, that's overkill and
waste of memory. Port is always an integer. Use it as such.

Signed-off-by: Michal Privoznik <>

27 hours agoconf: domain: Split up virDomainStorageHostParse and rename it
Peter Krempa [Thu, 20 Jul 2017 11:26:29 +0000]
conf: domain: Split up virDomainStorageHostParse and rename it

Split out parsing of one host into a separate function and add a new
function to loop through all the host XML nodes.

This change removes multiple levels of nesting due to the old XML
parsing approach used.

27 hours agoutil: storage: fill in default ports when parsing backing chain
Peter Krempa [Thu, 20 Jul 2017 12:18:04 +0000]
util: storage: fill in default ports when parsing backing chain

Similarly to when parsing XML we need to fill in default ports for the
backing chain. This was missed in commit 5bda835466a8050625dd8bb10566e

27 hours agoqemu: command: Remove condition to use default sheepdog port
Peter Krempa [Thu, 20 Jul 2017 10:50:18 +0000]
qemu: command: Remove condition to use default sheepdog port

Since we now set the default ports when parsing disks, it's not
necessary to have default port numbers encoded in the command line

27 hours agoutil: uri: Convert port number to unsigned integer
Peter Krempa [Thu, 20 Jul 2017 10:42:53 +0000]
util: uri: Convert port number to unsigned integer

Negative ports don't make sense so use a unsigned integer.

27 hours agoqemu: command: Rename and move qemuNetworkDriveGetPort
Peter Krempa [Thu, 13 Jul 2017 13:31:50 +0000]
qemu: command: Rename and move qemuNetworkDriveGetPort

Move it to virstring.c and improve it to parse and validate ports. New
name is virStringParsePort.

3 days agostorage: Fix editing mistake in storagePoolSetAutostart
John Ferlan [Sat, 22 Jul 2017 11:05:55 +0000]
storage: Fix editing mistake in storagePoolSetAutostart

Commit id '905f1024b' had a rogue editing mistake that inadvertently
dropped a goto cleanup in storagePoolSetAutostart, but Coverity noted it.

3 days agoqemu_capabilities: Honour caps values formatting
Michal Privoznik [Sat, 22 Jul 2017 08:30:19 +0000]
qemu_capabilities: Honour caps values formatting

So the way we format this huge virQEMUCaps enum is we group the
values in groups of five. And then at the beginning of each group
we have a small comment that says what's the number of the first
item in the group. Well, the last commit of 11b2ebf3e152 does not
follow this formatting.

Signed-off-by: Michal Privoznik <>

3 days agostorage: Alter volume num, name, and export API's to just take obj
John Ferlan [Tue, 9 May 2017 11:00:41 +0000]
storage: Alter volume num, name, and export API's to just take obj

Alter the virStoragePoolObjNumOfVolumes, virStoragePoolObjVolumeGetNames,
and virStoragePoolObjVolumeListExport APIs to take a virStoragePoolObjPtr
instead of the &obj->volumes and obj->def.

Signed-off-by: John Ferlan <>

3 days agostorage: Use consistent variable names for driver
John Ferlan [Mon, 8 May 2017 15:05:12 +0000]
storage: Use consistent variable names for driver

A virStoragePoolObjPtr will be an 'obj'.

A virStoragePoolPtr will be a 'pool'.

A virStorageVolPtr will be a 'vol'.

A virStorageVolDefPtr will be a 'voldef'.

Signed-off-by: John Ferlan <>

3 days agostorage: Use consistent variable names in virstorageobj
John Ferlan [Fri, 5 May 2017 19:12:59 +0000]
storage: Use consistent variable names in virstorageobj

A virStoragePoolObjPtr will be an 'obj'.

Also modify the @matchpool to @matchobj.

Signed-off-by: John Ferlan <>

3 days agostorage: Fix return value checks for virAsprintf
John Ferlan [Mon, 8 May 2017 11:30:19 +0000]
storage: Fix return value checks for virAsprintf

Use the < 0 rather than == -1 (consistently) for virAsprintf errors.

Signed-off-by: John Ferlan <>

3 days agotest: Add testStorageVolDefFindByName for storage volume tests
John Ferlan [Fri, 5 May 2017 21:21:50 +0000]
test: Add testStorageVolDefFindByName for storage volume tests

Remove repetitive code, replace with common function.

Signed-off-by: John Ferlan <>

3 days agotest: Add helpers to fetch active/inactive storage pool by name
John Ferlan [Fri, 5 May 2017 21:02:01 +0000]
test: Add helpers to fetch active/inactive storage pool by name

Rather than have repetitive code - create/use a couple of helpers:


This will also allow for the reduction of some cleanup path logic.

Signed-off-by: John Ferlan <>

3 days agotest: Cleanup exit/failure paths of some storage pool APIs
John Ferlan [Fri, 5 May 2017 21:31:36 +0000]
test: Cleanup exit/failure paths of some storage pool APIs

Rework some of the test driver API's to remove the need to return
failure when testStoragePoolObjFindByName returns NULL rather than
going to cleanup. This removes the need for check for "if (obj)" and in
some instances the need to for a cleanup label and a local ret variable.

Signed-off-by: John Ferlan <>

3 days agotest: Use consistent variable names for storage test driver APIs
John Ferlan [Fri, 5 May 2017 19:31:40 +0000]
test: Use consistent variable names for storage test driver APIs

A virStoragePoolObjPtr will be an 'obj'.

A virStoragePoolPtr will be a 'pool'.

Signed-off-by: John Ferlan <>

3 days agotest: Fix up formatting in storage test API's
John Ferlan [Fri, 5 May 2017 19:57:37 +0000]
test: Fix up formatting in storage test API's

Fix some spacing/formatting in the storage pool/vol test driver code.

Signed-off-by: John Ferlan <>

3 days agovirt-aa-helper-test: Add test for aarch32 UEFI image path
dann frazier [Thu, 20 Jul 2017 19:56:56 +0000]
virt-aa-helper-test: Add test for aarch32 UEFI image path

Signed-off-by: dann frazier <>

3 days agoqemu: Add AAVMF32 to the list of known UEFIs
dann frazier [Thu, 20 Jul 2017 19:56:55 +0000]
qemu: Add AAVMF32 to the list of known UEFIs

Add a path for UEFI VMs for AArch32 VMs, based on the path Debian is using.
libvirt is the de facto canonical location for defining where distros
should place these firmware images, so let's define this path here to try
and minimize distro fragmentation.

3 days agoqemu: Remove duplicated code in qemuBuildSerialChrDeviceStr()
Andrea Bolognani [Thu, 22 Jun 2017 10:08:46 +0000]
qemu: Remove duplicated code in qemuBuildSerialChrDeviceStr()

The call to qemuBuildDeviceAddressStr() happens no matter
what, so we can move it to the outer possible scope inside
the function.

We can also move the call to virBufferAsprintf() after all
the checks have been performed, where it makes more sense.

Signed-off-by: Andrea Bolognani <>

3 days agoconf: Move some virDomainDeviceInfo functions
Andrea Bolognani [Tue, 27 Jun 2017 06:30:58 +0000]
conf: Move some virDomainDeviceInfo functions

The virDomainDeviceInfo struct is defined in device_conf,
so generic functions that operate on it should also be
defined there rather than in domain_conf.

Signed-off-by: Andrea Bolognani <>

3 days agoconf: Clean up virDomainHostdevDefNew()
Andrea Bolognani [Tue, 27 Jun 2017 08:28:22 +0000]
conf: Clean up virDomainHostdevDefNew()

Follow the same style as other similar functions.

Signed-off-by: Andrea Bolognani <>

3 days agoconf: Rename virDomainHostdevDefAlloc() to virDomainHostdevDefNew()
Andrea Bolognani [Sun, 25 Jun 2017 12:11:12 +0000]
conf: Rename virDomainHostdevDefAlloc() to virDomainHostdevDefNew()

All other virDomain*Def follow this naming convention for
their allocation function.

Signed-off-by: Andrea Bolognani <>

3 days agoqemu: Enable NUMA node tag in pci-root for PPC64
Shivaprasad G Bhat [Fri, 21 Jul 2017 08:03:15 +0000]
qemu: Enable NUMA node tag in pci-root for PPC64

This patch addresses the same aspects on PPC the bug 1103314 addressed
on x86.

PCI expander bus creates multiple primary PCI busses, where each of these
busses can be assigned a specific NUMA affinity, which, on x86 is
advertised through ACPI on a per-bus basis.

For SPAPR, a PHB's NUMA affinities are assigned on a per-PHB basis, and
there is no mechanism for advertising NUMA affinities to a guest on a
per-bus basis. So, even if qemu-ppc manages to get some sort of multi-bus
topology working using PXB, there is no way to expose the affinities
of these busses to the guest. It can only be exposed on a per-PHB/per-domain

So patch enables NUMA node tag in pci-root controller on PPC.

The way to set the NUMA node is through the numa_node option of
spapr-pci-host-bridge device. However for the implicit PHB, the only way
to set the numa_node is from the -global option. The -global option applies
to all the PHBs unless explicitly specified with the option on the
respective PHB of CLI. The default PHB has the emulated devices only, so
the patch prevents setting the NUMA node for the default PHB.

Signed-off-by: Shivaprasad G Bhat <>
Reviewed-by: Andrea Bolognani <>

3 days agoqemu: capabilitity: Introduce QEMU_CAPS_SPAPR_PCI_HOST_BRIDGE_NUMA_NODE
Shivaprasad G Bhat [Fri, 21 Jul 2017 08:02:32 +0000]
qemu: capabilitity: Introduce QEMU_CAPS_SPAPR_PCI_HOST_BRIDGE_NUMA_NODE

The patch adds a capability for spapr-pci-host-bridge.numa_node.

Signed-off-by: Shivaprasad G Bhat <>
Reviewed-by: Andrea Bolognani <>

3 days agoAdd capabilities for qemu-2.9.0 ppc64
Shivaprasad G Bhat [Fri, 21 Jul 2017 08:02:13 +0000]
Add capabilities for qemu-2.9.0 ppc64

Signed-off-by: Shivaprasad G Bhat <>
Reviewed-by: Andrea Bolognani <>

4 days agoqemu: Clean up firmware list initialization
Andrea Bolognani [Fri, 21 Jul 2017 10:09:58 +0000]
qemu: Clean up firmware list initialization

Instead of going through two completely different code paths,
one of which repeats the same hardcoded bit of information
three times in rapid succession, depending on whether or not
a firmware list has been provided at configure time, just
provide a reasonable default value and remove the extra code.

Signed-off-by: Andrea Bolognani <>

4 days agolibvirt-domain.h: Fix enum description placement
Michal Privoznik [Fri, 21 Jul 2017 10:46:18 +0000]
libvirt-domain.h: Fix enum description placement

There are only two acceptable places for describing enum values.
It's either:

    typedef enum {
        /* Some long description. Therefore it's placed before
         * the value. */
        VIR_ENUM_A_VAL = 1,
    } virEnumA;


    typedef enum {
        VIR_ENUM_B_VAL = 1, /* Some short description */
    } virEnumB;

However, during review of a patch sent upstream I realized that
is not always the case. I went through all the public header
files and identified all the offenders. Luckily there were just
two of them.

Yes, this makes our HTML generated documentation broken, but
that's bug of the generator. Our header files shouldn't be forced
to use something we don't want to.

Signed-off-by: Michal Privoznik <>

4 days agoqemu: process: Don't put memoryless NUMA nodes into autoNodeset
Peter Krempa [Wed, 12 Jul 2017 11:59:35 +0000]
qemu: process: Don't put memoryless NUMA nodes into autoNodeset

'numad' may return a nodeset which contains NUMA nodes without memory
for certain configurations. Since cgroups code will not be happy using
nodes without memory we need to store only numa nodes with memory in

On the other hand autoCpuset should contain cpus also for nodes which
do not have any memory.

4 days agoqemu: process: Extract gathering of 'numad' placement into a function
Peter Krempa [Wed, 12 Jul 2017 07:06:42 +0000]
qemu: process: Extract gathering of 'numad' placement into a function

Remove the code from qemuProcessPrepareDomain so that it won't get even
more bloated.

4 days agoqemu: domain: Store and restore autoCpuset to status XML
Peter Krempa [Wed, 12 Jul 2017 12:10:34 +0000]
qemu: domain: Store and restore autoCpuset to status XML

Decouple them by storing them in the XML separately rather than
regenerating them. This will simplify upcoming fixes.

4 days agoqemu: domain: Extract parsing and formatting of priv->autoNodeset
Peter Krempa [Wed, 12 Jul 2017 07:24:07 +0000]
qemu: domain: Extract parsing and formatting of priv->autoNodeset

Move the code to separate functions to avoid complicating the existing
ones with changes.

4 days agoutil: bitmap: Modify virBitmapSubtract to virBitmapIntersect
Peter Krempa [Wed, 12 Jul 2017 11:30:47 +0000]
util: bitmap: Modify virBitmapSubtract to virBitmapIntersect

Since virBitmapSubtract is unused modify it to perform bitmap

4 days agotests: Free @fakerootdir in error path
John Ferlan [Thu, 20 Jul 2017 10:46:41 +0000]
tests: Free @fakerootdir in error path

Commit id 'dd9b29dad' added this new variable, but didn't free it in
one instance where status was returned to the caller.

Found by Coverity

4 days agodaemon: Don't conditionally free @origErr in daemonStreamEvent
John Ferlan [Thu, 20 Jul 2017 10:44:21 +0000]
daemon: Don't conditionally free @origErr in daemonStreamEvent

Commit id '0fe4aa149' added @origErr, but since it's assigned outside
the if condition, the free should be outside as well.

Found by Coverity

4 days agoHandle hotplug change on VLAN configuration using OVS
Antoine Millet [Mon, 17 Jul 2017 15:49:00 +0000]
Handle hotplug change on VLAN configuration using OVS

A new function virNetDevOpenvswitchUpdateVlan has been created to instruct
OVS of the changes. qemuDomainChangeNet has been modified to handle the
update of the VLAN configuration for a running guest and rely on
virNetDevOpenvswitchUpdateVlan to do the actual update if needed.

Signed-off-by: Michal Privoznik <>

4 days agovirnetdevopenvswitch: Move OVS VLAN configuration to a separate function
Antoine Millet [Mon, 17 Jul 2017 15:48:59 +0000]
virnetdevopenvswitch: Move OVS VLAN configuration to a separate function

This piece of code is going to be reused. So move it out to a
separate function.

Signed-off-by: Michal Privoznik <>

5 days agosecurity: Don't overwrite error of GetProcessLabel
Cole Robinson [Wed, 19 Jul 2017 23:18:18 +0000]
security: Don't overwrite error of GetProcessLabel

Security impls of this function already raise errors, don't
overwrite them.

5 days agoqemu: separate virQEMUCapsInitCached out of virQEMUCapsNewForBinaryInternal
Pavel Hrdina [Tue, 18 Jul 2017 14:14:07 +0000]
qemu: separate virQEMUCapsInitCached out of virQEMUCapsNewForBinaryInternal

Preparation for switching to virFileCache where there are two callbacks,
one to get a new data and second one to load a cached data.

This also removes virQEMUCapsReset which is no longer required.

Signed-off-by: Pavel Hrdina <>
Reviewed-by: Jiri Denemark <>

5 days agoqemu: don't pass qemuctime into virQEMUCapsIsValid
Pavel Hrdina [Thu, 22 Jun 2017 10:53:26 +0000]
qemu: don't pass qemuctime into virQEMUCapsIsValid

It's not required and following patches will change the code.

Signed-off-by: Pavel Hrdina <>
Reviewed-by: Jiri Denemark <>

5 days agoqemu: move libvirt ctime and version check into virQEMUCapsIsValid
Pavel Hrdina [Thu, 22 Jun 2017 10:52:35 +0000]
qemu: move libvirt ctime and version check into virQEMUCapsIsValid

Signed-off-by: Pavel Hrdina <>
Reviewed-by: Jiri Denemark <>

5 days agoqemu: move virQEMUCapsIsValid before its usage and make it static
Pavel Hrdina [Mon, 19 Jun 2017 12:03:06 +0000]
qemu: move virQEMUCapsIsValid before its usage and make it static

Signed-off-by: Pavel Hrdina <>
Reviewed-by: Jiri Denemark <>

5 days agoqemu: move libvirt ctime and version into _virQEMUCaps struct
Pavel Hrdina [Tue, 13 Jun 2017 15:55:45 +0000]
qemu: move libvirt ctime and version into _virQEMUCaps struct

Cleanups the code a little bit and reduces amount of arguments passed
throughout the functions.

Signed-off-by: Pavel Hrdina <>
Reviewed-by: Jiri Denemark <>

5 days agoutil/virhash: add name parameter to virHashSearch
Pavel Hrdina [Tue, 13 Jun 2017 13:56:14 +0000]
util/virhash: add name parameter to virHashSearch

While searching for an element using a function it may be
desirable to know the element key for future operation.

Signed-off-by: Pavel Hrdina <>
Reviewed-by: Jiri Denemark <>

5 days agoinclude: nodedev: Fix a misleading comment about the used callback
Chen Hanxiao [Thu, 20 Jul 2017 09:01:57 +0000]
include: nodedev: Fix a misleading comment about the used callback

Actually we use virConnectNodeDeviceEventGenericCallback.

Signed-off-by: Chen Hanxiao <>
Signed-off-by: Erik Skultety <>

5 days agoqemu: shared disks with cache=directsync should be safe for migration
Hao Peng [Sat, 15 Jul 2017 15:01:25 +0000]
qemu: shared disks with cache=directsync should be safe for migration

At present shared disks can be migrated with either readonly or cache=none. But
cache=directsync should be safe for migration, because both cache=directsync and cache=none
don't use the host page cache, and cache=direct write through qemu block layer cache.

Signed-off-by: Peng Hao <>
Reviewed-by: Wang Yechao <>

5 days agoqemu: blockcopy: Refactor logic checking the target storage file
Peter Krempa [Tue, 11 Jul 2017 15:45:12 +0000]
qemu: blockcopy: Refactor logic checking the target storage file

Use virStorageSource accessors to check the file and call
virStorageFileAccess before even attempting to stat the target. This
will be helpful once we try to add network destinations for block copy,
since there will be no need to stat them.

5 days agoqemu: blockcopy: Split out checking of the target image file
Peter Krempa [Tue, 11 Jul 2017 15:43:19 +0000]
qemu: blockcopy: Split out checking of the target image file

Move the code into a separate function so that the flow of creating the
copy is more obvious and split into logical pieces.

5 days agoqemu: blockcopy: reuse storage driver APIs to pre-create copy target
Peter Krempa [Mon, 29 Feb 2016 12:36:16 +0000]
qemu: blockcopy: reuse storage driver APIs to pre-create copy target

Rather than using the local-file only implementation 'qemuOpenFile'
switch to the imagelabel aware storage driver implementation.

5 days agoqemu: blockcopy: Explicitly assert 'reuse' for block devices
Peter Krempa [Tue, 11 Jul 2017 06:23:38 +0000]
qemu: blockcopy: Explicitly assert 'reuse' for block devices

When copying to a block device, the block device will already exist. To
allow users using a block device without any preparation, they need to
use the block copy without VIR_DOMAIN_BLOCK_COPY_REUSE_EXT.

This means that if the target is an existing block device we don't need
to prepare it, but we can't reject it as being existing.

To avoid breaking this feature, explicitly assume that existing block
devices will be reused even without that flag explicitly specified,
while skipping attempts to create it.

qemuMonitorDriveMirror still needs to honor the flag as specified by the
user, since qemu overwrites the metadata otherwise.

5 days agoqemu: driver: Split out access to VIR_DOMAIN_BLOCK_COPY_REUSE_EXT
Peter Krempa [Tue, 11 Jul 2017 06:20:55 +0000]
qemu: driver: Split out access to VIR_DOMAIN_BLOCK_COPY_REUSE_EXT

Extract the presence of the flag into a boolean to simplify conditions
and allow further manipulation of the state of the flag.

5 days agoLXC: set the right var to NULL
Chen Hanxiao [Thu, 20 Jul 2017 02:02:30 +0000]
LXC: set the right var to NULL

   For attaching hosdev, we should set dev->data.hostdev
   rather than dev->data.disk

Signed-off-by: Chen Hanxiao <>

5 days agospec: Add support for building the zfs storage driver
Neal Gompa [Mon, 17 Jul 2017 15:32:46 +0000]
spec: Add support for building the zfs storage driver

Where it can be supported in Fedora, the driver is built and made
available as a subpackage.

Signed-off-by: Neal Gompa <>

5 days agotests: virjson: Test nesting of JSON string into a JSON (string) property
Peter Krempa [Mon, 3 Jul 2017 14:39:21 +0000]
tests: virjson: Test nesting of JSON string into a JSON (string) property

Test that we are able to create a JSON object and nest it into a string
property of a JSON object and then correctly extract and parse it back.

5 days agotests: virjson: Test parsing and formatting of strings with escaped chars
Peter Krempa [Mon, 3 Jul 2017 14:39:21 +0000]
tests: virjson: Test parsing and formatting of strings with escaped chars

Make sure that JSON strings can contain characters which need to be
escaped (double quotes, backslashes, tabs, etc.).

5 days agophyp: Fix memory leak in phypUUIDTable_Push
ZhiPeng Lu [Wed, 19 Jul 2017 00:02:36 +0000]
phyp: Fix memory leak in phypUUIDTable_Push

@remote_file, allocated by virAsprintf, was not freed and leaked.

Signed-off-by: Zhipeng Lu <>

5 days agompath: Fix memory leak in virStorageBackendCreateVols
ZhiPeng Lu [Wed, 19 Jul 2017 00:36:54 +0000]
mpath: Fix memory leak in virStorageBackendCreateVols

@map_device, allocated by virAsprintf in virStorageBackendCreateVols,
was not freed and leaked.

Signed-off-by: Zhipeng Lu <>

5 days agotests: virjson: Test formatting along with parsing of JSON objects
Peter Krempa [Mon, 3 Jul 2017 13:37:21 +0000]
tests: virjson: Test formatting along with parsing of JSON objects

Format the parsed string back and compare it to the original (or
modified) string for back and forth comparison.

5 days agotests: virjson: Remove spaces from 'very-hard' parsing example
Peter Krempa [Mon, 3 Jul 2017 13:16:02 +0000]
tests: virjson: Remove spaces from 'very-hard' parsing example

The example is rather long and upcomming patch will check whether the
string can be formatted back. As the formatted string lacks spaces and
adding the 'expect' string with spaces would be rather long, just drop
spaces from this test case.

There are other test cases which do contain spaces.

5 days agotests: virjson: Modify logic in testJSONFromString
Peter Krempa [Mon, 3 Jul 2017 13:02:38 +0000]
tests: virjson: Modify logic in testJSONFromString

To allow better testing in case where the string was parsed, modify the
logic so that the regular code path is not included in a conditional

6 days agotest/ drop WARN_CFLAGS from LDFLAGS
Ján Tomko [Wed, 29 Jun 2016 13:16:18 +0000]
test/ drop WARN_CFLAGS from LDFLAGS

Introduced by commit 0832c58, with the intention to link with
the stack protector library.

Another instance introduced by commit 4cbc15d which separated
commandhelper_LDADD from LDADDS.

Not needed because per commit 71b54636, automake should pass
all the CFLAGS to the linker.

6 days agoqemu: avoid deadlock on domain object enter monitor fail
Wang King [Wed, 19 Jul 2017 06:40:24 +0000]
qemu: avoid deadlock on domain object enter monitor fail

Should be followed with qemuDomainObjExitMonitor only if
qemuDomainObjEnterMonitorAsync returns 0.

Signed-off-by: Jiri Denemark <>

6 days agosecurity: apparmor: Properly link with storage driver in helper program
Peter Krempa [Tue, 18 Jul 2017 07:43:41 +0000]
security: apparmor: Properly link with storage driver in helper program

The refactor to split up storage driver into modules broke the apparmor
helper program, since that did not initialize the storage driver
properly and thus detection of the backing chain could not work.

Register the storage driver backends explicitly. Unfortunately it's now
necessary to link with the full storage driver to satisfy dependencies
of the loadable modules.

Reviewed-by: Christian Ehrhardt <>
Reported-by: Christian Ehrhardt <>
Tested-by: Christian Ehrhardt <>

6 days agovirFileInData: Report an error if unable to reposition file
Michal Privoznik [Tue, 11 Jul 2017 08:56:19 +0000]
virFileInData: Report an error if unable to reposition file

The purpose of this function is to tell if the current position
in given FD is in data section or a hole and how much bytes there
is remaining until the end of the section. This is achieved by
couple of lseeks(). The most important part is that we reposition
the FD back, so that the position is unchanged from the caller
POV. And until now the final lseek() back to the original
position was done with no check for errors. And I was convinced
that that's okay since nothing can go wrong. However, review
feedback from a related series persuaded me, that it's better to
be safe than sorry. Therefore, lets check if the final lseek()
succeeded and if it doesn't report an error.

Signed-off-by: Michal Privoznik <>
Reviewed-by: John Ferlan <>

6 days agodocs: schema: make disk driver name attribute optional
Jim Fehlig [Tue, 18 Jul 2017 16:20:35 +0000]
docs: schema: make disk driver name attribute optional

/domain/devices/disk/driver/@name is not a required or mandatory
attribute according to formatdomain, and indeed it was agreed on
IRC that the attribute is "optional for input, recommended (but
not required) for output". Currently the schema requires the
attribute, causing virt-xml-validate to fail on disk config where
the driver name is not explicitly specified. E.g.

# cat test.xml | grep -A 5 cdrom
    <disk type='file' device='cdrom'>
      <driver type='raw'/>
      <target dev='hdb' bus='ide'/>
      <address type='drive' controller='0' bus='0' target='0' unit='1'/>

# virt-xml-validate test.xml
Relax-NG validity error : Extra element devices in interleave
test.xml:21: element devices: Relax-NG validity error : Element domain failed to validate content
test.xml fails to validate

Relaxing the name attribute to be optional fixes the validation

# virt-xml-validate test.xml
test.xml validates

6 days agowireshark: Adapt to tvb_new_subset() rename
Michal Privoznik [Tue, 18 Jul 2017 08:27:41 +0000]
wireshark: Adapt to tvb_new_subset() rename

In Wireshark commit of 7cd6906056922e4b8 (contained in v2.4.0)
the tvb_new_subset() function was renamed to
tvb_new_subset_length_caplen(). However, we can take the extra
step and rename to tvb_new_subset_remaining() directly (see
Wireshark commit 0ecfc7280cf3d7). The reasoning is that there is
no other protocol in the packet than libvirt. Therefore, from the
point that libvirt dissector takes over till the end of the
packet it's all libvirt packet.

Signed-off-by: Michal Privoznik <>
Reviewed-by: Martin Kletzander <>

7 days agotests: enable qemu 2.9 capabilities test for s390
Boris Fiuczynski [Mon, 10 Jul 2017 09:12:37 +0000]
tests: enable qemu 2.9 capabilities test for s390

Adjust qemu 2.9 s390 capabilites xml and enable qemu capabilities test.

Signed-off-by: Boris Fiuczynski <>

7 days agonodedev: Fix call to virNodeDeviceObjListFree in nodeStateReload
John Ferlan [Tue, 18 Jul 2017 11:19:05 +0000]
nodedev: Fix call to virNodeDeviceObjListFree in nodeStateReload

Commit id '9c5d98fd8' missed changing this call to use driver->devs
rather than @driver->devs.

7 days agonews: Update for hostdev isolation
Andrea Bolognani [Fri, 23 Jun 2017 14:58:26 +0000]
news: Update for hostdev isolation

Signed-off-by: Andrea Bolognani <>
Reviewed-by: Laine Stump <>

7 days agoqemu: Isolate hostdevs on pSeries guests
Andrea Bolognani [Fri, 2 Jun 2017 13:19:04 +0000]
qemu: Isolate hostdevs on pSeries guests

All the pieces are now in place, so we can finally start
using isolation groups to achieve our initial goal, which is
separating hostdevs from emulated PCI devices while keeping
hostdevs that belong to the same host IOMMU group together.


Signed-off-by: Andrea Bolognani <>
Reviewed-by: Laine Stump <>

7 days agoconf: Implement isolation rules
Andrea Bolognani [Thu, 15 Jun 2017 08:40:42 +0000]
conf: Implement isolation rules

These rules will make it possible for libvirt to
automatically assign PCI addresses in a way that
respects any isolation constraints devices might

Signed-off-by: Andrea Bolognani <>
Reviewed-by: Laine Stump <>

7 days agoconf: Introduce isolation groups
Andrea Bolognani [Thu, 15 Jun 2017 08:38:33 +0000]
conf: Introduce isolation groups

Isolation groups will eventually allow us to make sure certain
devices, eg. PCI hostdevs, are assigned to guest PCI buses in
a way that guarantees improved isolation, error detection and
recovery for machine types and hypervisors that support it,
eg. pSeries guest on QEMU.

This patch merely defines storage for the new information
we're going to need later on and makes sure it is passed from
the hypervisor driver (QEMU / bhyve) down to the generic PCI
address allocation code.

Signed-off-by: Andrea Bolognani <>
Reviewed-by: Laine Stump <>

7 days agonodedev: Convert virNodeDeviceObj to use virObjectLockable
John Ferlan [Mon, 15 May 2017 15:00:59 +0000]
nodedev: Convert virNodeDeviceObj to use virObjectLockable

Now that we have a bit more control, let's convert our object into
a lockable object and let that magic handle the create and lock/unlock.

This also involves creating a virNodeDeviceEndAPI in order to handle
the object cleanup for API's that use the Add or Find API's in order
to get a locked/reffed object. The EndAPI will unlock and unref the
object returning NULL to indicate to the caller to not use the obj.

Signed-off-by: John Ferlan <>

7 days agonodedev: Privatize _virNodeDeviceObj and _virNodeDeviceObjList
John Ferlan [Fri, 12 May 2017 17:56:14 +0000]
nodedev: Privatize _virNodeDeviceObj and _virNodeDeviceObjList

Move the structures to withing virnodedeviceobj.c

Move the typedefs from node_device_conf to virnodedeviceobj.h

Signed-off-by: John Ferlan <>

7 days agonodedev: Introduce virNodeDeviceObjListFindSCSIHostByWWNs
John Ferlan [Fri, 12 May 2017 19:31:10 +0000]
nodedev: Introduce virNodeDeviceObjListFindSCSIHostByWWNs

In an overall effort to privatize access to virNodeDeviceObj and
virNodeDeviceObjList into the virnodedeviceobj module, move the
object list parsing from node_device_driver and replace with a
call to a virnodedeviceobj helper. This follows other similar
APIs/helpers which peruse the object list looking for some specific
data in order to get/return an @device (virNodeDevice) object to
the caller.

Signed-off-by: John Ferlan <>

7 days agonodedev: Introduce virNodeDeviceGetSCSIHostCaps
John Ferlan [Thu, 25 May 2017 14:20:58 +0000]
nodedev: Introduce virNodeDeviceGetSCSIHostCaps

We're about to move the call to nodeDeviceSysfsGetSCSIHostCaps from
node_device_driver into virnodedeviceobj, so move the guts of the code
from the driver specific node_device_linux_sysfs into its own API
since virnodedeviceobj cannot callback into the driver.

Nothing in the code deals with sysfs anyway, as that's hidden by the
various virSCSIHost* and virVHBA* utility function calls.

Signed-off-by: John Ferlan <>

7 days agonodedev: Dereference the obj/def in virNodeDeviceObjListFind* APIs
John Ferlan [Mon, 15 May 2017 14:20:51 +0000]
nodedev: Dereference the obj/def in virNodeDeviceObjListFind* APIs

Create local @obj and @def for the API's rather than referencing the
devs->objs[i][->def->].  It'll make future patches easier to read.

Signed-off-by: John Ferlan <>

7 days agonodedev: Alter node device obj list function names
John Ferlan [Fri, 12 May 2017 18:47:17 +0000]
nodedev: Alter node device obj list function names

Ensure that any function that walks the node device object list is prefixed
by virNodeDeviceObjList.

Also, modify the @filter param name for virNodeDeviceObjListExport to
be @aclfilter.

Signed-off-by: John Ferlan <>

7 days agonodedev: Introduce virNodeDeviceObjListNew
John Ferlan [Fri, 12 May 2017 17:51:25 +0000]
nodedev: Introduce virNodeDeviceObjListNew

In preparation to make things private, make the ->devs be pointers to a
virNodeDeviceObjList and then manage everything inside virnodedeviceobj

Signed-off-by: John Ferlan <>

7 days agonodedev: Introduce virNodeDeviceObjNew
John Ferlan [Fri, 12 May 2017 17:34:23 +0000]
nodedev: Introduce virNodeDeviceObjNew

Create an allocator for the virNodeDeviceObjPtr - include setting up
the mutex, saving the virNodeDeviceDefPtr, and locking the return object.

Signed-off-by: John Ferlan <>

7 days agonodedev: Use consistent names for driver variables
John Ferlan [Fri, 12 May 2017 16:45:16 +0000]
nodedev: Use consistent names for driver variables

A virNodeDeviceObjPtr is an @obj

A virNodeDeviceObjListPtr is a @devs

A virNodeDevicePtr is a @device

Signed-off-by: John Ferlan <>

7 days agonodedev: Use common naming for virnodedeviceobj
John Ferlan [Fri, 12 May 2017 15:17:26 +0000]
nodedev: Use common naming for virnodedeviceobj

A virNodeDeviceObjPtr is an @obj

A virNodeDeviceObjListPtr is an @devs

Signed-off-by: John Ferlan <>

7 days agotest: Adjust cleanup/error paths for nodedev test APIs
John Ferlan [Fri, 12 May 2017 15:08:57 +0000]
test: Adjust cleanup/error paths for nodedev test APIs

 - In testDestroyVport rather than use a cleanup label, just return -1
   immediately since nothing else is needed.

 - In testStoragePoolDestroy, if !privpool, then just return -1 since
   nothing else will happen anyway.

 - Rather than "goto cleanup;" on failure to virNodeDeviceObjFindByName
   an @obj, just return directly.  This then allows the cleanup: label code
   to not have to check "if (obj)" before calling virNodeDeviceObjUnlock.
   This also simplifies some exit logic...

 - In testNodeDeviceObjFindByName use an error: label to handle the failure
   and don't do the ncaps++ within the VIR_STRDUP() source target index.
   Only increment ncaps after success. Easier on eyes at error label too.

 - In testNodeDeviceDestroy use "cleanup" rather than "out" for the goto

Signed-off-by: John Ferlan <>