libvirt.git
20 min agotests: qemuxml2xml: specify qemuCaps in test cases master
Cole Robinson [Wed, 27 Jan 2016 21:19:40 +0000]
tests: qemuxml2xml: specify qemuCaps in test cases

Similar to how we do it for qemuxml2argvtest. This will be used in future
patches.

107 min agotests: Unconditionally enable QEMU_CAPS_DEVICE
Cole Robinson [Wed, 13 Jan 2016 00:26:40 +0000]
tests: Unconditionally enable QEMU_CAPS_DEVICE

QEMU_CAPS_DEVICE is always enabled for qemu binaries we support.
Sync qemuxml2* to match, and regenerate all test output.

107 min agotests: qemuxml2argv: remove some QEMU_CAPS_DEVICE problem cases
Cole Robinson [Wed, 13 Jan 2016 01:41:49 +0000]
tests: qemuxml2argv: remove some QEMU_CAPS_DEVICE problem cases

When we unconditionally enable QEMU_CAPS_DEVICE, these tests need
some massaging, so do it ahead of time to not mix it in with the
big test refresh.

- minimal-s390 is not a real world working config, so drop it
- disk-usb was testing for an old code path that will be removed.
  instead use it to test lack of USB disk support, and rename it
  to disk-usb-nosupport. Switch xml2xml to use disk-usb-device for
  input.
- cputune-numatune was needlessly using q35, switch it to an older
  machine type

4 hours agovirDomainFormatSchedDef: Initialize @priority
Michal Privoznik [Mon, 8 Feb 2016 13:12:56 +0000]
virDomainFormatSchedDef: Initialize @priority

Older gcc fails to see that the variable is set iff @hasPriority
== true in which case the former is set a value. Initialize the
value while declaring it to make the compiler shut up.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

4 hours agoutil: Get rid of virStringListLen()
Martin Kletzander [Tue, 9 Feb 2016 15:01:33 +0000]
util: Get rid of virStringListLen()

It does exactly the same thing as virStringListLength() and it's used in
one place only.

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

5 hours agotests: qemuxml2xml: Always use different output file
Cole Robinson [Wed, 13 Jan 2016 15:43:27 +0000]
tests: qemuxml2xml: Always use different output file

Most qemuxml2xml tests expect that the input XML is unchanged after
parsing. This is unlike 99% of new qemu configs in the wild, which after
initial parsing end up with stable PCI device addresses. The xml2xml bit
doesn't currently hit that code path though, so most XML testing indeed
does not change.

Future patches will add that PCI address bits, which means most test cases
will have different output. So let's do away with the hardcoded same vs
different test split, and always track a separate output file. Tests can
still have same input and output, it just necessitates 2 separate XML files.

7 hours agoFix '-pie' build with clang
Martin Kletzander [Tue, 9 Feb 2016 11:33:29 +0000]
Fix '-pie' build with clang

Commit 97e70a593589e8f0432a748b4b93c3cdc18b9e5a added the option -pie to
CFLAGS and LDFLAGS, however '-pie' is just a linker option.  That
wouldn't be a problem.  However, clang is checking for that and outputs
an error or unused argument:

error: argument unused during compilation: '-pie'

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

8 hours agoleaseshelper: swap two parameters of virLeaseNew
Ján Tomko [Tue, 9 Feb 2016 12:13:51 +0000]
leaseshelper: swap two parameters of virLeaseNew

My commit e11aa74 messed up the parameter order.

Reported by John Ferlan.

11 hours agovboxDumpDisplay: realign variable initializations
Ján Tomko [Tue, 9 Feb 2016 09:11:56 +0000]
vboxDumpDisplay: realign variable initializations

Remove the extra spaces, do not align them on '='.

11 hours agovboxDumpDisplay: remove suspicious strlen
Ján Tomko [Fri, 5 Feb 2016 16:46:07 +0000]
vboxDumpDisplay: remove suspicious strlen

The return type of strlen is 'size_t', which is unsigned and therefore
never less than zero.

Use STREQ to make the check obvious.

11 hours agovboxDumpDisplay: reuse the keyUtf16 variable
Ján Tomko [Fri, 5 Feb 2016 16:43:00 +0000]
vboxDumpDisplay: reuse the keyUtf16 variable

We free the key right after calling the API.

Reuse a single variable to remove the typo.

11 hours agovboxDumpDisplay: use VIR_APPEND_ELEMENT
Ján Tomko [Fri, 5 Feb 2016 16:40:51 +0000]
vboxDumpDisplay: use VIR_APPEND_ELEMENT

Instead of open-coding it.

11 hours agovboxDumpDisplay: check return of virDomainGraphicsListenSetAddress
Ján Tomko [Fri, 5 Feb 2016 16:33:52 +0000]
vboxDumpDisplay: check return of virDomainGraphicsListenSetAddress

Error out if the allocation failed.

11 hours agovboxDumpDisplay: clean up VIR_STRDUP usage
Ján Tomko [Fri, 5 Feb 2016 16:09:05 +0000]
vboxDumpDisplay: clean up VIR_STRDUP usage

Two VIR_STRDUP calls are redundant - just steal the string
converted by VBOX_UTF16_TO_UTF8.

Report an error when the third one fails.

11 hours agovboxDumpDisplay: fill out the graphics structure earlier
Ján Tomko [Fri, 5 Feb 2016 16:01:05 +0000]
vboxDumpDisplay: fill out the graphics structure earlier

Remove the need to track what type of graphics were present
by temporary variables.

11 hours agovboxDumpDisplay: allocate the graphics structure upfront
Ján Tomko [Fri, 5 Feb 2016 15:42:26 +0000]
vboxDumpDisplay: allocate the graphics structure upfront

Allocate it as soon as we know we will need it.

Add it to def->ngraphics if it's allocated, removing the need
to use the addDesktop and totalPresent variables to track this.

11 hours agovboxDumpDisplay: split out def->graphics allocation
Ján Tomko [Fri, 5 Feb 2016 15:25:25 +0000]
vboxDumpDisplay: split out def->graphics allocation

Separate allocation of the def->graphics array from the allocation
and initialization of its first element.

Note that the only possible values of totalPresent at this point
are 0 or 1, because it equals to guiPresent + sdlPresent.

11 hours agovboxDumpDisplay: remove extra virReportOOMError
Ján Tomko [Fri, 5 Feb 2016 15:55:01 +0000]
vboxDumpDisplay: remove extra virReportOOMError

VIR_ALLOC* already reported an error.

11 hours agovboxDumpDisplay: add addDesktop bool
Ján Tomko [Fri, 5 Feb 2016 14:44:19 +0000]
vboxDumpDisplay: add addDesktop bool

When FRONTEND/Type is not any of "sdl", "gui", "vrdp", we add a DESKTOP.
Use a bool to track this, instead of checking that both
totalPresent ("sdl" or "gui" present) and vrdpPresent are zero.

11 hours agovboxDumpDisplay: more indentation reducing
Ján Tomko [Fri, 5 Feb 2016 16:13:25 +0000]
vboxDumpDisplay: more indentation reducing

VRDxEnabled is initialized to false. Put the if (VRDxEnabled)
on the top level to reduce nesting.

11 hours agovboxDumpDisplay: reduce indentation level
Ján Tomko [Fri, 5 Feb 2016 14:36:16 +0000]
vboxDumpDisplay: reduce indentation level

Use STREQ_NULLABLE instead of deep nesting.

11 hours agoCheck return value of vboxDumpVideo
Ján Tomko [Fri, 5 Feb 2016 13:05:07 +0000]
Check return value of vboxDumpVideo

Error out on allocation failures instead of creating an incomplete
definition.

Fixes a possible crash when def->nvideos is 1, but def->videos is NULL.

12 hours agoleaseshelper: split out virLeaseNew
Ján Tomko [Thu, 14 Jan 2016 16:15:19 +0000]
leaseshelper: split out virLeaseNew

For the actions ADD and OLD, split out creating the new lease object,
as well as getting the environment variables that do not affect
the parsing of command line arguments.

28 hours agoqemu: iothread: Reuse qemuProcessSetupIOThread in iothread hotplug
Peter Krempa [Thu, 14 Jan 2016 10:30:52 +0000]
qemu: iothread: Reuse qemuProcessSetupIOThread in iothread hotplug

Since majority of the steps is shared, the function can be reused to
simplify code.

Similarly to previous path doing this same for vCPUs this also fixes the
a similar bug (which is not tracked).

28 hours agoqemu: iothread: Aggregate code to set IOThread tuning
Peter Krempa [Thu, 14 Jan 2016 09:38:02 +0000]
qemu: iothread: Aggregate code to set IOThread tuning

Rather than iterating 3 times for various settings this function
aggregates all the code into single place. One of the other advantages
is that it can then be reused for properly setting IOThread info on
hotplug.

28 hours agoqemu: vcpu: Reuse qemuProcessSetupVcpu in vcpu hotplug
Peter Krempa [Wed, 13 Jan 2016 16:00:54 +0000]
qemu: vcpu: Reuse qemuProcessSetupVcpu in vcpu hotplug

Since majority of the steps is shared, the function can be reused to
simplify code.

Additionally this resolves
https://bugzilla.redhat.com/show_bug.cgi?id=1244128 since the cpu
bandwidth limiting with cgroups would not be set on the hotplug path.

Additionally the code now sets the thread affinity and honors autoCpuset
as in the regular startup code path.

28 hours agoqemu: vcpu: Aggregate code to set vCPU tuning
Peter Krempa [Wed, 13 Jan 2016 15:36:52 +0000]
qemu: vcpu: Aggregate code to set vCPU tuning

Rather than iterating 3 times for various settings this function
aggregates all the code into single place. One of the other advantages
is that it can then be reused for properly setting vCPU info on hotplug.

With this approach autoCpuset is also used when setting the process
affinity rather than just via cgroups.

30 hours agoremote: enforce VIR_TYPED_PARAM_STRING_OKAY flag on client side serialization
Joao Martins [Fri, 5 Feb 2016 19:24:05 +0000]
remote: enforce VIR_TYPED_PARAM_STRING_OKAY flag on client side serialization

Commit 8cd1d54 consolidates both daemon and remote driver typed param
serialization functions. The consolidation now enforces client to use
VIR_TYPED_PARAM_STRING_OKAY flag to properly serialize string parameters, which
server has used for quite some time now. And this caused an issue, since the
commit had not adjusted client remote calls appropriately, thus causing a
failure in blkiotune, numatune and migration APIs (as per Xen CI tests). This
patch adjusts both remote_driver.c and gendispatch.pl to properly address this
issue.

http://lists.xenproject.org/archives/html/xen-devel/2016-02/msg01012.html

Signed-off-by: Joao Martins <joao.m.martins@oracle.com>
Signed-off-by: Erik Skultety <eskultet@redhat.com>

31 hours agovircgroup: Update virCgroupGetPercpuStats stump
Michal Privoznik [Mon, 8 Feb 2016 13:06:30 +0000]
vircgroup: Update virCgroupGetPercpuStats stump

In the commit 7938b533 we've changed the function signature,
however forgot to update stump that's used on systems without
CGroups causing a build failure.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

35 hours agoconf: Fix how iothread scheduler info is stored
Peter Krempa [Fri, 29 Jan 2016 14:12:26 +0000]
conf: Fix how iothread scheduler info is stored

Similarly to previous commit change the way how iothread scheduler info
is stored and clean up a lot of unnecessary code.

35 hours agoconf: Don't store vcpusched orthogonally to other vcpu info
Peter Krempa [Tue, 12 Jan 2016 12:12:05 +0000]
conf: Don't store vcpusched orthogonally to other vcpu info

Due to bad design the vcpu sched element is orthogonal to the way how
the data belongs to the corresponding objects. Now that vcpus are a
struct that allow to store other info too, let's convert the data to the
sane structure.

The helpers for the conversion are made universal so that they can be
reused for iothreads too.

This patch also resolves https://bugzilla.redhat.com/show_bug.cgi?id=1235180
since with the correct storage approach you can't have dangling data.

35 hours agoconf: Extract code that formats <cputune>
Peter Krempa [Thu, 7 Jan 2016 12:50:03 +0000]
conf: Extract code that formats <cputune>

virDomainDefFormatInternal is growing rather large. Extract the cputune
formatter into a separate function.

35 hours agoconf: remove unused cpu pinning helpers and data structures
Peter Krempa [Mon, 4 Jan 2016 18:12:50 +0000]
conf: remove unused cpu pinning helpers and data structures

Now that the pinning info is stored elsewhere we can delete all the
obsolete code.

35 hours agoconf: Store cpu pinning data in def->vcpus
Peter Krempa [Fri, 29 Jan 2016 09:20:44 +0000]
conf: Store cpu pinning data in def->vcpus

Now with the new struct the data can be stored in a much saner place.

35 hours agoconf: Don't copy def->cpumask into cpu pinning info
Peter Krempa [Fri, 18 Dec 2015 16:31:50 +0000]
conf: Don't copy def->cpumask into cpu pinning info

This step can be omitted, so that drivers can decide what to do when the
user requests to use default vcpu pinning.

35 hours agoqemu: Reuse qemuDomainDetectVcpuPids in cpu hot(un)plug
Peter Krempa [Tue, 15 Dec 2015 07:48:46 +0000]
qemu: Reuse qemuDomainDetectVcpuPids in cpu hot(un)plug

Now that qemuDomainDetectVcpuPids is able to refresh the vCPU pid
information it can be reused in the hotplug and hotunplug code paths
rather than open-coding a very similar algorithm.

A slight algorithm change is necessary for unplug since the vCPU needs
to be marked offline prior to calling the thread detector function and
eventually rolled back if something fails.

35 hours agoqemu: Differentiate error codes when VM exits in qemuDomainDetectVcpuPids
Peter Krempa [Fri, 5 Feb 2016 12:03:33 +0000]
qemu: Differentiate error codes when VM exits in qemuDomainDetectVcpuPids

Some callers will need to behave differently when the detection failed
and when the VM crashed during the redetection. Return -2 if it crashed.

35 hours agocgroup: Prepare for sparse vCPU topologies in virCgroupGetPercpuStats
Peter Krempa [Mon, 14 Dec 2015 14:10:22 +0000]
cgroup: Prepare for sparse vCPU topologies in virCgroupGetPercpuStats

Pass a bitmap of enabled guest vCPUs to virCgroupGetPercpuStats so that
non-continuous vCPU topologies can be used.

35 hours agoconf: Move and optimize disk target duplicity checking
Peter Krempa [Thu, 4 Feb 2016 13:24:53 +0000]
conf: Move and optimize disk target duplicity checking

Move the logic from virDomainDiskDefDstDuplicates into
virDomainDiskDefCheckDuplicateInfo so that we don't have to loop
multiple times through the array of disks. Since the original function
was called in qemuBuildDriveDevStr, it was actually called for every
single disk which was quite wasteful.

Additionally the target uniqueness check needed to be duplicated in
the disk hotplug case, since the disk was inserted into the domain
definition after the device string was formatted and thus
virDomainDiskDefDstDuplicates didn't do anything in that case.

36 hours agotests: Integrate startup checks to qemuxml2argvtest
Peter Krempa [Thu, 4 Feb 2016 14:29:49 +0000]
tests: Integrate startup checks to qemuxml2argvtest

Some of the tests that are not a part of qemuBuildCommandLine were not
executed in the test suite. We can now reuse qemuProcessStartValidate to
integrate these tests.

36 hours agoqemu: process: Extract pre-start checks into a function
Peter Krempa [Thu, 4 Feb 2016 14:25:29 +0000]
qemu: process: Extract pre-start checks into a function

When starting a qemu process there are certain checks done to ensure
that the configuration makes sense. Extract them into a separate
function so that they can be reused in the test code.

36 hours agoqemu: process: Reorder operations on early VM startup
Peter Krempa [Thu, 4 Feb 2016 13:48:57 +0000]
qemu: process: Reorder operations on early VM startup

Retrieval of the driver capabilities as well as emulator capabilities
does not require the complete qemuProcessStop to be executed on
failure.

36 hours agoqemu: hotplug: Check duplicate disk serial/wwn on hotplug too
Peter Krempa [Thu, 4 Feb 2016 12:39:15 +0000]
qemu: hotplug: Check duplicate disk serial/wwn on hotplug too

We do the check on VM start, but the user could still hotplug a disk
with a conflicting serial or WWN. Reuse the checker function to fix the
issue.

36 hours agoconf: Extract code that checks disk serial/wwn conflict
Peter Krempa [Thu, 4 Feb 2016 11:17:50 +0000]
conf: Extract code that checks disk serial/wwn conflict

Put it into a separate function that can be called on two disk def
pointers.

36 hours agoqemu: hotplug: Extract common code to qemuDomainAttachDeviceDiskLive
Peter Krempa [Wed, 3 Feb 2016 09:09:24 +0000]
qemu: hotplug: Extract common code to qemuDomainAttachDeviceDiskLive

Target uniqueness check was duplicated in all of the three workers
called from it. Extract it to the parent.

36 hours agoqemu: hotplug: Use more common 'cleanup' label in qemuDomainAttachDeviceDiskLive
Peter Krempa [Tue, 2 Feb 2016 13:59:24 +0000]
qemu: hotplug: Use more common 'cleanup' label in qemuDomainAttachDeviceDiskLive

36 hours agoqemu: hotplug: Break up if/else statement into switch
Peter Krempa [Tue, 2 Feb 2016 09:09:33 +0000]
qemu: hotplug: Break up if/else statement into switch

36 hours agoqemu: hotplug: Remove unnecessary variable
Peter Krempa [Tue, 2 Feb 2016 08:59:55 +0000]
qemu: hotplug: Remove unnecessary variable

36 hours agoqemu: hotplug: Use typecasted switch
Peter Krempa [Tue, 2 Feb 2016 08:43:36 +0000]
qemu: hotplug: Use typecasted switch

Remove the default case since all cases are covered.

36 hours agoqemu: snapshot: Avoid infinite loop if vCPUs can't be resumed
Peter Krempa [Fri, 5 Feb 2016 15:57:58 +0000]
qemu: snapshot: Avoid infinite loop if vCPUs can't be resumed

In b3d2a42e I've refactored the code and moved the 'cleanup' label.
Unfortunately the code that was originally in the 'endjob' label and
wanted to jump to cleanup is now in the cleanup label. Remove the jump
and let the function finish.

36 hours agoqemu: snapshot: Don't overwrite existing errors when thawing filesystems
Peter Krempa [Fri, 5 Feb 2016 15:55:09 +0000]
qemu: snapshot: Don't overwrite existing errors when thawing filesystems

If we are attempting to thaw the filesystems on error, the code would
overwrite the error code that caused the snapshot to fail with the error
of thawing the filesystem. Since the thawing function allows control of
error reporting behavior we can use this feature.

2 days agonodedev: stub nodeDeviceSysfsGetPCIRelatedDevCaps
Roman Bogorodskiy [Sat, 6 Feb 2016 23:05:53 +0000]
nodedev: stub nodeDeviceSysfsGetPCIRelatedDevCaps

Add a stub for nodeDeviceSysfsGetPCIRelatedDevCaps() for non-Linux
platforms. It allows nodedev driver to work on non-Linux platoforms
that, however, have HAL.

3 days agoutil: Fix virCgroupNewMachine ATTRIBUTE_NONNULL args
John Ferlan [Sat, 6 Feb 2016 11:45:46 +0000]
util: Fix virCgroupNewMachine ATTRIBUTE_NONNULL args

Commit id 'c3bd0019c0' removed arg3, but forgot to adjust the numbers
for NONNULL - caused build failure for coverity

3 days agobhyve: fix preprocessor indentation
Roman Bogorodskiy [Sat, 6 Feb 2016 02:26:51 +0000]
bhyve: fix preprocessor indentation

Syntax-check fails with:

cppi: src/bhyve/bhyve_driver.h: line 26: not properly indented
cppi: src/bhyve/bhyve_driver.h: line 27: not properly indented
maint.mk: incorrect preprocessor indentation

Fix by properly indenting '#include's.

Pushed as trivial.

3 days agobhyve: Fix the build
Michal Privoznik [Fri, 5 Feb 2016 21:36:42 +0000]
bhyve: Fix the build

After 1036ddadb276e we use bhyveDriverGetCapabilities from other
sources too, not only from bhyve_driver.c. However, the function
was static so not properly expose to other files. In order to
expose it, we need to move couple of #include-s too.
Then, there has been a copy paste error in
virBhyveProcessReconnect: s/privconn/data->driver/.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

4 days agotests: qemuargv2xml: separate from qemuxml2argv data
Cole Robinson [Wed, 13 Jan 2016 16:02:03 +0000]
tests: qemuargv2xml: separate from qemuxml2argv data

Most of the qemuargv2xml tests are parsing old style qemu command
lines (with -disk, -serial, etc), and it gets its input from
qemuxml2argv output.

But since we've raise the minimum supported qemu version to 0.12.0,
which supports -device, once that changes propagates through libvirt
the vast majority of qemuxml2argv output is _not_ going to be using
old style qemu options.

In preparation for this, switch qemuargv2xml to use its own copies
of input and output, so it's not tied to qemuxml2argv results.

This is just a straight copy of the current tests.

4 days agotests: Run test-wrap-argv with REGENERATE_OUTPUT
Cole Robinson [Wed, 13 Jan 2016 01:26:00 +0000]
tests: Run test-wrap-argv with REGENERATE_OUTPUT

To get properly wrapped output

4 days agorbd: Use %zu for uint64_t instead of casting to unsigned long long
Wido den Hollander [Sat, 30 Jan 2016 15:15:34 +0000]
rbd: Use %zu for uint64_t instead of casting to unsigned long long

This was only used in debugging messages and not in any real code.

Ceph/RBD uses uint64_t for sizes internally and they can be printed
with %zu without any need for casting.

Signed-off-by: Wido den Hollander <wido@widodh.nl>

4 days agorbd: Code styling cleanup
Wido den Hollander [Sat, 30 Jan 2016 15:15:33 +0000]
rbd: Code styling cleanup

Through the years the RBD storage pool code hasn't maintained the
same or correct coding standard which applies to libvirt.

This patch doesn't change any logic in the code, it only applies
the proper coding standards to the code where possible without
making large changes.

This way the code style used in this storage pool is consistent
throughout the whole file.

Signed-off-by: Wido den Hollander <wido@widodh.nl>

4 days agovirSystemdGetMachineNameByPID: Initialize @reply
Michal Privoznik [Fri, 5 Feb 2016 16:17:45 +0000]
virSystemdGetMachineNameByPID: Initialize @reply

I've noticed that variable @reply is not initialized and if
something at the beginning of the function fails, e.g.
virDBusGetSystemBus(), the control jump straight to cleanup label
where dbus_message_unref() is then called over this uninitialized
variable.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

4 days agovirnetdevbandwidth: Compute quantum value
Michal Privoznik [Tue, 2 Feb 2016 11:48:44 +0000]
virnetdevbandwidth: Compute quantum value

I've noticed couple of warning in dmesg while debugging
something:

[ 9683.973754] HTB: quantum of class 10001 is big. Consider r2q change.
[ 9683.976460] HTB: quantum of class 10002 is big. Consider r2q change.

I've read the HTB documentation and linux kernel code to find out
what's wrong. Basically we need to pass another argument
"quantum" to our tc cmd line because the default computed by HTB
does not always work in which case the warning message is printed
out.

You can read more details here:

http://luxik.cdi.cz/~devik/qos/htb/manual/userg.htm#sharing

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

4 days agoconf: Extract code for parsing thread resource scheduler info
Peter Krempa [Tue, 12 Jan 2016 12:11:56 +0000]
conf: Extract code for parsing thread resource scheduler info

As the scheduler info elements are represented orthogonally to how it
makes sense to actually store the information, the extracted code will
be later used when converting between XML and internal definitions.

4 days agoconf: Add helper to return a bitmap of active iothread ids
Peter Krempa [Wed, 13 Jan 2016 12:06:56 +0000]
conf: Add helper to return a bitmap of active iothread ids

4 days agoutil: bitmap: Introduce bitmap subtraction
Peter Krempa [Thu, 7 Jan 2016 14:45:39 +0000]
util: bitmap: Introduce bitmap subtraction

Performs binary subtraction of two bitmaps. Stores result in the first
operand.

4 days agosystemd: Modernize machine naming
Martin Kletzander [Mon, 1 Feb 2016 15:50:54 +0000]
systemd: Modernize machine naming

So, systemd-machined has this philosophy that machine names are like
hostnames and hence should follow the same rules.  But we always allowed
international characters in domain names.  Thus we need to modify the
machine name we are passing to systemd.

In order to change some machine names that we will be passing to systemd,
we also need to call TerminateMachine at the end of a lifetime of a
domain.  Even for domains that were started with older libvirt.  That
can be achieved thanks to virSystemdGetMachineNameByPID().  And because
we can change machine names, we can get rid of the inconsistent and
pointless escaping of domain names when creating machine names.

So this patch modifies the naming in the following way.  It creates the
name as <drivername>-<id>-<name> where invalid hostname characters are
stripped out of the name and if the resulting name is longer, it
truncates it to 64 characters.  That way we can start domains we
couldn't start before.  Well, at least on systemd.

To make it work all together, the machineName (which is needed only with
systemd) is saved in domain's private data.  That way the generation is
moved to the driver and we don't need to pass various unnecessary
arguments to cgroup functions.

The only thing this complicates a bit is the scope generation when
validating a cgroup where we must check both old and new naming, so a
slight modification was needed there.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1282846

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

4 days agoconf: add caps to virDomainSnapshotDefFormat
Joao Martins [Thu, 4 Feb 2016 22:55:05 +0000]
conf: add caps to virDomainSnapshotDefFormat

The virDomainSnapshotDefFormat calls into virDomainDefFormat,
so should be providing a non-NULL virCapsPtr instance. On the
qemu driver we change qemuDomainSnapshotWriteMetadata to also
include caps since it calls virDomainSnapshotDefFormat.

Signed-off-by: Joao Martins <joao.m.martins@oracle.com>

4 days agoconf: add caps to virDomainObjFormat/SaveStatus
Daniel P. Berrange [Thu, 4 Feb 2016 12:32:45 +0000]
conf: add caps to virDomainObjFormat/SaveStatus

The virDomainObjFormat and virDomainSaveStatus methods
both call into virDomainDefFormat, so should be providing
a non-NULL virCapsPtr instance.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

4 days agobhyve: fix build
Roman Bogorodskiy [Fri, 5 Feb 2016 02:34:31 +0000]
bhyve: fix build

Fix build fail introduced as a side effect of commit d239a54.

Pushed under the build breaker rule.

5 days agoqemu migration: factor out setting migration option
Nikolay Shirokovskiy [Thu, 28 Jan 2016 07:04:27 +0000]
qemu migration: factor out setting migration option

Signed-off-by: Nikolay Shirokovskiy <nshirokovskiy@virtuozzo.com>

5 days agoFix build after recent patches
Peter Krempa [Thu, 4 Feb 2016 15:33:06 +0000]
Fix build after recent patches

Few build breaking mistakes in less-popular parts of our code.

5 days agological: Clarify pieces of lvs regex
John Ferlan [Tue, 2 Feb 2016 13:27:55 +0000]
logical: Clarify pieces of lvs regex

Rather than have a unwieldy regex string - split it up into its components
each having it's own #define and then combine in a different #define

Signed-off-by: John Ferlan <jferlan@redhat.com>

5 days agolibxl: set net device prefix
Joao Martins [Wed, 3 Feb 2016 21:40:37 +0000]
libxl: set net device prefix

Use the newly added virCapabilitiesSetNetPrefix to set
the network prefix for the driver. This in return will
be use by NetDefFormat() and NetDefParseXML() routines
to free any interface name that start with the registered
prefix.

Acked-by: Daniel P. Berrange <berrange@redhat.com>
Signed-off-by: Joao Martins <joao.m.martins@oracle.com>

5 days agoconf: add caps to virDomainSaveConfig
Joao Martins [Wed, 3 Feb 2016 21:40:36 +0000]
conf: add caps to virDomainSaveConfig

virDomainSaveConfig calls virDomainDefFormat which was setting the caps
to NULL, thus keeping the old behaviour (i.e. not looking at
netprefix). This patch adds the virCapsPtr to the function and allows
the configuration to be saved and skipping interface names that were
registered with virCapabilitiesSetNetPrefix().

Signed-off-by: Joao Martins <joao.m.martins@oracle.com>

5 days agoconf: add caps to virDomainDefFormat*
Joao Martins [Wed, 3 Feb 2016 21:40:35 +0000]
conf: add caps to virDomainDefFormat*

And use the newly added caps->host.netprefix (if it exists) for
interface names that match the autogenerated target names.

Signed-off-by: Joao Martins <joao.m.martins@oracle.com>

5 days agoconf: add prefix in virDomainNetDefParseXML
Joao Martins [Wed, 3 Feb 2016 21:40:34 +0000]
conf: add prefix in virDomainNetDefParseXML

And use the newly added caps->host.netprefix for free interface
names that match the autogenerated target names.

Signed-off-by: Joao Martins <joao.m.martins@oracle.com>

5 days agoconf: add net device prefix to capabilities
Joao Martins [Wed, 3 Feb 2016 21:40:33 +0000]
conf: add net device prefix to capabilities

In the reverted commit d2e5538b1, the libxl driver was changed to copy
interface names autogenerated by libxl to the corresponding network def
in the domain's virDomainDef object. The copied name is freed when the
domain transitions to the shutoff state. But when migrating a domain,
the autogenerated name is included in the XML sent to the destination
host.  It is possible an interface with the same name already exists on
the destination host, causing migration to fail.

This patch defines a new capability for setting the network device
prefix that will be used in the driver. Valid prefixes are
VIR_NET_GENERATED_PREFIX or the one announced by the driver.

Signed-off-by: Joao Martins <joao.m.martins@oracle.com>

5 days agovirsh: display if ZFS storage backend is enabled
Roman Bogorodskiy [Sun, 3 Jan 2016 02:25:35 +0000]
virsh: display if ZFS storage backend is enabled

Make 'virsh -V' list ZFS storage backend if it's enabled.

5 days agoconfigure: zfs: enable on Linux
Roman Bogorodskiy [Thu, 4 Feb 2016 00:13:10 +0000]
configure: zfs: enable on Linux

ZFS-on-Linux implementation of ZFS starting with version 0.6.4
contains all the features we use. Additionally, as we support
'volmode' option handling that's not available on ZoL but is
available on FreeBSD, there is no need to block ZFS storage driver
on Linux anymore.

So un-mark zfs storage driver as FreeBSD-only.

5 days agostorage: zfs: flexible use of 'volmode' option
Roman Bogorodskiy [Thu, 4 Feb 2016 00:03:12 +0000]
storage: zfs: flexible use of 'volmode' option

There are slight differences in various ZFS implementations.
Specifically, ZFS on FreeBSD requires to set value of 'volmode'
option to 'dev' to expose volumes as raw disk device (that's what
we need) rather than geom provides, for example.

With ZFS on Linux, however, such option is not available and
volumes exposed like we need by default.

To make our implementation more flexible, only pass 'volmode'
when it's supported. Support is checked by parsing usage
information of the 'zfs get' command.

6 days agoutil: Export remoteSerializeTypedParameters internally via util
Erik Skultety [Tue, 2 Feb 2016 13:13:15 +0000]
util: Export remoteSerializeTypedParameters internally via util

Same as for deserializer, this method might get handy for admin one day.
The major reason for this patch is to stay consistent with idea, i.e.
when deserializer can be shared, why not serializer as well. The only
problem to be solved was that the daemon side serializer uses a code
snippet which handles sparse arrays returned by some APIs as well as
removes any string parameters that can't be returned to older clients.
This patch makes of the new virTypedParameterRemote datatype introduced
by one of the pvious patches.

6 days agoutil: Export remoteFreeTypedParameters internally via util
Erik Skultety [Tue, 2 Feb 2016 12:19:35 +0000]
util: Export remoteFreeTypedParameters internally via util

Since the method is static to remote_driver, it can't even be used by our
daemon. Other than that, it would be useful to be able to use it with admin as
well. This patch uses the new virTypedParameterRemote datatype introduced in
one of previous patches.

6 days agoutil: Export remoteDeserializeTypedParameters internally via util
Erik Skultety [Thu, 28 Jan 2016 16:27:42 +0000]
util: Export remoteDeserializeTypedParameters internally via util

Currently, the deserializer is hardcoded into remote_driver which makes
it impossible for admin to use it. One way to achieve a shared implementation
(besides moving the code to another module) would be pass @ret_params_val as a
void pointer as opposed to the remote_typed_param pointer and add a new extra
argument specifying which of those two protocols is being used and typecast
the pointer at the function entry. An example from remote_protocol:

struct remote_typed_param_value {
        int type;
        union {
                int i;
                u_int ui;
                int64_t l;
                uint64_t ul;
                double d;
                int b;
                remote_nonnull_string s;
        } remote_typed_param_value_u;
};
typedef struct remote_typed_param_value remote_typed_param_value;

struct remote_typed_param {
        remote_nonnull_string field;
        remote_typed_param_value value;
};

That would leave us with a bunch of if-then-elses that needed to be used across
the method. This patch takes the other approach using the new datatype
introduced in one of earlier commits.

6 days agoutil: Introduce virTypedParameterRemote datatype
Erik Skultety [Tue, 2 Feb 2016 14:33:30 +0000]
util: Introduce virTypedParameterRemote datatype

Both admin and remote protocols define their own types
(remote_typed_param vs admin_typed_param). Because of the naming convention,
admin typed params wouldn't be able to reuse the serialization/deserialization
methods, which are tailored for use by remote protocol, even if those method
were exported properly. In that case, introduce a new internal data type
structurally copying both admin and remote protocols which, eventually, would
allow serializer and deserializer to be used in a more generic way.

6 days agoqemu: qemuDomainRename and virDomainObjListNumOfDomains ABBA deadlock fix
Nikolay Shirokovskiy [Mon, 1 Feb 2016 09:33:45 +0000]
qemu: qemuDomainRename and virDomainObjListNumOfDomains ABBA deadlock fix

A pretty nasty deadlock occurs while trying to rename a VM in parallel
with virDomainObjListNumOfDomains.
The short description of the problem is as follows:

Thread #1:

qemuDomainRename:
    ------> aquires domain lock by qemuDomObjFromDomain
       ---------> waits for domain list lock in any of the listed functions:
          - virDomainObjListFindByName
          - virDomainObjListRenameAddNew
          - virDomainObjListRenameRemove

Thread #2:

virDomainObjListNumOfDomains:
    ------> aquires domain list lock
       ---------> waits for domain lock in virDomainObjListCount

Introduce generic virDomainObjListRename function for renaming domains.
It aquires list lock in right order to avoid deadlock. Callback is used
to make driver specific domain updates.

Signed-off-by: Nikolay Shirokovskiy <nshirokovskiy@virtuozzo.com>
Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

6 days agosystemd: Add virSystemdGetMachineNameByPID
Martin Kletzander [Tue, 2 Feb 2016 18:45:55 +0000]
systemd: Add virSystemdGetMachineNameByPID

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

6 days agoRevert "systemd: Escape only needed characters for machined"
Martin Kletzander [Mon, 1 Feb 2016 15:28:29 +0000]
Revert "systemd: Escape only needed characters for machined"

This reverts commit 0e0149ce91d84f40b98acf4c4bb0da6e29b9c15c.

That commit was added to comply with systemd rules that were changed in
the meantime, so this patch is pointless.

6 days agoSimplify virDomainParseMemory
Ján Tomko [Fri, 29 Jan 2016 17:00:13 +0000]
Simplify virDomainParseMemory

Do not store the return value of virDomainParseScaledValue,
it was overwritten anyway.

Delete the cleanup label, there is nothing to clean up.

6 days agoconf: Split out logic to determine whether cpupin was provided
Peter Krempa [Mon, 4 Jan 2016 18:39:02 +0000]
conf: Split out logic to determine whether cpupin was provided

6 days agoqemu: domain: Prepare qemuDomainDetectVcpuPids for reuse
Peter Krempa [Thu, 17 Dec 2015 15:04:23 +0000]
qemu: domain: Prepare qemuDomainDetectVcpuPids for reuse

Free the old vcpupids array in case when this function is called again
during the run of the VM. It will be later reused in the vCPU hotplug
code. The function now returns the number of detected VCPUs.

6 days agoqemu: Move and rename qemuProcessDetectVcpuPIDs to qemuDomainDetectVcpuPids
Peter Krempa [Tue, 15 Dec 2015 13:45:33 +0000]
qemu: Move and rename qemuProcessDetectVcpuPIDs to qemuDomainDetectVcpuPids

Future patches will tweak and reuse the function in different places so
move it separately first.

6 days agoqemu: cpu hotplug: Set vcpu state directly in the new structure
Peter Krempa [Thu, 17 Dec 2015 12:19:54 +0000]
qemu: cpu hotplug: Set vcpu state directly in the new structure

Avoid using virDomainDefSetVcpus when we can set it directly in the
structure.

6 days agoconf: Add helper to retrieve bitmap of active vcpus for a definition
Peter Krempa [Mon, 7 Dec 2015 05:36:37 +0000]
conf: Add helper to retrieve bitmap of active vcpus for a definition

In some cases it may be better to have a bitmap representing state of
individual vcpus rather than iterating the definition. The new helper
creates a bitmap representing the state from the domain definition.

6 days agocgroup: Clean up virCgroupGetPercpuStats
Peter Krempa [Mon, 7 Dec 2015 06:39:34 +0000]
cgroup: Clean up virCgroupGetPercpuStats

Use 'ret' for return variable name, clarify use of 'param_idx' and avoid
unnecessary 'success' label. No functional changes. Also document the
function.

6 days agoqemu: Don't crash when create fails early
Martin Kletzander [Tue, 2 Feb 2016 21:08:59 +0000]
qemu: Don't crash when create fails early

Since commit 714080791778e3dfbd484ccb3953bffd820b8ba9 we are generating
socket path later than before -- when starting a domain.  That makes one
particular inconsistent state of a chardev, which was not possible
before, currently valid.  However, SELinux security driver forgot to
guard the main restoring function by a check for NULL-paths.  So make it
no-op for NULL paths, as in the DAC driver.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1300532

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

6 days agocfg.mk: Adjust sc_prohibit_int_ijk to support 'exempt from syntax-check'
Erik Skultety [Thu, 28 Jan 2016 15:46:32 +0000]
cfg.mk: Adjust sc_prohibit_int_ijk to support 'exempt from syntax-check'

There might be cases, like with typed params, where triggering this check isn't
desirable. But including the whole module in the exception regex is not always
to right way of doing things. By adding an option to manually disable this check
on a specific occurrence, the module itself will still be checked against the
rule.

6 days agoqemuDomainResume: allow to resume domain with guest panicked
Dmitry Andreev [Sat, 23 Jan 2016 16:08:45 +0000]
qemuDomainResume: allow to resume domain with guest panicked

In case of guest panicked, preserved crashed domain has stopped CPUs.
It's not possible to use tools like WinDbg for the problem investigation
until we start CPUs back.

6 days agoqemu: return -1 on error paths in qemuDomainSaveImageStartVM
Nikolay Shirokovskiy [Mon, 1 Feb 2016 13:28:40 +0000]
qemu: return -1 on error paths in qemuDomainSaveImageStartVM

Error paths after sending the event that domain is started written as if ret = -1
which is set at the beginning of the function. It's common idioma to keep 'ret'
equal to -1 until the end of function where it is set to 0. But here we use ret
to keep result of restore operation too and thus breaks the idioma and its users :)

Let's use different variable to hold restore result.

Signed-off-by: Nikolay Shirokovskiy <nshirokovskiy@virtuozzo.com>

7 days agological: Clean up allocation when building regex on the fly
John Ferlan [Mon, 1 Feb 2016 15:26:02 +0000]
logical: Clean up allocation when building regex on the fly

Rather than a loop reallocating space to build the regex, just allocate
it once up front, then if there's more than 1 nextent, append a comma and
another regex_unit string.

Signed-off-by: John Ferlan <jferlan@redhat.com>

7 days agological: Use 'stripes' value for mirror/raid segtype
John Ferlan [Mon, 1 Feb 2016 14:59:44 +0000]
logical: Use 'stripes' value for mirror/raid segtype

The 'stripes' value is described as the "Number of stripes or mirrors in
a logical volume". So add "mirror" and anything that starts with "raid"
to the list of segtypes that can have an 'nextents' value greater than one.
Use of raid segtypes (raid1, raid4, raid5*, raid6*, and raid10) is favored
over mirror in more recent lvm code.

Signed-off-by: John Ferlan <jferlan@redhat.com>

7 days agological: Use VIR_APPEND_ELEMENT instead of VIR_REALLOC_N
John Ferlan [Mon, 1 Feb 2016 14:39:00 +0000]
logical: Use VIR_APPEND_ELEMENT instead of VIR_REALLOC_N

Rather than preallocating a set number of elements, then walking through
the extents and adjusting the specific element in place, use the APPEND
macros to handle that chore.

Signed-off-by: John Ferlan <jferlan@redhat.com>