MATRIX_WRAP_*, MATRIX_SB2_* and MATRIX_FAKEROOT variables

the following variables may be set in component plug-files or in the
environment:

    * MATRIX_WRAP_AUTOGEN,
    * MATRIX_WRAP_CONFIGURE,
    * MATRIX_WRAP_BUILD and
    * MATRIX_WRAP_INSTALL replace CCTOOL_INSTALL and CCTOOL_BUILD.  Their
      values are prepended to commands used in the respective make target
      invocation.

    * MATRIX_SB2_TARGET enables Scratchbox 2 support.  an appropriate sb2
      invocation is appended to the MATRIX_WRAP_* variables.
    * MATRIX_SB2_DISABLE can be used to disable sb2 invocation for some or
      all make targets (see below).

    * MATRIX_FAKEROOT enables fakeroot for some or all make targets
      (see below).

MATRIX_SB2_DISABLE and MATRIX_FAKEROOT may contain a whitespace-separated
list of the following keywords:

    * autogen
    * configure
    * build
    * install
    * all       - same as specifying all of the above

config: Parse gives an error if file(s) not found

Parse(<pattern>, require=False) can be used to parse optional files.

config: rename parse as Parse

config: ProvideComponent replaces PlatformProvidedComponent

ProvideComponent(name) can be called for an existing component.

config: parse all files instead of just the last

now config files found in the last confdir doesn't shadow the ones in
previous confdirs, and the config files must work incrementally.

config: move top_dir as the last confdir

this allows users to override things locally.

use correct remote when comparing changes

cache: debug print when skipping cache update

TODO: list components in roots

TODO: add pull/rebase/reset related items and reorganize

TODO update

run autogen with CCTOOL

don't configure custom-style components twice

Board's gcc_options parameter can be a sequence

the attribute is always a list for later manipulated.

allow scripts in bin to be executed via symlinks

reverse the invocation order of CCTOOL_INSTALL and fakeroot

documentation

don't rely on ls-remote return status for checking repository existence

new versions of git-ls-remote have changed the behaviour (which was
undocumented to begin with).  now the existence of a remote repo is
detected if there is any normal output (= heads are listed).

install using fakeroot only when component requests it

rootfs.py: Added support for creating UBI images.

rootfs.py: Typofixes in comments and prints.

fix local repositories

also use ls-remote instead of the deprecated peek-remote, and show its
output when debug enabled.

install in fakeroot and save database

root URL must be accompanied with branch name

'URL' -> ('URL', 'branch')

also, Component() no longer takes tag/tags parameters but a branch
parameter which overrides root's branch.  the specified branch will be
checked out after cloning.

Don't bomb old values with Nones in setters for rootfs Builder

Fix config handling in rootfs creation

Fix setting scriptdir for non-installed running

Implement quiet flag to be passed to configure, a small speed gain

use isinstance()

update example scripts

(the primary config file is called "main" as of
commit f892fc215329868f3e3d1932078429f4b00efb8f.)

configurable config file lookup path

config.confdirs lists directories to look for parse()'d files (last will
be searched first).  --confdir command-line option can be used to append
directories (it obviously takes effect before parsing any config files).
the top-level directory is always last on the search path.

parse() now takes a glob-pattern.

finish board attribute changes

fix option parsing

flexible config scripts

changes:

    * only the "config" script is parsed by default (which must exist)

    * scripts can parse other scripts (such as "config.local", "boards"
      and "components") by calling parse()

    * command-line options override scripts' settings

    * as a special case, the debug command-line option takes effect before
      parsing scripts

use optparse

rootfs: better help message

new matrix-rootfs script replaces the "rootfs" action of matrix

the rootfs module now uses the optparse module.

support installation under arbitrary prefix

hacks to work around shortcomings of distutils:

    * intercept --prefix by filtering command-line options through optparse
      before passing them to distutils

    * guess module location from installation prefix and Python version

    * modify installed scripts in-place

optimize dirty files check

sort component list

new matrix-upload script for copying the source/meta repos to a server

update the matrixify script and move it to bin

show an arbitrary counter during build cache processing

exception-safe Component.is_dirty()

primary repository is now called "source" instead of "repo"

remote repository layout:
    host:/path/source/component.git
    host:/path/meta/component.git

make repository location error clearer

add "install-only" command for building specific component quickly

new "changes" command for listing unpushed commits

fix build error detection in verbose mode

this change makes the shell script bash-specific.

fix "make" build style

add "make" build style

initialize repository url on demand

rename makefiles for automatic syntax highlight etc.

generate list of valid build styles automatically

move config parsing out of the matrix module (and fix the graph module)

redirect output using a shell script instead of make

* removes ugly (and useless) make errors when a build fails.

* matrix.mak is now simpler because it contains logic for only one layer
  of make invocations.

save log in verbose mode

remove dirty components from cache

fix cleaning

dirty files after a clean is not really an error

move -j and -mj to global config

prefix logged errors instead of separating them with an empty line

print path to relevant log file on build failure

-k option builds as many components as possible

fix dirty files reporting

add more buildable components after built component has been installed

sort initially built components

sort using cmpfunc, not by key

(Python 2.3 doesn't support key.)

use Repository.__str__() in messages

transparent progress info output

accept directory in place of component name

less verbose config parsing

more sophisticated build loop

* excludes cached components from build beforehand for more accurate
  progress information.

* builds components with largest number of dependents first in hope of
  avoiding bottlenecks during parallel builds.

cache cache status

use Repository.dirty_files() in cache

reorganized component and repository code into separate modules

clone component before building

use git reset to check out specified commit

Component.get_tag() -> Repository.get_commit()

git rev_parse with --verify

don't cache tag in Component

git archive cleanup

implement component comparison

build module

log module

return an error code when build fails

cache module

move build logic and state into a class

deferred error message output

remove flock dependency by invoking make separately for installation

install targets are serialized by the build loop logic instead of blocking
on a lockfile.

rebase command

git branch functions are no longer needed

more consistent build and pull messages

fix source-dist for new repository layout

don't clean meta directory

clone only meta repositories by default

"download" command is replaced with "clone" which clones the source code
repositories.

fix cache updating

fix and clean up help message

move git repository existence check out of getvar

git checkout doesn't require explicit branch parameter