Froscon 2012

## MySQL Performance (köhntopp, booking.com) * werbung für booking.com und so.. * zunächst geschwindigkeitsgrößenordnungen * cpu probleme in der db? full table scan? viel sortieren? * io wait? zu wenig ram? * innodb pagesize: 16k. minimum read * darunterliegendes fs: hohe varianz bei fsync in ext3. auch ext4? xfs pro fsync langsamer, aber konstant * altes debian erstellt ext fs mit directories als lineare liste. * default io sched schlecht für reine datenbankserver. am besten noop * mysql 5.6 mit größerem redo log für ssds * materialized views manuell repliziert * mariadb client lib kann async auf mehrere server schreiben mit quorum

Pig

eher dürftig.
phasen: map-shuffle-reduce
pig libraries: linkedin datafu
datenbank->scoop->hadoop. ansonsten eher input aus flat files. csv, etc..
wenig spezifisches über pig

Wikidata

wikimedia structured data
increase sharing of information by enabling easy “micro-contributions” through form based entry
problem: knowledge hidden in text. no automatic processing
problem: people think wikipedia is done

MariaDB (monty widenius)

dynamic columns
integration with sphinx full text search
increased commit perf with many concurrent connections
handler read?
supports subquery optimization by converting it to join. mysql doesn’t
limit rows examined
according to monty, it might be a good idea to switch to mariadb instead of continuing with mysql 5.6 because it seems that the new mysql devs (replacing people who left after oracle takeover) often have a bad understanding of the code base. mariadb is maintained by the original mysql devs. mariadb is binary compatible. stop, start, done
mysql disappearing test cases
mariadb vs mysql

upcoming

mariadb 5.6: multi-master -> one slave
mariadb 10.0: online alter table, ipv6
experimental storage engine with cassandra backend in development
mariadb 5.6
stored procedures in alternative languages.

MySQL 5.6 (johannes schlüter, oracle mysql engineering)

what’s new in 5.6
subquery optimization
index condition push down
explain nicht nur mit select.
optimizer traces. detailliertes explain sozusagen.
performance schema improvements. stats pro user/host…
memcache protokoll nosql interface ref manual entry on memcache interface
innodb full text search
mysqlfailover, mysqldbcompare
online secondary index create/drop

Fun with strace

Zusammenfassung

check_mk

warum icinga? aktiver nagios fork, open source nagios zugunsten der kommerziellen variante eingeschlafen?
nachteile icinga: konfiguration wird schnell unübersichtlich

Data Warehousing mit mysql

oltp->etl->dwh
häufiges problem: reporting behindert mit echtzeit anfragen -> dwh trennen.
reports invalidieren caches (kalte daten).
datenimport mit innodb leicht schneller als mit myisam (natürlich autocommit off, primary key reihenfolge)
datenimport: single row insert t = 100%; multi row insert (bulk) t = 34%; load data infile t=27%
dwh: tabellenkompression einschalten

Gamification

warum spielen? fantasie ausleben. autonomy, mastery,
buch jane mcgonigal: reality is broken
beispiel: pinkelfliege, mcd selbstbauburger (=> marktforschung, virale werbung, …), meilen sammeln etc.
spielertypen: richard bartle “players who suit muds”: achievers, explorers, socializers, killers
punkte vergleichbar machen, public badges/achievements, quests, social foo
business ziele aligned mit benutzer badgesystem

Software Craftsmanship

Craft vs. Engineering. Craft: Gefühl, Erfahrung; Engineering: Vorausberechnung.
Paper: What is software design (Jack W. Reeves)
Buch: Software Craftsmanship - The New Imperative (Pete McBreen)
Konferenz in Deutschland: SoCraTes
Softwerkskammer
code retreat. problem bearbeiten (45min), vorstellen, wegwerfen, iterieren. http://danieltemme.blogspot.de/2011/02/code-retreat-was-ist-das.html

-- Matthias Schütz 26 Aug 2012