Tobias Joch, 11. Mai 2007

Performanter, hochskalierbarerWeb 2.0-Dienst in Ruby

Realisierbar oder nur ein nettes Märchen?

Referent:

Tobias Joch, ComBOTS

Titel des Vortrags:Performanter, hochskalierbarer Web2.0-Dienst in Ruby –Realisierbar oder nur ein nettes Märchen

Stichworte:Ruby on Rails,RoR,Ruby,Web2.0, ComBOTS

Vorstellung des Referenten:Tobias Joch ist der Informatik wegen 1998 aus dem schönen Odenwald nach Karlsruhe gezogen.Während seinem Studium an der Hochschule Karlsruhe arbeitete er beim Steinbeis Transferzentrumund T-Systems International GmbH bevor er im Sommer 2004 zur WEB.DE AG wechselte. Zurzeitverantwortet Tobias Joch bei ComBOTS die Softwareentwicklung der Geschäftssysteme.

URLs:http://www.ruby-lang.orghttp://www.rubyonrails.orghttp://www.flickr.comhttp://www.myspace.comhttp://www.youtube.comhttps://shop.combots.comhttp://de.wikipedia.org/wiki/Web_2

Zielgruppen:1. Entwickler2. Systemarchitekten3. Projektmanager

AbstractEin neues Zeitalter ist angebrochen: Web2.0. Investoren geben viel Geld aus fürWeb2.0- Dienste. Ein rasanter Wettlauf um User-Generated Content hat begonnen undes ist kein Ende in Sicht. MySpace, Flickr, YouTube, Wikipedia, unzählige Blogs oderetwa Podcasting ist heute von jung bis alt vielen ein Begriff und wird oft auch im Alttaggenutzt.

Zeit spielt eine große Rolle bei der Planung und Konzeption eines neuen Web2.0-Dienstes. Deshalb findet man neben den üblichen nicht funktionalen Anforderungen wieHochskalierbarkeit und Ausfallsicherheit auch Forderungen hinsichtlich immer kürzererImplementierungszeiten. Neue Frameworks entstehen wie Sand am Meer und jedesverspricht dem Interessenten beim Faktor Time to Market das Beste zu sein. Eines derpopulärsten Frameworks dieser Art ist sicherlich Ruby on Rails.

Im Verlauf des Vortrages werden einige Erfahrungsberichte beim Einsatz von Ruby onRails bei ComBOTS hinsichtlich Performance, Skalierbarkeit und Ausfallsicherheitpräsentiert. Am Ende bleibt nur noch die Frage: „Performanter, HochskalierbarerWeb2.0-Dienst in Ruby – Realisierbar oder nur ein nettes Märchen“

Agenda• Was ist Web 2.0• Was ist Ruby• Web-Server / Infrastruktur• Performance Probleme von …

• Ruby als Sprache• Ruby on Rails als Web-Framework

• Skalierung• Sessionhandling• Loadbalancing• Caching

• Fazit• Ausblick

"Design Patterns and Business Modelsfor the Next Generation of Software" 1)

Was ist Web 2.0Kurze Definition

[Tim O'Reilly]

• Zerplatzen der .com-Blase (Herbst 2001)

• Brainstorming (O'Reilly und MediaLive International, 2003)

• Dale Dougherty (O'Reilly Media VP)

• Konzept:• „Web 2.0“ als Wendepunkte im Web

• Geburt der 1. "Web 2.0 Konferenz"

Was ist Web 2.0

Was ist Web 2.0• Keine neue Version von Web-Standards

• URI, HTTP, HTML, …• Ansammlung von Prinzipien und Praktiken

• Das Web als Plattform• Die Nutzung kollektiver Intelligenz

• Wikipedia,

• Folksonomy (kollaborativer Kategorisierung)

• Verbesserte Nutzungsmöglichkeiten• Podcasts,• RSS-Feeds,• Social Software (IM, Blogs, Wikis, Bookmarking, Network

Services, …)• User generated content

• Web APIs, Web Services, Mashups

Web 2.0-ness

Web

Quelle: http://www.go2web20.net

Enorme Geschwindigkeit / Andauernder Beta-Phase

Wo stehen wir?

Tobias Joch, 11. Mai 2007

Performanter, hochskalierbarerWeb 2.0-Dienst in Ruby

Realisierbar oder nur ein nettes Märchen?

Was ist Ruby?

Quelle: http://www.ruby-lang.org/en/

• Japan 1995• 100% OO• Perl, Smalltalk, Eiffel, Ada, and Lisp• Exceptions, GC, Threads,

CrossPlattform...• dynamisch typisiert• Introspection• Module• OSS, GPL oder eigene

• Simple Syntax

• Offene Klassen

• Closures / Blocks

• Closures / Blocks

• Ruby Gem• Ruby Doc• Interactive Ruby (IRB)• Test::Unit

Wo stehen wir nun?

Tobias Joch, 11. Mai 2007

Performanter, hochskalierbarerWeb 2.0-Dienst in Ruby

Realisierbar oder nur ein nettes Märchen?

Was ist Ruby on Rails?• David Heinemeier Hansson

• 12 Core Entwickler• >100 aktiv Mitwirkende aus der Community

• Fullstack OSS Web-Framework• Aus bestehender Anwendung extrahiert

(37signals)

• Implementiert in Ruby

Philosophie• „…optimized for programmer happiness“• Convention over Configuration!

• Keine Komplexe Konfiguration• Kein XML für OR-Mapping• Anpassbar bei Bedarf

• Don´t repeat yourself! (DRY)• Testing on all Layers!

Features• Scaffolding• Rapid Prototyping• Model-View-Controller Architektur• OR-Mapper• DB-Schema Management• Configuration Management• Ajax Integration• Plugins

MVC-Architektur

Webserver-Unterstützung• Betrieb von Rails-Applikationen via

• WEBrick• mongrel• Apache

• CGI, FCGI, SCGI,• mod_ruby• mod_proxy (Apache 2.2)

• lighttpd• CGI, FCGI

• …

Performance Probleme• Ruby als Sprache

• Interpretierte Skriptsprache• ~ 15x langsamer als Java?!• kein Byte-Code, kein JIT, AST wird direkt interpretiert• keine Optimierungen zur Übersetzungszeit

• RoR als Framework• Routing• ineffiziente Rails Helper-Methoden• Assoziationen• Ineffizienter DB-Zugriff• Langsamer Session Container

Probleme und Lösungen

• step by step …

Ineffizienter DB-Zugriff• ActiveRecord wurde entwickelt für MySQL• Oracle Adapter suboptimal

• keine prepared Statements• Spezielles tuning / workaround für Oracle

• prefetch_rows• cursor_sharing

• Model.find_by_sql• ggf. auch ActiveRecord umgehen

• direkt per OCI8.new(…)

ActiveRecord• Verwendung von findern

• nur das laden, was auch wirklich benötigt wird!• :select, :limit, :offset

• Association Proxies nicht sehr effizient• Benötigte Assoziationen gleich mit laden!• :include (eager join)

• dynamische finder• mächtig aber auch langsamer

• MyModel.find_by_sql für• Transaktions Block verwenden

ActiveRecord• Klassisches Database Engineering nicht

vergessen! ;)• Indexe• Query-Analyse• Views• …

ActionView• Werden jedes mal neu interpretiert

• Vergleich zu JSPs• Caching, caching, caching

• ViewHelper (=Taglibs)• HTML verwenden anstelle von <% form_end %>• Plugin verwenden für pre-rendering

• AssetPacker• Merged und komprimiert JS und CSS

ActionController• Filter sind mächtig, aber auch langsam• Instanzvariablen

• Pro Request eigene View- und Controller-Instanz• Instanzvariabeln werden in die View kopiert

• Eigener Request-Zyklus für Komponenten• Besser Partials

Logging

Was kommt jetzt?

Tobias Joch, 11. Mai 2007

Performanter, hochskalierbarerWeb 2.0-Dienst in Ruby

Realisierbar oder nur ein nettes Märchen?

Skalierungsmöglichkeiten• Sessionhandling• Loadbalancing• Caching• AJAX / Comet

Sessionhandling• Memory• File-System• Datenbank

• ActiveRecordStore• SQLSessionStore

• Memcached• DrbStore

Loadbalancing• Lokal per

• mod_proxy, mongrel_cluster, fcgi, …

• Mehrstufig• Abhängig vom Sessionhandling• Round-robin• Fastest• Stickiness

Loadbalancing

Web-Server

FastCGI

+ Ruby

1

2

3a 3b

FastCGI

+ Ruby

FastCGI

+ Ruby

DB memcached

mod_fcgi

Loadbalancing (stickiness)

Loadbalancing (round-robin)

Web-Server

FastCGI

+ Ruby

FastCGI

+ Ruby

FastCGI

+ Ruby

mod_fcgiWeb-Server

FastCGI

+ Ruby

FastCGI

+ Ruby

FastCGI

+ Ruby

DB memcached

mod_fcgi

Loadbalancer

Loadbalancing (round-robin)

Caching• Page

• Schnell, nur für komplett unpersonalisierte Seiten• Action

• Zweitschnellste Option• Komplette Rendering-Phase fällt weg• Prozess intensive Berechnungenintensive computations

• Fragement• Wenn oben Page und Action nicht funktioniert• Extended Fragment Cache Plugin

• Content Interpolation

• Model• acts_as_cached (Plugin)• CachedModel (Plugin)

• find(), update()

Caching-Optimierungen• Module für Apache

• mod_expires• LastModified

• mod_cache

• memcached

Fazit„Performanter, hochskalierbarer Web 2.0-Dienst in Ruby“

• Realisierbar oder nur ein nettes Märchen?• Und es geht doch?!• Sicherlich nicht für alle Einsatzgebiete• „Rails is great but still needs a lot of optimization“• Entwicklungsgeschwindigkeit vs. Hardware- und

Betriebskosten• Entwickler… (jobs@combots.com)

Tobias Joch, 11. Mai 2007

Fragen ?!

Ausblick• Grails• JRuby