Biofysische Scheikunde: Statistische Mechanica -...

EntropieSamenvatting

Biofysische Scheikunde: StatistischeMechanica

Entropie

Lieven Buts

Vrije Universiteit Brussel

27 november

Lieven Buts Biofysische Scheikunde: Statistische Mechanica


Outline

1 EntropieStatistische Definitie van EntropieMultidimensionele Analyse

2 Samenvatting



Statistische Definitie van EntropieMultidimensionele Analyse

Outline


2 Samenvatting




Taylorreeksen en Benaderingen

Als men de waarde van een functie f op een punt a kent, kanmen de reeksontwikkeling van Taylor gebruiken om f op eenpunt x in de buurt van a te berekenen:

f (x) = f (a) +(

dfdx

)x=a

(x− a) +12

(d2fdx2

)x=a

(x− a)2 + . . .

De algemene vorm voor de termen is

1n!

(dnfdxn

)x=a

(x− a)n

Door alleen de eerste termen van de reeks te nemen, bekomtmen een benadering die een compromis is tussennauwkeurigheid en complexiteit.




De Stirlingbenadering

Een belangrijke toepassing van de Taylormethode is deStirling-benadering voor de faculteitsfunctie:

n! ≈√

2πn(n

e

)n

Hieruit volgt

ln(n!) ≈ 12

ln(2π) +(

n +12

)ln(n)− n

wat voor n > 10 nog verder vereenvoudigd kan worden tot

ln(n!) ≈ n. ln(n)− n⇔ n! ≈(n

e

)n


Multipliciteit Anders BekekenVoor N worpen van een eerlijke dobbelsteen met t zijdenvinden we de volgende multipliciteit:

W =N!

n1!.n2!.....nt!Door de kortste vorm van de Stirlingbenadering te gebruikenwordt dit:

W ≈ (N/e)N

(n1/e)n2 .(n2/e)n2 .....(nt/e)nt

=NN

nn11 .n

n22 .....n

ntt

=Nn1+n2+···+nt

nn11 .n

n22 .....n

ntt

=(

Nn1

)n1

.

(Nn2

)n2

. · · · .(

Nnt

)nt

=1

pn11 .p

n22 .....p

ntt

Definitie van de EntropieUit W = 1/(pn1

1 .pn22 .....p

ntt ) volgt:

ln W = −(n1 ln(p1) + n2 ln(p2) + ...+ nt ln(pt))

en

ln WN

= −(n1

N. ln(p1) +

n2

N. ln(p2) + ...+

nt

N. ln(pt))

= −(p1. ln(p1) + p2. ln(p2) + ...+ pt. ln(pt))

= −t∑

i=1

pi. ln(pi)

Op basis hiervan wordt de entropie SN voor N gebeurtenissengedefinieerd als

SN = k.ln(W) = −kNt∑

i=1

pi. ln(pi)



De Korte Verantwoording

Deze functionele vorm voor de entropie werd gekozen op basisvan praktische en theoretische overwegingen, waaronder hetprincipe van gelijkmatige verdeling van energiebijdragen ("fairapportionment"). Een belangrijk aspect is dat de entropie metdeze definitie een extensieve grootheid is: als de entropie vaneen systeem A SA = k ln(WA) is, en die van systeem BSB = k ln(WB), dan is de gecombineerde multipliciteit van detwee systemen W = WAWB, en de gecombineerde entropieS = k ln(WAWB) = k ln(WA) + k ln(WB) = SA + SB.


Een RekenvoorbeeldWe beschouwen een systeem met N dipolen, die in vierverschillende oriëntaties (north, east, south en west; n, e, s enw) kunnen voorkomen. Dit zijn een aantal mogelijkekansverdelingen voor dit systeem:

De verdeling met alle dipolen in dezelfde oriëntatie heeft delaagste entropie: S/k = −1. ln(1) = 0. De meer gelijkmatigeverdelingen hebben respectievelijk S/k = 0.69 en S/k = 1.33.De "vlakste" distributie tenslotte heeft de hoogste entropie:S/k = −4 1

4 ln(14) = ln 4 = 1.39



Outline


2 Samenvatting


Partiële AfgeleidenVoor een scalaire functie z = f (x, y) van 2 variabelen kunnen wetwee partiële afgeleiden definiëren:(

∂f∂x

)yconstant

= lim∆x→0f (x+∆x,y)−f (x,y)

∆x(∂f∂y

)xconstant

= lim∆y→0f (x,y+∆y)−f (x,y)

∆y

Dit principe kan veralgemeend worden voor een scalaire functievan t variabelen (y = f (x1, x2, ..., xt)).



Voorbeeld

Uit de ideale gaswet volgt bijvoorbeeld dat de druk een functieis van volume en temperatuur: p = p(V,T) = RT

V . Hieruit volgende partiële afgeleiden van de eerste en tweede orde:(

∂p∂V

)T

= −RTV2

(∂p∂T

)V

= RV(

∂2p∂T2

)V

= 0(∂2p∂V2

)T

= 2RTV3(

∂2p∂V∂T

)= − R

V2

(∂2p∂T∂V

)= − R

V2

Als ∂2f∂x∂y = ∂2f

∂y∂x (de voorwaarde van Euler), dan is f eentoestandsfunctie, en geldt voor elk pad tussen (xA, yA) en(xB, yB) dat ∫ ∫ B

Af (x, y)dxdy = f (xB, yB)− f (xA, yA)

1Lieven Buts Biofysische Scheikunde: Statistische Mechanica

De Totale DifferentiaalVoor een functie z = f (x, y) is de totale differentiaal

df =(∂f∂x

)y

dx +(∂f∂y

)x

dy

Voor een algemene functie y = f (x1, x2, . . . , xt) wordt dit

df =t∑

i=1

(∂f∂xi

)xj6=i

dxi

De functie heeft kritische punten waar df = 0. Dit betekent datalle partiële afgeleiden samen nul moeten zijn.

Lokaliseren van ExtremaOm een echt minimum of maximum vaneen functie z = f (x, y) te zijn, moet eenpunt (x∗, y∗) ten eerste voldoen aan devoorwaarden

(∂f∂x

)yconstant

= 0 en(∂f∂y

)xconstant

= 0

Om zeker te zijn dat het niet om een zadelpunt gaat, moetbovendien gelden dat(

∂2f∂x2

)x∗,y∗

(∂2f∂y2

)x∗,y∗−(∂2f∂x∂y

)2

x∗,y∗> 0

Optimalisatie met Beperkingen (1)

Vaak zijn we niet zozeer geinteresseerd in het globale minimumof maximum van een functie z = f (x, y), maar wel in hetminimum of maximum van de functie onder specifiekebijkomende voorwaarden, die men beperkingen of constraintsnoemt.

Het minimum van de paraboloïde z = f (x, y) = x2 + y2 met debijkomende voorwaarde x + y = 6 (dit is de vergelijking van eenvlak evenwijdig met de z-as) ligt op (x∗

′, y∗′) = (3, 3), en heeft

als waarde z = 18.


Formeel kunnen we deze vraagstelling als volgt aanpakken. Deoptimalisatievoorwaarde voor z = f (x, y) is

df =(∂f∂x

)y

dx +(∂f∂y

)x

dy = 0

Aangezien(∂f∂x

)y= 2x en

(∂f∂y

)= 2y, wordt dit 2xdx + 2ydy = 0

(A)De beperkend voorwaarde x + y = 6 kan geformuleerd wordenals g(x, y) = x + y− 6 = 0. Dit is dus een bijkomende functieg(x, y). Aangezien g(x, y) constant is, geldt eveneens

dg =(∂g∂x

)y

dx +(∂g∂y

)x

dy = 0




In ons probleem is(∂g∂x

)y= 1 en

(∂g∂y

)x

dy = 1.(∂g∂x

)y

dx +(∂g∂y

)x

dy = 0 wordt dus dx + dy = 0 of dx = −dy. Als

we dit substitueren in (A), vinden we 2x = 2y of x = y. Samenmet x + y = 6 wordt dit 2x = 6, waaruit de uiteindelijke oplossingx∗ = y∗ = 3 volgt.Het probleem met deze aanpak is dat het moeilijk teveralgemenen is wanneer de voorwaarden complexer worden.


De Methode van LagrangeDe methode van Lagrange is een algemene strategie vooroptimalisatie met beperkingen.

Aangezien

dydx

= −(∂f/∂x)y

(∂f/∂y)x= −

(∂g/∂x)y

(∂g/∂y)x

volgt dat (∂f∂x

)y= λ

(∂g∂x

)y

en(∂f∂y

)x= λ

(∂g∂y

)x



Een Eenvoudige Toepassing

We zullen de Lagrangemethode toepassen op het vorigeprobleem, met de functie f (x, y) = x2 + y2 en de beperkendevoorwaarde g(x, y) = x + y− 6 = 0. Lagrange geeft ons devolgende verbanden:(

∂f∂x

)y= λ

(∂g∂x

)y

en(∂f∂y

)x= λ

(∂g∂y

)x

of

2x = λ.1 en 2y = λ.1

Hieruit volgt x = y, en dus x + y = 2x = 6, en x = y = 3.




Veralgemeningen naar Meer Variabelen

Voor een functie y = f (x1, x2, . . . , xt) met een constraintg(x1, x2, . . . , xt) vindt men voor elke variable een vergelijking:(

∂f∂x1

)− λ

(∂g∂x1

)= 0(

∂f∂x2

)− λ

(∂g∂x2

)= 0

. . .(∂f∂xt

)− λ

(∂g∂xt

)= 0




Veralgemening naar Meer Beperkingen

Wanneer er naast de eerste constraint g(x1, x2, . . . , xt) = 0 nogeen tweede voorwaarde h(x1, x2, . . . , xt) = 0 wordt opgelegd,worden de verbanden uitgebreid met een tweedeLagrangefactor:

(∂f∂x1

)− λ

(∂g∂x1

)− β

(∂h∂x1

)= 0(

∂f∂x2

)− λ

(∂g∂x2

)− β

(∂h∂x2

)= 0

. . .(∂f∂xt

)− λ

(∂g∂xt

)β

(∂h∂xt

)= 0

Elke Lagrangefactor wordt geëlimineerd door gebruik te makenvan de overeenkomstige constraint.




Het Principe van Maximale Entropie (1)

Het principe van maximale multipliciteit is equivalent met eenprincipe van maximale entropie. De entropie is een functie vande kansen op de t mogelijke uitkomsten in het systeem:S(p1, p2, . . . , pt) = −

∑pi ln(pi) (hierbij is voor de eenvoud k = 1

gesteld). Een algemene constraint is dat dat de som van allekansen 1 is:

∑ti=1 pi = 1, wat uitgedrukt kan worden als

g(p1, p2, . . . , pt) =∑t

i=1 pi − 1 = 0.Als we de methode van Lagrange toepassen om S(pi) temaximaliseren onder de constraint g(pi) = 0, vinden we devolgende voorwaarde voor alle pi:(

∂S∂pi

)− α

(∂g∂pi

)= 0





(∂S∂pi

)− α

(∂g∂pi

)= 0

Hierin is(∂S∂pi

)= −1− ln(pi) en

(∂g∂pi

)= 1.

De Lagrangeverhouding wordt dus

−1− ln(pi)− α = 0

waaruit volgtpi = e−1−α





Aangezien∑

pi = 1, geldt dat

t∑i=1

pi =t∑

i=1

e−1−α = te−1−α = 1

We kunnen α dus als volgt elimineren:

pi =pi

1=

pi∑ti=1 pi

=e−1−α

te−1−α

We vinden dus uiteindelijk pi = 1t , m.a.w. bij maximale entropie

zijn alle uitkomsten even waarschijnlijk, en is de kansverdelingvolledig vlak.




Maximale Entropie bij een Gegeven Energie (1)

Vaak zoekt men de toestand van maximale entropie voor eensysteem waarvan de gemiddelde energie gekend is. Webeschouwen een systeem met t energienieveau’s (ε1, ε2, ..., εt)waarover N = n1 + n2 + · · ·+ nt deeltjes verdeeld zijn. Als wepi = ni/N stellen is de gemiddelde energie van het systeem

〈ε〉 =Etot

N=

t∑i=1

piεi

Het feit dat deze gemiddelde energie vastligt, kunnen weuitdrukken als een bijkomende constraint

h(p1, p2, . . . , pt) =t∑

i=1

piεi − 〈ε〉 = 0


Maximale Entropie bij een Gegeven Energie (2)

We willen dus de functie S(p1, p2, . . . , pt) = −∑

pi ln(pi)maximaliseren onder algemene beperkingg(p1, p2, . . . , pt) =

∑i=1 tpi − 1 = 0 en de bijkomende beperking

h(p1, p2, . . . , pt) =∑t

i=1 piεi − 〈ε〉 = 0 .Wanneer we de methode van Lagrange toepassen, vinden weeen verband van de vorm(

∂S∂pi

)− α

(∂g∂pi

)− β

(∂h∂pi

)= 0

voor elke variabele pi.Hierin is

(∂S∂pi

)opnieuw −1− ln(pi),

(∂g∂pi

)= 1 en

(∂h∂pi

)= εi.

Dit geeft ons

−1− ln(pi)− α− βεi = 0

Maximale Entropie bij een Gegeven Energie (2)We vinden dus

pi = e−1−α−βεi

=pi

1=

pi∑ti=1 pi

=e−1−α−βεi∑ti=1 e−1−α−βεi

=e−1−αe−βεi∑ti=1 e−1−αe−βεi

=e−βεi∑ti=1 e−βεi

De noemer in deze breuk wordt de partitiefunctie q genoemd:

q =t∑

i=1

e−βεi



Toepassing op een Dobbelsteen (1)

Stel dat we een dobbelsteen hebben waarvan we vermoedendat hij niet helemaal eerlijk is. Het gedrag van de dobbelsteenwordt beschreven door de kansverdeling (p1, p2, p3, p4, p5, p6).We stellen dat εi = i. Voor een eerlijke dobbelsteen geldt datpi = 1/6 zodat 〈ε〉 =

∑ti=1 piεi = 3.5.

De partitiefunctie is q = e−β + e−2β + e−3β + e−4β + e−5β + e−6β.Dit kunnen we vereenvoudigen door e−β = x te stellen. Wevinden dan

q = x + x2 + x3 + x4 + x5 + x6

en

pi =xi

q





We vinden dus

〈ε〉 =x + 2x2 + 3x3 + 4x4 + 5x5 + 6x6

x + x2 + x3 + x4 + x5 + x6

Deze vergelijking kan numeriek opgelost worden.Voor 〈ε〉 = 3.5 vinden we x = 1, waaruit volgt dat

q = 1 + 12 + 13 + 14 + 15 + 16 = 6

en

p1 = p2 = p3 = p4 = p5 = p6 =1i

6= 1/6

Dit is de eerlijke situatie.



0 0.05 0.1

0.15 0.2

0.25 0.3

0.35 0.4

0 1 2 3 4 5 6 7

exp(-0.175*x)/3.40287"p3"

Voor 〈ε〉 = 3.0 vinden wex = 0.84 enq = 0.84 + 0.842 + 0.843 +0.844 + 0.845 + 0.856 ≈ 3.4.Dit geeft een kansverdelingwaarin lage uitkomstenbevoordeeld zijn t.o.v. hogewaarden.

0 0.05 0.1

0.15 0.2

0.25 0.3

0.35 0.4

0 1 2 3 4 5 6 7

exp(0.175*x)/11.55389"p4"

Voor 〈ε〉 = 4.0 vinden wex = 1.19 en q ≈ 11.6. Ditgeeft een kansverdelingwaarin hoge uitkomstenbevoordeeld zijn t.o.v. lagewaarden.


Samenvatting (1)

Voor een gegeven kansverdeling p1, p2, ..., pt kunnen wede entropie S = k ln(W) = −k

∑ti=1 pi ln(pi) definieren.

Gelijkmatige kansverdelingen hebben een hoge entropie,sterk onregelmatige kansverdelingen hebben een lageentropie.Het principe van maximale multipliciteit is equivalent methet principe van maximale entropie. De entropie is echtereen extensieve grootheid, en gemakkelijker te integererenin de bredere context van de thermodynamica.



Samenvatting (2)

Zonder bijkomende voorwaarden voorspelt het principevan maximale entropie een volledig vlakke kansverdeling,waarin alle uitkomsten even waarschijnlijk zijn.Wanneer als bijkomende voorwaarde een gekendegemiddelde uitkomst 〈ε〉 wordt opgelegd, geeft het principevan maximale entropie een exponentiële verdeling:pi = (1/q)e−βεi , met q =

∑ti=1 e−βεi . Dit is de "minst

bevooroordeelde" kansverdeling die consistent is met hetgegeven gemiddelde.


Biofysische Scheikunde: Statistische Mechanica -...

Documents

Transcript of Biofysische Scheikunde: Statistische Mechanica -...