sslug-teknik team mailing list archive

["Klaus S. Madsen" <sslug@xxxxxxxxxxxxxxxx>]

On Sat, Apr 15, 2006 at 13:29:40 +0200, Mogens Valentin wrote:
> Har nogen erfaring med en del klienter og servere mod NFS på Linux?
> I så fald, på hvilken distro og hardware?
Vi kører på mit arbejde med et netværk af Linux/Solaris/AIX/HPUX/Tru64
klienter forbundet til to Linux NFS servere. Vi bruger det primært til
software udvikling, så det er C++ filer, som bliver compilet og linket
sammen, af ca. 4 forskellige Linux klienter. De resulterende program filer er
op til omkring 200MB store. Solaris/AIX/HPUX/Tru64 klienterne benytter
ikke NFS serverene i særlig høj grad.

Den mest anvendte af NFS serverne er en Sun V20z med 2 Opteron CPU'er,
en 64-bit kerne, og en 32-bit Debian Sarge. Vi bruger 64 bit kerne,
fordi 32-bit kernen løber tør for hukommelse i en af dens memory zones
når man giver XFS nok tæsk, hvis jeg husker rigtigt. Storage på
V20z'eren er et eksternt IBM disk kabinet, som er forbundet til en IBM
Raid controller (jeg kan ikke huske navnene på noget af det).

> Vi har tidligere (inden min tid) kørt Linux med NFS med manglende 
> stabilitet. Brugere klagede over at NFS forsvandt mellem benene på dem 
> for så at komme tilbage på mystisk vis, uden nogen gjorde noget.
Det har vi ikke oplevet. Vi har tilgengæld haft en del andre problemer:

Alle nyere kerner vi har prøvet, end lige 2.6.11.11 (som vist nok endda
har fået en enkelt ekstra patch) har haft problemer i vores
konfiguration.  Det er vist nok specielt kombinationen af XFS over NFS
på SMP maskiner der udløser problemerne. 

Problemerne giver sig hovedsageligt tilkende ved at man får Stale
Filehandle fejl ofte, uden grund. Men vi har også set dcache korrution,
hvor en klient fik underlige permissions og uid/gid på enkelte filer,
hvilket kun kunne løses ved at vente til filen var kommet ud af
fil-serverens dcache, hvorefter den ville få de rigtige permissions
igen.

Om de efterhånden har fået styr på NFS server delen af kernen ved jeg
ikke, vi har ikke turde forsøge at skifte kerne det sidste års tid, mest
fordi de sidste par gange vi har forsøgt det, har vi stødt på nye
problemer, og vi kan ikke undvære vores fil-server.

En del af vores problemer er beskrevet i denne tråd, som godt nok tager
udgangspunkt i 2.6.8.1:

http://www.ussg.iu.edu/hypermail/linux/kernel/0409.1/0117.html

For nyligt har vi sat en ny NFS klient op, som vi gav en 2.6.16 kerne.
Desværre viste det sig at 2.6.16 har et performance problem når man
tilgår filer på den måde som ld gør det over NFS. Du kan læse tråden om
det her:

http://www.ussg.iu.edu/hypermail/linux/kernel/0603.3/2368.html

Vi har fundet ud af hvilken patch der introducerede problemet, men der
er desværre ikke rigtigt sket noget siden da.

Så vores konklusion er pt. at vi må være nogle af de eneste der bruger
Linux som NFS server/klient. Vi er ihvertfald dem der rammer rigtig mange
problemer med det :-)

> Vi har pt 30-35 klienter og nogle servere.
> Pt. bruger vi FreeBSD, som kører ganske godt, men systemet har ikke 
> journaliseret filsystem, og får det heller foreløbig.
Men det har da ordered writes? Er det ikke næsten lige så godt?

> Jeg skal vælge nyt system, som nok bliver Sun HW og Solaris.
> Der er dog et budget at tage hensyn til, så jeg skal have alternativer.
> Jeg ved ganske enkelt ikke om Linux NFS er blevet stabilt. Jeg har 
> tidligere kørt NFS uden problemer, men i noget mindre omfang.
Jeg vil ikke anbefale det, med mindre du har god tid til at få testet
maskinen, og du kan leve med at den nok kommer til at køre den samme
kerne i lang tid. 

-- 
/-----------------------------------------------------\
| Klaus S. Madsen      | "Ruurgggghhhh urrgh urgh;    |
|                      |  (uh ruh) ruuruuh ug."       |
| www.hjernemadsen.org |   - Douglas Adams, TRATEOTU  |
\-----------------------------------------------------/