sslug-teknik team mailing list archive

["Lasse Laursen" <laursen@xxxxxxxxxxx>]

Hej,

Vi har et stort cluster setup med adskellige webnodes (webservere) som ud
fra en central maskine (webnode1) skal have synkroniseret dele af deres
filsystemer.

Paa webnode1 uploades nye sider, billeder, etc. hvorefter der (pt. hvert 10.
minut) bliver koert en rsync fra de andre webnodes for at synkronisere deres
diske.

Det er en nogenlunde acceptabel loesning idet materialet paa vores websites
ikke aendres saa tit.

Problemer er bare at rsync er meget belastende - der er ca. 500.000 filer af
meget varierende stoerrelse (typisk fra 10 KByte og opefter). Det kan tage
op til flere minutter for rsync at indeksere filsystemet og faa
synkroniseret alle de andre webnodes - i den tid er webnode1 mere eller
mindre lammet. Idet alle vores sites bliver load-balanceret ud over alle
webnodes kan det resulterer i nogle 500'er og timeouts fra webserverne
(Zeus).

Setup'et for alle webnodes er:

Debian GNU/Linux 2.2
Kernel 2.4.16
Software Raid 1 (2 stk. 100 GByte Western Digital diske)
/proc/sys/fs/file-max er sat til 65536
Hver af maskinerne er Athlon 800'er med ca. 800 MByte RAM.
Maskinerne koerer paa et internt net forbundet med en Cisco Catalyst 3500 XL
Filsystemet paa / er ext3

NFS kan vi ikke bruge idet vi saa har single point of failure. Er der nogen
der har nogle ideer til andre (bedre) alternativer end rsync?

rsync startes op som en daemon med: nice -10 /usr/bin/rsync --daemon


Mvh
--
Lasse Laursen <laursen@xxxxxxxxxxx> - Systems Developer
NetGroup A/S, St. Kongensgade 40H, DK-1264 København K, Denmark
Phone: +45 3370 1526 - Fax: +45 3313 0066 - Web: www.netgroup.dk

"If it ain't broke, it doesn't have enough features yet." -- laursen
"I have not failed. I've just found 10,000 ways that won't work." --Thomas
Edison