IRC-Galleria

Toimisto on piiritetty

Perjantaina kello 1241 eräs rakas devaajamme kommitoi galtsuun uutta koodia. Koodi, joka toimi hyvin testausympäristössä, ei toiminutkaan täysin samalla tavalla tuotannossa, vaan alkoi kuormittamaan www-palvelimia enemmän kuin oli tarkoitus. Virhe huomattiin nopeasti, jonka johdosta tehtiin korjaus, joka ikävä kyllä aiheutti päättymättömän silmukan sisällä tapahtuvan virheen. Tällöin jokaisesta aiheutuneesta virheestä lähetetään viesti verkon yli logipalvelimelle joka tallentaa kaikki tapahtumat tiedostoon. Virhetilanne syntyi jokaisesta galtsun etusivun latauksesta.

Tämä ei tullut ilmi välittömästi, sillä www-palvelimissa on varalla reilusti todellista tarvetta enemmän kapasiteettia. Kuitenkin koska sivupyynnöt eivät valmistuneet, vaan jäivät ikuiseen silmukkaan, palvelimien vapaat resurssit hupenivat muutamassa minuutissa loppuun.

Valvontamonitorit huomasivat ongelmatilanteen nopeasti, mutta tällöin oli jo liian myöhäistä reagoida - webipalvelimien verkosta siirtyi logipalvelimen verkkoon noin miljoona pakettia sekunnissa, mikä ylikuormitti verkkojen välissä olevan reitittimen/palomuuriin.

Tämän johdosta webipalvelimet eivät saaneet enää yhteyttä levyjärjestelmään, koska levyjärjestelmä sijaitsee palomuurin toisella puolella. Tämän takia klusterin hallintaan tarkoitetut työkalut eivät enää saaneet yhteyttä webipalvelimiin, josta seurasi ettei webipalvelimia voinut enää sammuttaa. Samanaikaisesti yhteydet hallintapalvelimille menivät jumiin koska palomuuri yritti keskittyä reitittämään kaikkea webiverkosta tulevaa logiliikennettä. Et silleen.


Tilanteen vakavuuden selvittyä ylläpidon aina valmiustilassa olevat erikoisjoukot keskeyttivät Mario Kartin peluun ja riensivät oitis korjaamaan tilannetta. Normaalisti pienissä ongelmatilanteissa kytketään galtsuun väliaikaisesti virhesivu päälle, joka kertoo ystävällisesti käyttäjille jotain olevan pielessä. Valitettavasti virhesivua palvelevat www-palvelimet olivat myös jumissa. Lopulta emme löytäneet muuta ratkaisua kuin sammuttaa webiklusterin edessä olevat kuormantasaajat tarkoituksena estää uusien sivupyyntöjen pääsy www-palvelimiin, jotta virheellinen toiminta lakkaisi.

Valitettavasti ikiloopissa pyörivät virheelliset skriptit olivat edelleen ajossa www-palvelimilla, jonka johdosta kaikki tuotantoverkot olivat jumissa. www-palvelinverkon totaalinen eristäminen palautti muut tuotantoverkot toimintaan, mutta ongelma palasi välittömästi kun verkko kytkettiin takaisin toimintaan.



Lopulta ainoa jäljellä oleva vaihtoehto oli jälleenkäynnistää etähallinnan avulla jokainen www-palvelin erikseen, kytkeä www-palvelinverkko takaisin muuhun tuotantoverkkoon ja käynnistää varovasti www-palvelin kerrallaan samalla tarkkaillen ettei tilanne pääse eskaloitumaan uudelleen vastaavaksi ketjureaktioksi.

Yritämme pohtia miten saisimme vastaisuudessa estettyä vastaavan ongelman syntymisen. Hyvää viikonloppua :)

Kuuden koneen klusteri tekee hajautetun grepin kaikkiin galtsun blogauksiin, aikaa menee noin 17 minuuttia :)

Julkaisimme eilen Galtsuun uuden keskustelutoiminnon, joka mahdollistaa realiaikaisen keskustelun kenen tahansa Galtsukäyttäjän kanssa. Ensimmäisen vuorokauden aikana keskustelutoiminnolla lähetettiin yli puoli miljoonaa viestiä! Tämä blogaus kertoo ominaisuuden kehittelystä ja vastaa muutamiin yleisempiin meille tulleiseen kysymykseen. Keskusteluikkunan käytöstä voi lukea Bro:n blogista Bro

Galtsuun on sen alkuajoista lähtien kuulunut mahdollisuus keskustella toisten käyttäjien kanssa. Kuviin kommentointi riitti pitkään, mutta ongelmaksi muodostui keskustelun yksittäisten kommenttien jakaantuminen keskustelukumppanien eri kuviin, jonka takia keskustelun seuraaminen oli hankalaa. Keskustelun helpottamiseksi teimme vuosi sitten mahdollisuuden vastata kommentteihin @nick-notaatiolla, joka helpotti suuresti keskustelujen käymistä kuvakommenteilla.

Kuvakommenteissa on kuitenkin yksi iso rajoitus: Vastaanottaja ei näe kommenttia ennen kuin hän lataa sivun uudestaan. Kuinka kivaa olisikaan jos voisi keskustella toisen käyttäjän kanssa reaaliaikaisesti ilman sivulatauksia, mutta tarvittaessa myös liikkumaan galtsussa sivulta toiselle keskustelun aikana? Myös käyttäjät rupesivat toivomaan meiltä tämänkaltaista ominaisuutta, varsinkin kun Facebookkiin oli ilmestynyt vastaava työkalu.

Talk-projektinimen saanutta keskustelutoimintoa alettiin tekemään toden teolla loppukeväästä. Suunnittelussa pohdittiin kaikkia mahdollisia tapoja tarjota reaaliaikainen keskustelutoiminto Galtsun käyttäjille. Yksi idea oli päivittää vasemman yläreunan uusien kommenttien laskuria automaattisesti ilman sivulatausta, mutta tämä havaittiin täysin riittämättömäksi. Erilaisia luonnoksia kokeiltiin, piirreltiin, testailtiin ja pikkuhiljaa lopullinen ulkoasu alkoi muotoitua.

Meiltä on kysytty miksi matkimme keskusteluominaisuuden Facebookista, mutta vastaus tähän ei ole yksiselitteinen. On selvää, että olemme ottaneet vaikutteita Facebookilta - olisi mahdotonta olla ottamatta, sillä käytämme itse jatkuvasti Facebookkia, kuten käytämme monia muitakin webissä olevia sivustoja, yhteisösaitteja, foorumeita, Meseä ja perinteistä tekstipohjaista irkkiä. Kun jossain palvelussa on jokin uusi hyvä ominaisuus tai keksintö, olisi tyhmää olla miettimättä voisiko meidänkin käyttäjät hyötyä vastaavasta ominaisuudesta. Lisäksi koska moni Galtsun käyttäjistä on jo tottunut käytämään Facebookin keskustelua, me emme voi kovin helposti tehdä täysin erilaista pelkästään välttääksemme samankaltaiset piirteet. Se ei olisi kenenkään etu että toiminto olisi täysin erilainen verrattuna siihen mihin ihmiset ovat jo tottuneet muissa palveluissa.

Tämä toimii myös toisin päin: Galtsussa on ollut vuosikausia "kurkistus" niminen toiminto, jossa viemällä hiiren jonkin käyttäjän nimen päälle, ilmestyy nimen viereen käyttäjän kuva ja muita tietoja käyttäjistä. Twitter lisäsi vastaavan kurkistuksen muutama kuukausi sitten ja nyt vihdoin Facebook teki vastaavan muutama viikko takaperin. Meillä kirjaimellisesti kuultiin ilonkiljahduksia toimistolla, koska kurkistus on niin mahtava ominaisuus siihen tottuneelle, sen ilmestyminen Facebookkiin on oikeasti iloinen asia, eikä mautonta kopiointia.

Emme kuitenkaan halua vain sokeasti kopioida Galtsuun muualla olevia ideoita, vaan yritämme tehdä niistä aidosti parempia. Talkin avulla voi välittää viestin käyttäjälle joka ei ole kirjautunut. Voit siis sanoa vielä sen viimeisen asiasi vaikka kaverisi ehti jo kirjautua ulos Galtsusta ja olla varma, että kaverisi saa viestin - asia jota Facebookissa ei voi tehdä. Lisäksi haluamme kannustaa käyttäjiämme löytämään uusia kavereita. Tämän takia voit aloittaa keskustelun kenen tahansa Galtsun käyttäjän kanssa. Tämän tarkoituksena ei ole syrjiä perinteisiä kuvakommentteja. Saat edelleen kehua jonkun satunnaisen käyttäjän kuvaa, mutta halutessasi voitkin aloittaa hänen kanssaan realiaikaisen keskustelun.

Me olemme edelleen sitoutuneita tekemään parasta mahdollista palvelua meidän käyttäjille ja haluamme tehdä sitä käyttäjien ehdoilla. Toiveita uusista ideoista voi jättää oikean reunan vihreän Palaute-napin kautta. Samassa paikassa voit myös äänestää muiden käyttäjien ideoita mikäli koet ne hyviksi. Esimerkiksi yhteisökohtainen kävijälaskuri toteutettiin käyttäjien toivomuksen pohjalta. Palautetta nykyisistä ominaisuuksista ja ongelmista voi lähettää palaute-lomakkeen kautta http://irc-galleria.net/feedback

Galtsu on suomalainen palvelu, jota me teemme käyttäjillemme jotka ansaitsevat parasta!

Agilet menetelmät ovat agileita