Administrare server open source » Perl

Exemplu de crawler in Perl

Sergiu Tot — Thu, 27 May 2010 18:40:51 +0000

Unul din motivele pentru care Perl este un limbaj preferat in randul administratorilor de sistem este usurinta cu care putem crea diferite aplicatii complexe. O astfel de aplicatie este un crawler pentru siteuri web. Folosind modulul WWW::Mechanize putem crea un crawler simplu, dar care se poate dovedi eficient in majoritatea cazurilor. Pentru simplitate am preferat un crawler care foloseste un fisier text pentru salvarea linkurilor. Pentru a pune in functiune cralwerul am creat un script cu patru subrutine: getHostname – pentru preluarea hostului din URL-ul de pornire; save – salveaza un link in fisierul care tine evidenta linkurilor catre paginile parsate; saved – verifica daca linkul citit este deja salvat; getLinks – citeste URL-ul primit ca parametru, parseaza... Mai departe »

Timp maxim de executie pentru un query

Sergiu Tot — Thu, 25 Mar 2010 11:39:02 +0000

Cum serverul de baze de date MySQL nu a fost conceput pornind de la ideea restrictionarii utilizatorilor veti observa ca intretinerea unui server shared devine un lucru foarte frustrant. Din cauza unor query-uri prost optimizate sau a unor conexiuni proaste serverul MySQL poate ajute sa consume foarte multe resurse incetinind astfel randamentul general al serverului. In fisierul de configurare nu putem pune foarte multe restrictii iar restrictiile care ni se permit de multe ori nu sunt foarte utile. Unul din lipsurile mari este restrictionarea timpului maxim de executie al unui query. Din punct de vedere al configurarii serverului MySQL nu putem face nimic, dar se poate crea un mic hack cu ajutorul serviciului cron si anume un script care verifica din minut in minut query-urile active iar ... Mai departe »

Micsorare transparenta pentru fisierele CSS si JavaScript externe

Sergiu Tot — Fri, 22 Jan 2010 11:07:44 +0000

Conform specificatiilor celor care au devenit autoritati in ceea ce priveste parsarea siteurilor web si a randarii paginilor, si ma refer in mod deosebit la Google si Yahoo, orice continut care se transfera dinspre server spre client trebuie sa aiba o dimensiune cat mai mica. In aceasta categorie intra si fisierele JavaScript si CSS externe care in cazul CMS-urilor publice pot sa ajunga la dimensiuni de cateva sute de KB din care peste 20% e spatiu ocupat de comentarii si spatiile albe folosite la formatare. Eliminand spatiile albe si comentariile, care sunt utile doar in debugging, putem micsora cantitatea de informatie transferata ceea ce duce la o incarcare mai rapida a siteului. Varianta folosita cel mai des este modificarea fisierelor JavaScript si CSS pentru a se servi varianta micso... Mai departe »

Cum citim argumentele din linia de comanda in Perl

Sergiu Tot — Mon, 24 Aug 2009 14:52:12 +0000

In Perl argumentele date din linia de comanda se pastreaza intr-un array numit @ARGV. Numarul total de argumente este $#ARGV+1. Daca pare ciudat pentru programatorii in C sau alte limbaje, numarul total de argumente este $#ARGV+1 pentru ca @ARGV[0] este primul argument, nu numele aplicatiei. Cand verificam daca s-a dat un argument, trebuie ca $#ARGV+1 sa fie 1 sau mai mare. Argumentele le citim de forma: $ARGV[index]. Un exemplu, mai jos: 2d8a0bba7541cf08539902bc8335b41b006 ... Mai departe »

Upgrade semi-automat pentru instalari WordPress multiple

Sergiu Tot — Mon, 17 Aug 2009 13:53:48 +0000

M-am lovit de curand de o problema destul de deranjanta si anume updatarea mai multor instalari WordPress. Updatarea unui WordPress nu e o treaba complicata si se poate face in patru pasi simpli: se descarca ultima versiune; se dezarhiveaza; se uploadeaza/suprascriu fisierele de pe server; se acceseaza fisierul de updatare a bazei de date – /wp-admin/upgrade.php. Upgradarea nu este complicata, dar daca avem un numar mare de bloguri (ex. 50) uploadarea fiecarei instalari ar presupune uploadarea fisierelor de mai multe ori. Cu un mic script in Perl primii trei pasi pot fi facuti automat. Ultimul pas trebuie executat manual pentru fiecare instalare in parte, dar avand in vedere ca partea costisitoare este uploadarea fisierelor putem considera rularea urmatorului script ca fiind un ava... Mai departe »

Mirror default pentru CPAN

Sergiu Tot — Fri, 24 Jul 2009 15:13:40 +0000

Desi jonglarea cu mirrorurile e o chestie frecventa in diferite aplicatii, CPAN nu ofera o metoda standard de setare a ordinii mirrorurilor dupa configurare. Daca tineti minte, la prima instalare CPAN se cer cateva detalii legate de modul in care va functiona, printre care si mirrorurile preferate si ordinea acestora. Daca din neatentie nu selectam mirrorurile care au cea mai buna viteza pentru noi sau daca din diverse motive dorim sa schimbam ordinea o putem face intrand in shellul CPAN pentru a reface setarile folosind urmatoarele comenzi: 2d8a0bba7541cf08539902bc8335b41b010 Comanda “o conf init” rulata in shellul CPAN ne va duce din nou prin toti pasii de configurare. Aici avem ocazia sa schimbam setarile care nu ne convin, inclusiv ordinea mirrorurilor, iar la final datele ... Mai departe »

Preluarea listei de linkuri dintr-o pagina web

Sergiu Tot — Thu, 18 Jun 2009 22:52:55 +0000

Cum Perl a fost conceput pentru prelucrarea si extragerea de informatii din texte, nu e de mirare ca detine metode simple pentru taskuri care in alte limbaje consuma cateva zeci de linii de cod. Unul din taskurile utile oferite de Perl este citirea automata a linkurilor dintr-o pagina web, treaba care se poate face foarte usor folosind libraria WWW::Mechanize. 2d8a0bba7541cf08539902bc8335b41b011 Dupa cum se poate observa in codul de mai sus, in mai putin de 10 linii am extras toate linkurile dintr-o pagina web si le-am prelucrat – in cazul nostru, le-am afisat pe ecran. De aici pana la crearea unui crawler sau la un sistem de monitorizare a unei liste de linkuri nu mai e cale lunga, decat de cateva linii de cod si putina imaginatie. ... Mai departe »

Instalarea unui modul Perl

Sergiu Tot — Fri, 24 Apr 2009 17:33:03 +0000

Daca serverul are cPanel/WHM instalat se alege optiunea Install a Perl Module din sectiunea “Software” in WHM. In pagina care se deschise se introduce numele modulului (ex. Net::Telnet) iar apoi click pe “Search”. Modulele gasite, care corespund numelui introdus, vor fi listate. Printr-un click pe modulul dorit acesta se instaleaza. Daca serverul nu are cPanel/WHM instalat e nevoie de acces ca superuser la consola sau prin ssh. Ca root se ruleaza comanda: 2d8a0bba7541cf08539902bc8335b41b012 Bineinteles, in loc de HTML::Template se trece numele corect al modulului dorit. ... Mai departe »

Cum accesam serverul MySQL din Perl

Sergiu Tot — Fri, 24 Apr 2009 17:01:35 +0000

DBI este o interfata generala folosita pentru accesarea mai multor servere de baze de date. Asta inseamna ca o aplicatie poate fi folosita pe mai multe tipuri de servere de baze de date fara schimbari majore. Este necesar un DBD (DataBase Driver) definit pentru fiecare tip de baza de date – pentru MySQL exista un modul numit DBD::mysql. Folosind modulul DBD::mysql ne putem conecta din Perl la o baza de date folosind modulul DBI. Un exemplu de utilizare se gaseste mai jos: 2d8a0bba7541cf08539902bc8335b41b013 Bineinteles, pentru a functiona trebuie inlocuit database cu numele unei baze de date existente, utilizator cu numele de utilizator, parola cu parola utilizatorului si localhost, daca e cazul, cu adresa serverului remote. ... Mai departe »

Cum stergem fisierele vechi in Perl

Sergiu Tot — Fri, 24 Apr 2009 15:02:54 +0000

Ocazional avem nevoie ca in cadrul unui script Perl sa cautam fisiere vechi. Un exemplu practic de aplicatie rulata in cron pentru a curata directorul /tmp de fisiere nefolosite ale utilizatorilor. 2d8a0bba7541cf08539902bc8335b41b014 Bineinteles, scriptul trebuie rulat ca root. Daca dorim fisiere mai vechi de o zi, modificam valoarea constantei MAX_DAYS sau setam variabila $max cu valoarea in secunde a perioadei limita. ... Mai departe »

Ocazional avem nevoie ca in cadrul unui script Perl sa cautam fisiere vechi. Un exemplu practic de aplicatie rulata in cron pentru a curata directorul /tmp de fisiere nefolosite ale utilizatorilor. #!/usr/bin/perl use define MAX_DAYS => 1; chdir("/tmp") or die("Utilizatorul curent nu are drept de executie pe /tmpn"); opendir(TMP,"/tmp") or die("Utilizatorul curent nu are drept de citire pe directorul