Etikettarkiv: Linux

Tarsnap – Backup för den paranoide

Tarsnap är en backuptjänst i molnet för den som är paranoid. Kryptering genomförs på klientsidan innan datan skickas upp till Amazon S3-tjänst. Tarsnap är utvecklat av Colin Percival som är övermänsklig, han har bl.a. utvecklat scrypt och är säkerhetschef för FreeBSD.

Tarsnap har inget GUI och stödjer operativsystem såsom Mac OS X, Ubuntu, FreeBSD osv. Stöd till Windows finnes via Cygwin.

Så kommer du igång med Tarsnap

Först och främst laddar du hem tarsnap till din server eller klient:

$ wget https://www.tarsnap.com/download/tarsnap-autoconf-1.0.35.tgz

Och verifierar sedan nedladdningen:

$ sha256 tarsnap-autoconf-1.0.35.tgz
SHA256 (tarsnap-autoconf-1.0.35.tgz) = 6c9f6756bc43bc225b842f7e3a0ec7204e0cf606e10559d27704e1cc33098c9a

Sedan installerar du eventuella beroenden som kan behövas. Detta är för Ubuntu:

$ sudo apt-get install libssl-dev zlib1g-dev e2fslibs-dev make

Vi extraherar tarsnap och bygger koden:

$ tar xvfz tarsnap-autoconf-1.0.35.tgz
$ cd tarsnap-autoconf-1.0.35/
$ ./configure && make
$ sudo make install

Och förhoppningsvis gick allt bra och tarsnap är installerat. Om du inte har något konto på tarsnap.com så är det läge att skapa det nu.

Nu skapar vi en nyckel för denna server och anger våra uppgifter som vi använde när vi skapade kontot på tarsnap.com:

$ tarsnap-keygen --keyfile /root/https-tarsnap.key --machine https.se --user [email protected]

Viktigt här är att du sparar undan nyckelfilen https-tarsnap.key på ett annat system än det du gör backup på. För förlorar du denna fil så kan du ej återskapa data från servern samt ser till att enbart användaren som gör backup får läsa denna nyckelfil.

Så gör du backup med Tarsnap

Finurligt så fungerar tarsnap precis som tar men med lite extra argument. Jag brukar skapa en fil vid namn backup.sh som även dumpar ut MySQL-databas så den följer med i backupen.

Så här ser min backup.sh ut som körs via cronjobb varje natt av root. Se även till att enbart root kan läsa filen backup.sh då den innehåller lösenord.

mysqldump -u root -plösenord https > /var/www/https.se/backup/`date +"%Y%m%d"`.sql
tarsnap --keyfile /root/https-tarsnap.key --cachedir /usr/local/tarsnap-cache -c -f https.se-`date +%F` /var/www/https.se/docs/ /var/www/https.se/backup/ /etc/nginx/sites-enabled/default-ssl /etc/nginx/sites-enabled/default 
tarsnap --cachedir /usr/local/tarsnap-cache --keyfile /root/https-tarsnap.key -d -f https.se-`date -d "2 days ago" +%F`

Den sista raden med tarsnap -d ser till att ta bort lagrade backuper som är äldre än två dagar. Du kan även behöva skapa katalogen /usr/local/tarsnap-cache/

Uppdatering: Kolla in denna gist som underlättar installationen.

Så testar du nya CoreOS

Psst! Du vet väl att du kan hyra mig för att göra underverk när det gäller DevOps, IT-säkerhet eller högprestandasystem. Kontakt hittar du här >

CoreOS är ett nytt spännande lättviktigt operativsystem som är byggt för att användas i klusterinfrastrukturer.

Opertivsystemet (OS) är även byggt för att användas till att köra flertalet Docker containers samt så har CoreOS automatiska säkerhetsuppdateringar med två root-filsystem som växlas mellan beroende om det enda uppdateras eller ej. Filsystemen är read-only samt os:et startas om automatiskt vid uppdateringar (eller kexec). Detta innebär så klart att du ej bör lagra något på lokala filsystemet permanent.

Fler fräsiga finneser är en key-value-storage motor inbyggt vid namn etcd (skriven i Go) som även kan användas för service discovery. Etcd synkroniseras automatiskt i hela ditt kluster vilket gör det ypperligt bra för att exempelvis peka ut var dina tjänster håller hus.

CoreOS kluster

CoreOS har tre utvecklare på heltid som jobbar med projektet samt är baserat på Chromium OS som Goolge står bakom. Har även fått in kapital från Andreessen Horowitz samt  Sequoia Capital.

För att testa CoreOS på Mac OS X med Vagrant gör du bara enligt följande:

$ git clone https://github.com/coreos/coreos-vagrant/
$ cd coreos-vagrant
$ vagrant up
$ vagrant ssh

Här är en skärmdump när jag ansluter via vagrant ssh:

CoreOS VagrantOch sedan är det bara att dra igång vår en container i Docker. I detta fall kör jag Ubuntu 13.10:

Docker Ubuntu 13 10

Och här skapade jag en screencast som visar hela förfarandet:

Har du testat CoreOS? Lämna gärna en kommentar om dina erfarenheter.

Så analyserar och använder du iPhone Appars API

Visste du att majoriteten av alla iPhone och iPad-appar använder någon form av API?

Jag tänkte gå igenom hur du själv kan använda dessa API:er i dina egna implementationer med hjälp av exempelvis PHP eller Python. Observera att informationen som du hämtar via API:er eventuellt inte användas till vad som helst då den kan omfattas av upphovsrätt eller andra lagar.

Först och främst så måste vi ladda hem någon form av Proxy-programmvara som medger analys av den API-trafik som går fram och tillbaka från iPhonen och Appen. Jag rekommenderar Charles Proxy som är gratis att använda men det finns även en betalversion för ynka 50$ som jag har köpt (du slipper ”nag-screens” och sådant). Charles Proxy fungerar för Linux, Mac och Windows.

Här är en skärmdump på hur det ser ut när du startat upp Charles Proxy:

Så, det första vi ska göra är att stänga av så att vi ej ser all webbsurf till och från vår egna dator och det kan man göra under Proyx-fliken och sedan se till att ”Windows Proxy” ej är förkryssad.

Nästa steg är att vi ska skicka ett E-brev med Charles SSL-certifikat till vår iPhone för att ges möjlighet att analysera krypterad HTTPS-trafik till och från telefonen. Ladda hem följande ZIP-fil: charlesproxy.com/ssl.zip och packa upp den där du sedan hittar en .CRT fil som du bifogar i ett mail som du sedan kan öppna på din iPhone (Dropbox eller annan typ av filöverföring går säkert också bra).

När du lagt in Charles certifikat i din telefon bör det se ut så här under Inställningar -> Allmän -> Profil (längst ner):

Då var det nästa steg, och det är att ta reda på IP-adressen till din dator. Jag brukar använda cmd.exe och sedan skriva ipconfig så bör det se ut något i stil med:

Denna IP-adress skall vi ange under inställningarna som det nätverk vår iPhone är ansluten till. I mitt fall så är det via WiFi och längst ner under inställningarna för det trådlösa nätverket anger jag IP-adressen till min dator som kör Charles Proxy så det ser ut så här:

Sedan är det bara att starta den App som vi vill analysera på iPhonen, i mitt fall så startar jag Swedavias App vid namn Arlanda flygplats. Och se hur Charles Proxy visar API-anropen efter varandra. Eftersom vi är intresserad av Avångar så klickar jag helt enkelt på Avångar i Arlanda Appen och får upp följande intressanta API-anrop i Charles:

Fleratalet parametrar är intressanta att anteckna eftersom de behövs vid anrop från PHP eller Python. Det varierar från app till app men i detta fall är det URL:en för anrop som innehåller flygplats (airport=arn_utr) samt datum (searchDate=2011-08-10).

Tittar vi på XML-svaret så ser det ut enligt följande:

När vi sedan implementerat en funktion som härmar denna förfrågan så bör vi få ut samma XML-svar i slutändan och kan då exempelvis hämta hem avgångar med PHP och CURL på följande sätt:

<?php
  $today = date("Y-m-d");
  $path = '/ArrivalsDeparturesMobile/ArrDepMobileService/ArrDep.asmx/GetDeparturesFlightTable?airport=arn_utr&language=sv&searchString=&searchDate='.$today;
  $host = "wsc1.swedavia.se";

  $headers = array(
    "GET $path HTTP/1.1",
    "Host: $host",
    "User-Agent: Arlanda/1.4 CFNetwork/485.13.9 Darwin/11.0.0",
    "Authorization: Basic V1NBcnJEZXBNb2JpbGU6c1AtR0U1NWJlY3I4c1BhKWhlMHBlNXJ1NkVmYUNyRSE=",
    "Accept: */*",
    "Accept-Language: sv-se",
    "Accept-Encoding: gzip, deflate",
    "Pragma: no-cache",
    "Connection: keep-alive"
  );

  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, "http://".$host.$path);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

  $sXML = curl_exec($ch);

  $oXML = new SimpleXMLElement($sXML);

  print_r($oXML);

?>

Ovan kod kan du sedan köra från kommandotolken enligt följande:

$ php swedavia.php

Tadaa! Nu slipper vi använda vår iPhone varje gång vi ska se avgångar från Arlanda. I detta exempel så behövdes ej SSL-certifikatet användas då anropen skickas i klartext.

Så tolkar du MySQL:s felkoder

Rätt ofta så stöter jag problem med MySQL som då spottar ur sig någon typ av felkod. Dessa felkoder och hur de uppkommer brukar jag tyvärr hinna glömma bort mellan varven så därför skriver jag ner dem här för att underlätta för mig och dig:

Följande felmeddelande:

  • ERROR 3 (HY000) at line 11619: Error writing file ‘/tmp/STUkun6Z’ (Errcode: 28)

Avkodas lättast genom att man skriver perror 28 vid en kommandotolk i Linux så bör något liknande komma fram:

  • OS error code  28:  No space left on device
Vilket är tämligen självförklarande. Slut på hårddiskutrymme på den monteringspunkten.
Om du sedemera utför någon typ av import eller dylikt som kan ta sjukt lång tid så brukar jag använda två bra trick:
  • Visa hur lång tid som är kvar av importen med följande kommandorad: pv filnamn.sql | mysql -u root -p (pv är ett användbart litet program som kan installeras via apt-get install pv)
Output blir ungefär följande då:
  • 10,9GB 1:24:51 [ 1,1kB/s] [=====>             ] 19% ETA 5:59:32
Och det andra tricket är att undersöka vad som händer genom SHOW PROCESSLIST vilket med fördel kan köras på följande sätt:
  • echo ‘show processlist’|mysql -u root -plösenord -B
Nu till nästa felmeddelande:
  • ERROR 1071 (42000) at line 11673: Specified key was too long; max key length is 1000 bytes
Det tog ett tag innan jag insåg hur detta felmeddelande uppstod och det var pga att InnoDB-motorn i min MySQL installation ej startades pga felaktiga konfigurationsvariabler i my.cnf och då gick MySQL automatiskt över till MyISAM. Denna ”bugg” har funnits i många år och upprört en hel del (se sista kommentaren här). Kan vara rätt jobbigt om man gör mysqldump på ett system för att sedan läsa in dumpen på ett annat system och det ej fungerar.
Nästa problematik är inte direkt ett felmeddelande utan någon jag stött på då en import tog sjuk lång tid. Vid undersökning så stod det ”repair by sorting” vilket är något som kan ta många timmar. Efter lite googlande så hittade jag att en snabbare repair finns och då skall följande meddelande visas vid SHOW PROCESSLIST: repair using keycache. Fixas genom att sätta myisam_max_sort_file_size=10G i my.cnf.
Om du använder dig av mysqlimport eller LOAD DATA INFILE och får något av följande felmeddelanden:
  • Error: 13, Can’t get stat of ‘/var/lib/mysql/Desktop/abc123’ (Errcode: 2)
  • File ‘/home/standage/Desktop/abc213’ not found (Errcode: 13)

Så beror det troligtvis på att du ej har behörighet eller att du ej angett hela sökvägen till filen. Brukar jag lösa genom att genomföra importen med ett mysql-root konto.

Uppdatering: Något annat som kan ställa till fel hos MySQL är nya AppArmor som standard används i senare versioner av Ubuntu. Om du ändrar exempelvis datadir så kommer det ej att fungera. Då måste du ändra i apparmor-profilen för MySQL.

Besök hos Microsoft i Redmond

Jag har blivit utvald som en av fem personer från Sverige åka till Microsofts huvudkontor i Redmond och lära mig lite om Microsoft och dess verksamhet och produkter. Jag har sedan tidigare ett relativt platoniskt förhållande till Microsoft, dock så använder jag dess operativsystem Windows dagligen i någon form. På serversidan så faller dock mitt val på Ubuntu/Linux eller Free/OpenBSD.

Det enda event jag medverkat tidigare på i Microsofts regi är ett trevligt rundabordssamtal som Stephanie Smitt Lindberg (numera på Scandic) bjöd in till 2009 (bloggytråd om inbjudan).

Vi fem som åker förutom mig själv är Walter Naeslund, Pingis Hadenius, Joakim Jardenberg och Tommy K Johansson.

Tidningen Resumé har har skrivit roligt om detta.

ffmpeg

Jag har hållt på att donat och strulat och försökt att få ffmpeg att lira med mer videoformat och codecs men det har inte varit en helt smärtfri väg att få till allt. Vet inte riktigt var jag ska börja men ffmpeg är ett verktyg för att hantera filmer på en massa sätt, exempelvis konvertering.

Genom att köra ffmpeg -v så konstaterade jag att varken libmp3lame eller libamr (3GPP/3GP) var inkompilerat i standardbinären på Ubuntu Edgy som jag kör:

FFmpeg version SVN-rUNKNOWN, Copyright (c) 2000-2007 Fabrice Bellard, et al.
configuration: –enable-gpl –enable-pp –enable-swscaler –enable-pthreads –enable-libvorbis –enable-libtheora –enable-libogg –enable-libgsm –enable-dc1394 –disable-debug –enable-shared –prefix=/usr

Så klart så testar jag ju att använda apt-src install ffmpeg och sedan modifiera debian/rules filen för att tillfredställa mina behov, men icket! Otaliga kompileringsfel i amr vilket jag försöker fixa men ger upp efter ett tag.

Dags och byta taktik, checkar ut en fräsch ffmpeg version från svn:

svn checkout svn://svn.mplayerhq.hu/ffmpeg/trunk ffmpeg-svn

Och efter att kliat huvet och kompilerat om ffmpeg ett antal gånger och installerat ett antal ubuntu paket såsom libamrnb3 libamrnb-dev libamrwb-dev libamrwb3 amrwb amrnb liblame-dev libxvidcore4-dev libfaac-dev libfaad2-dev för att bara nämna några så börjar det att ljusna.

ffmpeg -v ger mig nu:

FFmpeg version SVN-r14864, Copyright (c) 2000-2008 Fabrice Bellard, et al.
configuration: –enable-gpl –enable-nonfree –enable-swscale –enable-avfilter –enable-pthreads –enable-liba52 –enable-libamr-nb –enable-libamr-wb –enable-libmp3lame –enable-libgsm –enable-libmp3lame –enable-libvorbis –enable-libx264 –enable-libfaac –enable-static

Och det går betydligt lättare att konvertera mellan en massa videoformat.

Uppgradering av Ubuntu

Den Co-Location server som har hand om nästan samtliga av mina projekt körde tidigare Ubuntu 6.04 LTS så jag kände att det var dags att uppgradera till den nyare versionen Ubuntu 8.04 LTS Server Edition. LTS står för Long Term Suport och betyder att det kommer att släppas patchar till denna version fram till år 2013.

Genom att följa uppgraderingsförfarandet som presenteras på Ubuntu:s sida så gick uppgraderingen näst intill smärtfritt:

Steg 1, uppgradera till version 7.10

sudo aptitude install update-manager-core
sudo do-release-upgrade

Svara på frågor, starta om.

Steg 2, uppgradera till version 8.04

sudo do-release-upgrade

Svara på frågor, starta om.

De problem jag stötte på var enligt följande:

AppArmor

AppArmor är påslaget standard i version 8.04 och aktiverat i ”complain” mode för exempelvis MySQL och har du annat än standarsökvägar till filerna där databaserna ligger så får du följande felmeddelande:

audit(1210329486.124:240): type=1502 operation=”inode_permission” requested_mask=”r::” denied_mask=”r::” name=”/u0/mysql/domaintool/title.frm” pid=10822 profile=”/usr/sbin/mysqld” namespace=”default”

Genom att lägga till en rad /etc/apparmor.d/usr.sbin.mysqld som förklarar att även sökvägen /u0/mysql/ skall innefattas så slutar felmeddelandet att dyka upp.

Vill du läsa mer om AppArmor kan du göra det här:

Memcache

Av någon konstig anledning så försvinner raden extension=memcache.so som återfinns längst ner i /etc/php5/apache2/php.ini vilket resulterar i att memcache inte fungerar och följande felmeddelande dyker upp i webbserver loggarna:

PHP Fatal error: Class ‘Memcache’ not found in /var/www/bloggnytt.se/docs/memcacheAPI.inc.php on line 33

Klart!

Uppgraderingen genomfördes med en knacklig 3G-uppkoppling över ssh.