CoreOS_Docker

Kör Docker med CoreOS och fleet

Mitt företag Triop AB erbjuder konsulttjänster inom DevOps. Se här: triop.se/devops

Fleet är en av de nyare verktygen som kommer från gänget bakom operativsystemet CoreOS. Fleet är till för att köra din kod på kluster av Dockers som rullar under CoreOS.

fleet ties together systemd and etcd into a distributed init system. Think of it as an extension of systemd that operates at the cluster level instead of the machine level.

Jag tänkte visa när jag startar upp två noder på Amazon EC2 som kör CoreOS och som sedan administreras med hjälp av kommandot fleetctl.

Python-koden för att starta upp nya servrar hittar du längst ner i detta blogginlägg. Det finns några inställningar som du bör göra innan, såsom att nyckelnamnet stämmer och security group har regler som tillåter port 7001, 4001 och 22. Samt EC2 access id och key.

Starta upp klusterchefen

Först och främst startar vi upp en leader. Detta kommuniceras ut via den unika token som återfinnes under discovery i user_data som du bör sätta till ett unikt värde för varje kluster.

$ python ec2-coreos.py
# Starting EC2 server with hostname coreos-roseanne
 - Wait..
 - Wait..
 - Wait..
Found IP: 46.137.21.3

Du kan även kontrollera att det fungerar att ansluta till den nya servern med IP-adress 46.137.21.3:

$ ssh -p 22 [email protected]
CoreOS (alpha)
core@ip-10-73-195-43 ~ $

Perfekt. Även kan det vara till fördel att se så att etc verkligen lyssnar på tcp port 4001 och 7001 antingen tittar vi via lsof eller testar att ansluta direkt med curl:

$ curl 46.137.21.3:4001
404 page not found
$ curl 46.137.21.3:7001
404 page not found

Och det fungerar bra. Skulle inte etcd starta upp så kan det bero på att din cloudconfig är felaktig (ej unik nyckel) eller så kan du titta på loggen med journalctl -u etc. Även så kan du starta upp etcd med kommandot:

sudo systemctl start etcd.service

Starta upp en arbetsnod

För att vi ska ha någon mer nod i klustret så startar vi upp en till. Precis som ovan så kör vi bara ec2-coreos.py och väntar några sekunder på att vår nya nod ska starta upp:

$ python ec2-coreos.py
# Starting EC2 server with hostname coreos-alia
 - Wait..
 - Wait..
 - Wait..
 - Wait..
Found IP: 54.220.243.180

Om allt gick som det ska så ska denna nya nod automatiskt ansluta till coreos-roseanne som är leader. Du kan även titta på loggen med journalctl -u etcd om något skulle vara fel eller använda den unika discovery URL:en direkt för att lista alla noder i ditt kluster:

curl https://discovery.etcd.io/db7ce1f96d42b24f38b5c96a3018f1ea|python -mjson.tool

CoreOS Fleet

Då var det dags att administrera vår flotta med noder med hjälp av fleetctl. Jag har på min Mac installerat fleetctl från github men det går även bra via homebrew:

$ brew update
$ brew install fleetctl

Om vi har rätt ssh-nycklar är det bara att köra. Du kan installera rätt ssh nyckel via kommandot ssh-add coreos.pem exempelvis.

Vi börjar med att lista alla maskiner:

$ fleetctl --tunnel=46.137.21.3 list-machines
MACHINE IP METADATA
9c62bc5f... 10.73.195.43 -
f9946c83... 10.35.3.231 -

Perfekt. Då är det dags att slänga ut vårat första jobb som ska utföras i klustret. Det är ett simpelt Hello World test som ska exekveras, så vi lägger följande innehåll i filen myapp.service:

[Unit]
Description=MyApp
After=docker.service
Requires=docker.service

[Service]
ExecStart=/usr/bin/docker run busybox /bin/sh -c "while true; do echo Hello World; sleep 1; done"

Och startar upp:

$ fleetctl --tunnel=46.137.21.3 start myapp.service
Job myapp.service launched on 9c62bc5f.../10.73.195.43

Perfekt. Nu ska jobbet ha startat och vi kan titta med fleetctl journal myapp.service eller list-nodes.

Så här ser det ut med info:

CoreOS Docker FleetOch nu ligger Hello World och kör under Docker på en av noderna vilket fleetctl list-units kan bevittna.

För delning av jobb och leader/follower genomförs av Raft Consensus algortimen.

 ec2-coreos.py

Här återfinnes koden som jag använder för att starta upp nya noder:

#!/usr/bin/env python
## 
## Jonas Lejon 2014
##
## sudo pip install apache-libcloud names

import os, sys, time
import names 
from libcloud.compute.types import Provider
from libcloud.compute.providers import get_driver
import libcloud.security
libcloud.security.CA_CERTS_PATH = ['ca-bundle.crt'] # from Mozilla

EC2_ACCESS_ID     = '' # Paste your Amazon EC2 credentials here
EC2_SECRET_KEY    = ''

userdata = """#cloud-config

coreos:
  etcd:
    # generate a new token for each unique cluster from https://discovery.etcd.io/new
    discovery: https://discovery.etcd.io/unique_token_here
    # multi-region and multi-cloud deployments need to use $public_ipv4
    addr: $public_ipv4:4001
    peer-addr: $public_ipv4:7001
  units:
    - name: etcd.service
      command: start
    - name: fleet.service
      command: start
"""

#EC2Driver = get_driver(Provider.EC2)
EC2Driver = get_driver(Provider.EC2_EU_WEST)
conn = EC2Driver(EC2_ACCESS_ID, EC2_SECRET_KEY)

hostname = "coreos-" + names.get_first_name(gender='female').lower()

print "# Starting EC2 server with hostname",hostname

MY_SIZE = 't1.micro'
#MY_IMAGE = "ami-8f30fff8" # CoreOS beta at eu-west-1
MY_IMAGE = "ami-87a769f0" # CoreOS alpha at eu-west-1

sizes = conn.list_sizes()
images = conn.list_images()

size = [s for s in sizes if s.id == MY_SIZE][0]
image = [i for i in images if i.id == MY_IMAGE][0]

node = conn.create_node(name=hostname, image=image, size=size, ex_keyname="coreos", ex_userdata=userdata, ex_securitygroup="coreos")
nodes = conn.list_nodes()
time.sleep(5)
while nodes[-1].state != 0:
	time.sleep(5)
	print " - Wait.."
	nodes = conn.list_nodes()
print "Found IP:",nodes[-1].public_ips[0]
SSL-Certifikat

Testa säkerheten i WordPress del 2

Detta är del två av hur du kan själv testa säkerheten på Er WordPress-installation. Detta är del två och första delen hittar du här.

Denna del behandlar några mer automatiserade sätt samt är lättare för nybörjare.

DetectifyDetectify

Svenska startupen Detectify har en utmärkt bra tjänst för att söka igenom WordPress efter sårbarheter.

De har även ett tillhörande WordPress-plugin. Jag rekommenderar alla att testa eftersom kostnaden är ”det du är villig att betala”, dvs du bestämmer själv hur mycket du vill betala.

https://detectify.com

Och här hittar du pluginet https://wordpress.org/plugins/detectify-for-wp/

Exempel på en översiktsrapport kan se ut så här:

Detectify skärmdump

 

Sucuri

Sucuri är också en form av online-scanner som söker igenom Er sajt. Den tittar dock på lite andra saker än vad Detectify såsom om Er blogg dyker upp på Google med sökord som har med spam-sökord såsom viagra, cialis och liknande att göra.

https://sucuri.net

Google dorks

Sist men inte minst så måste jag nämna alla Google Dorks som finnes. Det kan lättast beskrivas som att man använder Google för att hitta intressanta saker på en blogg.

Ett exempel kan vara följande sökning:

intitle:"index of" site:utvbloggen.se

Som försöker hitta kataloger på min blogg/domän som tillåter fillistning. Här finnes en databas med många dorks:

http://www.exploit-db.com/google-dorks/

Kolla även in penetrationstest.se

Testa säkerheten wordpress

Så testar du säkerheten i WordPress

Denna guide visar hur du kan genomföra ett penetrationstest av Er WordPress-installation. Fokus ligger på WordPress men det finns så klart andra delar att testa som också är relevanta såsom att testa såsom svaga SFT/FTP-lösenord men det är utanför denna guide.

Informationsinsamling

Först och främst så genomför vi informationsinsamling eller OSINT som det också kan kallas. Vi försöker kartlägga vilka användare som återfinnes samt eventuella plugins. Det går att göra genom att titta på källkoden på sidan och söka efter referenser till sökvägen /wp-content/plugins exempelvis.

Annars finns det ett plugin (script) till verktyget Nmap som kan lista användare:

 $ nmap -p 80,443 -v -sV --script http-wordpress-enum --script-args limit=25 utvbloggen.se

Och då erhåller du efter några minuter aktuella användarnamn, i mitt fall:

Username found: admin

Att det går att hitta användarnamn beror på att WordPress gladeligen berättar detta om en förfrågan genomföres till exempelvis URL:en //utvbloggen.se/?author=1 och 2 för andra användaren osv.

Även så avslöjar WordPress login-funktion om ett användarnamn är giltigt eller ej, se skillnaden mellan dessa två meddelanden:

WordPress felaktigt lösenord WordPress felaktigt användarnamn

Efter detta så testar vi att söka efter dom 500 vanligaste WordPress-plugintyperna som finnes:

$ nmap -p80,443 -v -sV --script=http-wordpress-plugins --script-args http-wordpress-plugins.search=500 utvbloggen.se

Och efter ett tag så finner vi att följande plugins används:

| search amongst the 500 most popular plugins
| akismet
| contact-form-7
| all-in-one-seo-pack
| google-sitemap-generator
| jetpack
| w3-total-cache
| worker
| only-tweet-like-share-and-google-1
| timthumb-vulnerability-scanner
| wordpress-23-related-posts-plugin
|_ syntaxhighlighter

Eftersom vi är intresserad av säkerheten så kontrollerar vi sedan om dessa innehåller några sårbarheter som uppdagats. Secunia erbjuder bl.a. en sådan tjänst här.

Även så kan det vara intressant att hitta övriga plugins som används som kanske inte är lika vanliga och ladda hem dessa samt söka efter sårbarheter. Och med detta menar jag att genomföra kodgranskning.

Forcering av lösenord

Nu när vi vet att det finns ett konto med användarnamnet ‘admin’ så är det dags att testa några vanliga lösenord. Det finns hur många lösenordlistor som helst med vanliga lösenord så det är inte helt lätt att hitta en bra lista.

Jag skulle rekommendera att bygga en egen lösenordlista med ord som förekommer på den blogg som vi vill testa och sedan köra den genom John the Rippers filter för att lägga till 01 osv på slutet på orden.

Först och främst så skapar vi filen users.txt dit vi lägger användarnamnet som vi hittade från föregående steg för att hitta användarnamn. Ett användarnamn per rad.

Sedan kör vi igång Nmap igen med modulen som heter http-wordpress-brute:

nmap -p 80,443 --script http-wordpress-brute --script-args 'userdb=users.txt,passdb=500-worst-passwords.txt' utvbloggen.se

Här använder jag lösenordsfilen 500-worst-passwords.txt men det går även bra att använda swedish.txt.

Så här kan det se ut då du hittar rätt lösenord som i detta fall är sexy123fox på denna blogg:

WordPress bruteforce passwordOch ovan statistik visar även på att det tog 107 sekunder att testa 1002 lösenord. Om vi vill få upp hastigheten i lösenordstesterna så kan vi använda ett annat verktyg som heter Hydra (även så fungerar Burp eller WPscan.rb).

Här kan vi se när Hydra hittar rätt lösenord med en annan lösenordslista som innehåller 370 lösenord som Twitter förbjuder som även hittar rätt lösenord sexy123fox:

WordPress hydra passwordOch sist men inte minst så  använder vi WPscan.rb för att göra en analys:

WPscan wordpressDenna analys visar förutom det vi ser ovan 6 st plugins som identifierades samt eventuella sårbarheter som dessa innehåller.

WordPress version 3.9.1 är senaste versionen vilket är bra.

Övrigt att kontrollera

Finns många andra viktiga saker att testa samt kontrollera. Några har jag nämnt tidigare såsom att även testa lösenord på SFTP/FTP. Men även viktigt är att kontrollera säkerheten på webbservern i övrigt och då titta i exempelvis robots.txt, sitemaps eller dylikt.

Söka efter phpmyadmin samt andra liknande script som finnes installerade men även databasdumpar som kan ha namn såsom http://utvbloggen.se/utvbloggen.sql exempelvis.

Mitt företag Triop erbjuder även denna typ av IT-säkerhetstest, läs mer här.

Uppdatering: Nu finns det en del två av denna guide som du kan läsa här.

Tarsnap

Tarsnap – Backup för den paranoide

Tarsnap är en backuptjänst i molnet för den som är paranoid. Kryptering genomförs på klientsidan innan datan skickas upp till Amazon S3-tjänst. Tarsnap är utvecklat av Colin Percival som är övermänsklig, han har bl.a. utvecklat scrypt och är säkerhetschef för FreeBSD.

Tarsnap har inget GUI och stödjer operativsystem såsom Mac OS X, Ubuntu, FreeBSD osv. Stöd till Windows finnes via Cygwin.

Så kommer du igång med Tarsnap

Först och främst laddar du hem tarsnap till din server eller klient:

$ wget https://www.tarsnap.com/download/tarsnap-autoconf-1.0.35.tgz

Och verifierar sedan nedladdningen:

$ sha256 tarsnap-autoconf-1.0.35.tgz
SHA256 (tarsnap-autoconf-1.0.35.tgz) = 6c9f6756bc43bc225b842f7e3a0ec7204e0cf606e10559d27704e1cc33098c9a

Sedan installerar du eventuella beroenden som kan behövas. Detta är för Ubuntu:

$ sudo apt-get install libssl-dev zlib1g-dev e2fslibs-dev make

Vi extraherar tarsnap och bygger koden:

$ tar xvfz tarsnap-autoconf-1.0.35.tgz
$ cd tarsnap-autoconf-1.0.35/
$ ./configure && make
$ sudo make install

Och förhoppningsvis gick allt bra och tarsnap är installerat. Om du inte har något konto på tarsnap.com så är det läge att skapa det nu.

Nu skapar vi en nyckel för denna server och anger våra uppgifter som vi använde när vi skapade kontot på tarsnap.com:

$ tarsnap-keygen --keyfile /root/https-tarsnap.key --machine https.se --user [email protected]

Viktigt här är att du sparar undan nyckelfilen https-tarsnap.key på ett annat system än det du gör backup på. För förlorar du denna fil så kan du ej återskapa data från servern samt ser till att enbart användaren som gör backup får läsa denna nyckelfil.

Så gör du backup med Tarsnap

Finurligt så fungerar tarsnap precis som tar men med lite extra argument. Jag brukar skapa en fil vid namn backup.sh som även dumpar ut MySQL-databas så den följer med i backupen.

Så här ser min backup.sh ut som körs via cronjobb varje natt av root. Se även till att enbart root kan läsa filen backup.sh då den innehåller lösenord.

mysqldump -u root -plösenord https > /var/www/https.se/backup/`date +"%Y%m%d"`.sql
tarsnap --keyfile /root/https-tarsnap.key --cachedir /usr/local/tarsnap-cache -c -f https.se-`date +%F` /var/www/https.se/docs/ /var/www/https.se/backup/ /etc/nginx/sites-enabled/default-ssl /etc/nginx/sites-enabled/default 
tarsnap --cachedir /usr/local/tarsnap-cache --keyfile /root/https-tarsnap.key -d -f https.se-`date -d "2 days ago" +%F`

Den sista raden med tarsnap -d ser till att ta bort lagrade backuper som är äldre än två dagar. Du kan även behöva skapa katalogen /usr/local/tarsnap-cache/

Uppdatering: Kolla in denna gist som underlättar installationen.

Mailgun

Skicka E-post via API med Mailgun

Sedan 2011 så har jag använt Amazon Simple E-mail Service (Amazon SES) för utskick av E-post men nu har jag blivit avstängd för att jag skickat E-post med för många studs. Dvs inaktiva eller på annat sätt E-postkonton som ej fungerar.

Därför tittade jag mig omkring lite och valet föll för Mailgun som verkade kompetent. Installerade deras PHP bibliotek som pratar mot API:et men tyvärr så fungerade det dåligt med konstiga felmeddelanden om felaktig API Endpoint. Till slut så hittade jag en annan kod som använder sig av curl .

Så koden blev till slut så här:

Tidigare så har jag definerat MAILGUN_API som innehåller min API-nyckel samt DOMAIN som innehåller domännamnet som används. Även så måste funktionerna br2nl() och error() skapas och du kan nog lista ut vad dom gör.

Än så länge fungerar det bra, men måste nog implementera rate-limiting med Redis så det inte skickas ut för mycket mail av misstag.

Lär dig programmering med Scratch

.SE har nu lagt upp en spellista på YouTube med 7 avsnitt om hur du kommer igång med Scratch. Videofilmerna riktar sig främst till barn men fungerar även bra för andra som vill lära sig programmering. Jag tycker det är viktigt att vi sprider kunskapen om programmering och speciellt att fler döttrar lär sig programmering.

Måns Jonassson berättar här hur du gör:

Denna bild är från då jag var med min älsta dotter som fick lära sig programmering vid 6 års ålder:

Barnhack hos .SE

Triop AB

Jag startar konsultfirma

Inte direkt någon nyhet men jag har kört lite konsultgig sedan en bra tid tillbaka och tänkte att det nu är dags att formalisera och åtminstone starta upp en webbsida som är någorlunda beskrivande.

Konsult-tjänsterna riktar sig framförallt mot IT-säkerhet och DevOps inom följande områden:

Jag kommer så klart att köra vidare på ett antal andra projekt för egen räkning såsom HittaRabatt som tuffar på som tåget med nya grymma rabattkoder.

Anslut gärna via LinkedIn:

Visa Jonas Lejons profil på LinkedInGå till Jonas Lejons profil

Hack for Sweden

Jury till Hack for Sweden

I helgen har Hack for Sweden gått av stapeln och jag har medverkat som jury tillsammans med Pernilla Rydmark, Peter Krantz och Kristofer Sjöholm. Det var ingen lätt match att hitta vinnare i de olika kategorierna samt ta fram en bra motivering till varje vinnare.

Vinnare av det stora priset vid namn Hack for Sweden Award blev en app som visar hur farliga utsläpp från exempelvis en tankbil eller liknande påverkar området i närheten.

Motiveringen blev enligt följande:

För att på ett nyskapande sätt byggt en tjänst som visualiserar och simulerar konsekvenserna av giftiga utsläpp. Priset Hack for Sweden Award 2014 går till Ge0Hack3rs för RSN (Risk Simulation and Notification System).

Här skrev DN om vinnarna av stora priset. Och här delar jag ut priset till den yngsta hackern blott 11 år gammal som fick juryns specialpris:

Mest lovande hacker

Bildcredd till Malin Crona

Bonnier Accelerator

Bonnier Accelerator

Var just och lyssnade på Bonnier föreläsa om Bonnier Accelerator på deras fina huvudkontor beläget på Kungsgatan i Stockholm.

Bonnier Accelerator är en del av D2D vilket står för Decide to Develop som är ett program som riktar sig till digitala talanger inom och utom företaget, långsiktigt. Och från och med i dag så går det att ansöka om att vara med i deras inkubator.

Föreläste gjorde bl.a:

  • Ulrika Saxon som är VD för företaget Bonnier Growth Media.
  • Adrian Swartz berättade om resan som Cruitway (tidigare Studentlänken) gjorde då de blev antagna till första och förra omgången av Bonnier Accelerator.
  • Tyler Crowley berättade om hur man pitchar och når ut med sin idé bland mängden av ansökningar.

Vad är Bonnier Accelerator?

Det är ett tre månaders program då Bonnier hjälper till att stötta en idé och framförallt en produkt eller företag som redan finns på marknaden. De berättade att vid förra omgången så stöttade de även enbart idéer men inget som de avser att göra igen.

Bonnier kräver inget delägarskap och stöttar med lön samt kontorsplats på huvudkontoret under tre månader. För bra för att vara sant? Ansöker gör du genom att fylla i ett formulär där du ska skicka in en video där du pitchar din idé senast 2:a Maj 2014.

Du får även tillgång till samt hjälp att nyttja Bonniers nätverk med otroligt många företag och varumärken.

Så pitchar du din Startup

Tyler berättade mycket bra ur du lyckas med din pitch. Han har över 7 års erfarenhet av att lära ut bra pitch-tekniker från bl.a. Launch-konferensen som han anordnar tillsammans med Jason Calacanis.

Följande saker är bra att fokusera på när du ska leverera en bra pitch:

  • Försök att förmedla en känsla och lägg krutet på den första minuten. För du tävlar mot Facebook, E-post och allt annat som publiken har i sina telefoner/laptops.
  • Du förmedlar en känsla lättast genom att bygga upp en bra story med drama. Skriv ner din berättelse och använder en karaktär, som inte är dig själv.
  • När du berättar din story så märks det om du övat in den från en skriven text.
  • Om din tjänst är i form av att du skriver in något som de flesta webbtjänsterna är, dvs input -> output så ska output vara 100x mer än vad du skriver in.
  • Berätta vilket problem du löser och blanda gärna in känslor såsom hat, kärlek eller andra saker som fäster människor
  • Använd ej svåra nummer såsom att: Vi når ut till 543000 singel-mammor. Använd i stället: Vi når ut till 1/5 av Sveriges alla singel-mammor.
  • Om du presenterar en berättelse så fokuserar människors hjärnor på att lyssna på historien istället för att hitta brister eller fel på din produkt
  • Ingen bryr sig om vem du är eller vilken skola du har gått i, skippa det
  • Istället för att säga ”Med denna tjänst så kommer du att kunna.. ” så säger du ”Med X så kan du” dvs försök att använda tjänstens ord så ofta du kan så den sätter sig samt så undvik vaga ord såsom kommer, kanske, kunde.

Wow fick nog nästan med allt i Tylers presentation. Många bra godbitar där, men glöm framförallt inte att läsa på innan vem du presenterar för. Exempelvis: Vilka portföljbolag har de sedan tidigare?

Vilka är dina bästa pitch-tips? Skriv en kommentar nedan.

Bonnier Tyler

CoreOS

Så testar du nya CoreOS

Psst! Du vet väl att du kan hyra mig för att göra underverk när det gäller DevOps, IT-säkerhet eller högprestandasystem. Kontakt hittar du här >

CoreOS är ett nytt spännande lättviktigt operativsystem som är byggt för att användas i klusterinfrastrukturer.

Opertivsystemet (OS) är även byggt för att användas till att köra flertalet Docker containers samt så har CoreOS automatiska säkerhetsuppdateringar med två root-filsystem som växlas mellan beroende om det enda uppdateras eller ej. Filsystemen är read-only samt os:et startas om automatiskt vid uppdateringar (eller kexec). Detta innebär så klart att du ej bör lagra något på lokala filsystemet permanent.

Fler fräsiga finneser är en key-value-storage motor inbyggt vid namn etcd (skriven i Go) som även kan användas för service discovery. Etcd synkroniseras automatiskt i hela ditt kluster vilket gör det ypperligt bra för att exempelvis peka ut var dina tjänster håller hus.

CoreOS kluster

CoreOS har tre utvecklare på heltid som jobbar med projektet samt är baserat på Chromium OS som Goolge står bakom. Har även fått in kapital från Andreessen Horowitz samt  Sequoia Capital.

För att testa CoreOS på Mac OS X med Vagrant gör du bara enligt följande:

$ git clone https://github.com/coreos/coreos-vagrant/
$ cd coreos-vagrant
$ vagrant up
$ vagrant ssh

Här är en skärmdump när jag ansluter via vagrant ssh:

CoreOS VagrantOch sedan är det bara att dra igång vår en container i Docker. I detta fall kör jag Ubuntu 13.10:

Docker Ubuntu 13 10

Och här skapade jag en screencast som visar hela förfarandet:

Har du testat CoreOS? Lämna gärna en kommentar om dina erfarenheter.