Also erst einmal eine kleine Vorgeschichte:
Ich wohne in einem ländlichen Gebiet (Ork) und habe zirka eine 1000-er DSL-Leitung…
… leider nutzt mein Bruder nun die Leitung um sein “GuildWars” zu spielen, außerdem habe ich mein W-Lan mit einem zweiten SpeedTouch-Router erweitert, so dass ich im ganzen Haus W-Lan habe und auch meine Schwester, Mutter und Vater online gehen können, welche natürlich zusätzlich die Leitung ausbremsen. Zudem habe ich da noch einen kleinen Xen-Server in meinem Schrank eingebaut aber dazu gleich… :)
Also hab ich mir gedacht, dass ich einen Proxy aufstelle, sodass zumindest Bilder, Updates, … welche jemand bereits heruntergeladen hat, nicht noch einmal aus dem Internet geladen werden müssen.
Eines der Kriterien, die der Proxy-Server erfüllen sollte war, dass ich keine Werbung mehr auf den Webseite haben wollte, dann am besten noch Anonym surfen kann, des weiteren wollte ich es irgendwie hin-bekommen, dass ich meinen kleinen V-Server, auf welchem auch diese Webseite läuft in das ganze geschehen mit einbeziehen kann, um dessen Download-Speed zu nutzen und dass alles ohne sich ständig von intern am Proxy Authentifizieren zu müssen.
Kommen wir nun zur Umsetzung des ganzen:
Mein Home-Netz:
SpeedTouch 585i (192.168.1.254) -> DMZ -> Endian Firewall (192.168.1.220 und 192.168.0.254) (Xen-Server)
Xen-Server: (Lenny – sid)
– Meister-Mail (*extern)
– Meister-Nagios (*intern)
– Meister-Proxy (*intern)
– Meister-Backup (*intern)
[intern = 192.168.0.0/24 und extern = 192.168.1.0/24]
Endian Firewall:
– Firewall / Portweiterleitung (NAT)
– transparenter Proxy-Server (squid)
– Inhaltsfilter (Dansguardian) – deaktiviert
– HTTP Antivirus (havp) – deaktiviert
– transparenter SMTP-Server (postfix)
– Anti-Virus (amavis+clamav)
– Anti-Spam (spamassassin)
– DHCP-Server (dhcpd) (192.168.0.1 – 192.168.0.100)
– DNS-Server (dnsmasq)
– Intrusion Detection System (SNORT) – deaktiviert
– Dynamischer DNS Updat – deaktiviert
– Trafficshaping – deaktiviert
– SIP-Proxy – deaktiviert
– VPN Server (OpenVPN & IPSec) – OpenVPN aktiviert
Die Firewall kann per Web-Oberfläche aus dem “grünen”-Netz (192.168.0.0/24) erreicht werden, zudem wurde die Konfiguration zusätzlich auf der Konsole verändert, so dass der Proxy z.B. nicht preisgibt, dass er etwas mit der Anfrage zu tun hat, somit wird der verwendete Browser/Betriebssystem/Auflösung/Herkunft verschleiert. Ausserdem wurde mithilfe der Weboberfläche eingestellt, dass es einen “Vorgelagerter Proxy” gibt, somit wird die Anfrage ggf. an Meister-Proxy weitergeleitet, wenn diese nicht bereits im Cache des Proxys zu finden ist.
Meister-Proxy:
– Proxy-Server (squid3) [127.0.0.1:8080]
– 2X Proxy-Server (ziproxy) [127.0.0.1:8081 und 192.168.0.232:3128]
Auf Meister-Proxy trifft die Verbindung als erstes auf den ersten Ziproxy-Server, welcher Bilder vom Format “JPEG 2000” zurück in “JPEG” konvertiert, warum dies nötig ist erschließt sich gleich… der nächste Proxy an den die Anfrage gerichtet wird ist ein Squid-Proxy, dieser ist so eingestellt, dass er nicht die aktuellen Updates, Download usw. wie der Proxy auf der Endian Firewall zwischenspeichert. Dieser Proxy speichert Dateien, welche häufig angefragt werden. Dieser leitet die Anfrage nun zum letzten Proxy in diesem Netzwerk weiter. Der zweite Ziproxy-Server empfängt von meinen V-Server HTML-Dateien, welche mit gzip komprimiert sind und Bilder welche im “JPEG 2000” konvertiert und somit verkleinert wurde, leider können dies nicht alle Browser darstellen bzw. verarbeiten, diese Ziproxy-Server macht ein de-gzip und somit erschließt sich auch der Sinn der zweiten Ziproxy-Servers, welcher die Bilder wider zurück konvertiert.
V-Server:
– Proxy-Server (privoxy) [127.0.0.1:8181]
– Proxy-Server (ziproxy) [:3128]
Der V-Server nimmt die Anfrage entgegen, und komprimiert die Daten mittels gzip und wandelt die Bilder in das Format “JPEG 2000” um, dann wird die Anfrage noch an den letzen Proxy geleitet, welcher die Werbung, Popups usw. entfernt und somit keine Werbung über meine langsame Leitung übertagen werden muss.
Zusammenfassung:
1.) Endian Firealll: Squid – Cachen von akuellen Dateien (z.B. Updates)
2.) Meister-Proxy: Ziproxy – dekomprimieren von Bildern für den Enduser
3.) Meister-Proxy: Squid – Cachen von häufigen Dateien (z.B. Google-Logo)
4.) Meister-Proxy: Ziproxy – dekomprimieren von gzip-Daten
5.) V-Server: Ziproxy – Komprimierung mittels “gzip” und “JPEG 2000”
6.) V-Server: Privoxy – Filtern von Werbung
Im grunde muss man diese Zusammenfassung nun rückwärts lesen, so sieht man den Weg, welchen die Webseite durchwandert, bis diese im Browser dargestellt wird.
Proxy-Server
Auf das Bild klicken, um es groß zu sehen!
Die Konfiguration:
Meister-Proxy: 2-mal Ziproxy
cd /usr/src/
wget http://kent.dl.sourceforge.net/sourceforge/ziproxy/ziproxy-2.7.1.tar.bz2
tar --bzip -xvf ziproxy-2.7.1.tar.bz2
cd ziproxy-2.7.1/
sudo aptitude install libgif-dev libgif4 libungif4-dev libungif-bin libungif4g libpng3 libpng3-dev libpng-dev libjpeg-dev libjpeg-gif libjpeg62 libjpeg62-dev libjasper-1.700-2 libjasper-1.701-dev
./configure --with-jasper=/usr/
make
make install
cp -pv /usr/local/bin/ziproxy /usr/bin/ziproxy
vim /etc/default/ziproxy
# Defaults for ziproxy initscript
# sourced by /etc/init.d/ziproxy
# installed at /etc/default/ziproxy by the maintainer scripts
#
# This is a POSIX shell fragment
#
# Additional options that are passed to the Daemon.
# DAEMON_OPTS="-c /etc/ziproxy/ziproxy.conf"
DAEMON_OPTS1="-c /etc/ziproxy/ziproxy-link.conf"
DAEMON_OPTS2="-c /etc/ziproxy/ziproxy-user.conf"
vim /etc/init.d/ziproxy
#!/bin/sh
### BEGIN INIT INFO
# Provides: ziproxy
# Required-Start: $network $local_fs
# Required-Stop: $network $local_fs
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: Init script for ziproxy
# Description: This is the init script for ziproxy.
### END INIT INFO
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DAEMON=/usr/bin/ziproxy
NAME=ziproxy
DESC=ziproxy
test -x $DAEMON || exit 0
PIDFILE=/var/run/$NAME.pid
DODTIME=1 # Time to wait for the server to die, in seconds
# If this value is set too low you might not
# let some servers to die gracefully and
# 'restart' will not work
# Include ziproxy defaults if available
if [ -f /etc/default/ziproxy ] ; then
. /etc/default/ziproxy
fi
DAEMON_OPTS1="$DAEMON_OPTS1 -d"
DAEMON_OPTS2="$DAEMON_OPTS2 -d"
set -e
running_pid()
{
# Check if a given process pid's cmdline matches a given name
pid=$1
name=$2
[ -z "$pid" ] && return 1
[ ! -d /proc/$pid ] && return 1
cmd=`cat /proc/$pid/cmdline | tr "00" "n"|head -n 1 |cut -d : -f 1`
# Is this the expected child?
##[ "$cmd" != "$name" ] && return 1
[ "$cmd" != "$name" ] && return 1
return 0
}
running()
{
# Check if the process is running looking at /proc
# (works for all users)
# No pidfile, probably no daemon present
[ ! -f "$PIDFILE" ] && return 1
# Obtain the pid and check it against the binary name
pid=`cat $PIDFILE`
running_pid $pid $DAEMON || return 1
return 0
}
force_stop() {
# Forcefully kill the process
[ ! -f "$PIDFILE" ] && return
if running ; then
kill -15 $pid
# Is it really dead?
[ -n "$DODTIME" ] && sleep "$DODTIME"s
if running ; then
kill -9 $pid
[ -n "$DODTIME" ] && sleep "$DODTIME"s
if running ; then
echo "Cannot kill $NAME (pid=$pid)!"
exit 1
fi
fi
fi
rm -f $PIDFILE
return 0
pkill -9 ziproxy
}
is_not_running() {
if ! running; then
echo "$NAME is not running."
exit 1
fi
}
case "$1" in
start)
echo -n "Starting $DESC: "
if running; then
echo "$NAME is already running."
exit 1
fi
start-stop-daemon --start --quiet --pidfile $PIDFILE
--exec $DAEMON -- $DAEMON_OPTS1 > $PIDFILE
start-stop-daemon --start --quiet --pidfile $PIDFILE
--exec $DAEMON -- $DAEMON_OPTS2 > $PIDFILE
if running; then
echo "$NAME."
else
echo " ERROR."
fi
;;
stop)
echo -n "Stopping $DESC: "
start-stop-daemon --stop --quiet --pidfile $PIDFILE
--exec $DAEMON
echo "$NAME."
;;
force-stop)
echo -n "Forcefully stopping $DESC: "
is_not_running
force_stop
if ! running; then
echo "$NAME."
else
echo " ERROR."
fi
pkill -9 ziproxy
;;
#reload)
#
# If the daemon can reload its config files on the fly
# for example by sending it SIGHUP, do it here.
#
# If the daemon responds to changes in its config file
# directly anyway, make this a do-nothing entry.
#
# echo "Reloading $DESC configuration files."
# start-stop-daemon --stop --signal 1 --quiet --pidfile
# /var/run/$NAME.pid --exec $DAEMON
#;;
force-reload)
#
# If the "reload" option is implemented, move the "force-reload"
# option to the "reload" entry above. If not, "force-reload" is
# just the same as "restart" except that it does nothing if the
# daemon isn't already running.
# check wether $DAEMON is running. If so, restart
start-stop-daemon --stop --test --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON
&& $0 restart
|| exit 0
;;
restart)
echo -n "Restarting $DESC: "
is_not_running
start-stop-daemon --stop --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON
[ -n "$DODTIME" ] && sleep $DODTIME
start-stop-daemon --start --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON -- $DAEMON_OPTS1 > $PIDFILE
start-stop-daemon --start --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON -- $DAEMON_OPTS2 > $PIDFILE
echo "$NAME."
;;
status)
echo -n "$NAME is "
if running ; then
echo "running."
else
echo "not running."
exit 1
fi
;;
*)
N=/etc/init.d/$NAME
echo "Usage: $N {start|stop|restart|force-reload|status|force-stop}" >&2
exit 1
;;
esac
exit 0
Ziproxy-Link:
vim /etc/ziproxy/ziproxy-link.conf
Port = 8081
Address = "127.0.0.1"
NetdTimeout = 0
NextProxy="85.214.153.167"
NextPort=3128
ZiproxyTimeout = 0
TransparentProxy = false
ConventionalProxy = true
AllowMethodCONNECT = false
UseContentLength = false
MaxUncompressedGzipRatio = 4000
MinUncompressedGzipStreamEval = 250000
MaxSize = 2097152
Gzip = true
PreemptNameRes = true
PreemptNameResMax = 10
PreemptNameResBC = true
WA_MSIE_FriendlyErrMsgs = false
Compressible = {
"shockwave", "msword", "msexcel", "mspowerpoint", "rtf", "postscript",
"java", "javascript", "staroffice", "vnd.", "futuresplash",
"asp", "class", "font", "truetype-font", "php", "cgi", "executable",
"shellscript", "perl", "python", "awk", "dvi", "css",
"xhtml+xml", "rss+xml", "xml", "pdf", "tar"
}
ProcessJPG = false
ProcessPNG = false
ProcessGIF = false
ImageQuality = {80,80,80,80}
JP2ImageQuality = {80,80,80,80}
ProcessJP2 = false
ProcessToJP2 = true
ForceOutputNoJP2 = false
AnnounceJP2Capability = true
DecompressIncomingGzipData = true
Ziproxy-User:
vim /etc/ziproxy/ziproxy-user.conf
Port = 3128
Address = "192.168.0.232"
NetdTimeout = 0
NextProxy="127.0.0.1"
NextPort=8080
TransparentProxy = false
ConventionalProxy = true
AllowMethodCONNECT = false
ZiproxyTimeout = 0
UseContentLength = false
MaxUncompressedGzipRatio = 4000
MinUncompressedGzipStreamEval = 250000
MaxSize = 2097152
Gzip = true
PreemptNameRes = true
PreemptNameResMax = 10
PreemptNameResBC = true
WA_MSIE_FriendlyErrMsgs = false
Compressible = {
"shockwave", "msword", "msexcel", "mspowerpoint", "rtf", "postscript",
"java", "javascript", "staroffice", "vnd.", "futuresplash",
"asp", "class", "font", "truetype-font", "php", "cgi", "executable",
"shellscript", "perl", "python", "awk", "dvi", "css",
"xhtml+xml", "rss+xml", "xml", "pdf", "tar"
}
ProcessJPG = true
ProcessPNG = true
ProcessGIF = true
ProcessHTML = true
ProcessCSS = true
ProcessJS = false
ProcessHTML_JS = false
ImageQuality = {80,80,80,80}
JP2ImageQuality = {80,80,80,80}
ProcessJP2 = true
ProcessToJP2 = false
ForceOutputNoJP2 = true
Meister-Proxy: Squid
(Squid + VideoCache )
sudo aptitude install squid3
vim /etc/squid3/squid.conf
[...]
http_port 8080
[...]
Anbei mein Squid3-Konfig ->
awk '!/^ *#/&&(length > 0)' /etc/squid3/squid.conf | less
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl SSL_ports port 81
acl Safe_ports port 80 # http
acl Safe_ports port 81 # http_isp-config
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access deny to_localhost
http_access allow localhost
http_access deny all
icp_access allow localhost
icp_access deny all
htcp_access allow localhost
htcp_access deny all
http_port 8080
cache_peer localhost parent 8081 0 no-query no-digest
hierarchy_stoplist cgi-bin ?
cache_mem 250 MB
maximum_object_size_in_memory 512 KB
cache_replacement_policy heap LFUDA
cache_dir ufs /var/spool/squid3 3500 16 256
minimum_object_size 0 KB
maximum_object_size 2048 KB
cache_swap_low 95
cache_swap_high 98
access_log none
cache_store_log none
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern (cgi-bin|?) 0 0% 0
refresh_pattern . 0 20% 4320
via off
cache_mgr voku@voku-online.de
ipcache_size 5000
fqdncache_size 5000
forwarded_for off
client_db off
maximum_single_addr_tries 5
retry_on_error on
coredump_dir /var/spool/squid3
url_rewrite_program /usr/bin/python /usr/share/videocache/videocache.py
url_rewrite_children 7
acl videocache_allow_url url_regex -i .youtube.com/get_video?
acl videocache_allow_url url_regex -i .googlevideo.com/videoplayback .googlevideo.com/videoplay .googlevideo.com/get_video?
acl videocache_allow_url url_regex -i .google.com/videoplayback .google.com/videoplay .google.com/get_video?
acl videocache_allow_url url_regex -i .google.[a-z][a-z]/videoplayback .google.[a-z][a-z]/videoplay .google.[a-z][a-z]/get_video?
acl videocache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)/videoplayback?
acl videocache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)/videoplay?
acl videocache_allow_url url_regex -i (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)/get_video?
acl videocache_allow_url url_regex -i proxy[a-z0-9-][a-z0-9][a-z0-9][a-z0-9]?.dailymotion.com/
acl videocache_allow_url url_regex -i vid.akm.dailymotion.com/
acl videocache_allow_url url_regex -i [a-z0-9][0-9a-z][0-9a-z]?[0-9a-z]?[0-9a-z]?.xtube.com/(.*)flv
acl videocache_allow_url url_regex -i bitcast.vimeo.com/vimeo/videos/
acl videocache_allow_url url_regex -i va.wrzuta.pl/wa[0-9][0-9][0-9][0-9]?
acl videocache_allow_url url_regex -i .files.youporn.com/(.*)/flv/
acl videocache_allow_url url_regex -i .msn.com.edgesuite.net/(.*).flv
acl videocache_allow_url url_regex -i media[a-z0-9]?[a-z0-9]?[a-z0-9]?.tube8.com/ mobile[a-z0-9]?[a-z0-9]?[a-z0-9]?.tube8.com/
acl videocache_allow_url url_regex -i .mais.uol.com.br/(.*).flv
acl videocache_allow_url url_regex -i .video[a-z0-9]?[a-z0-9]?.blip.tv/(.*).(flv|avi|mov|mp3|m4v|mp4|wmv|rm|ram)
acl videocache_allow_url url_regex -i video.break.com/(.*).(flv|mp4)
acl videocache_allow_dom dstdomain .mccont.com dl.redtube.com .cdn.dailymotion.com
acl videocache_deny_url url_regex -i http://[a-z][a-z].youtube.com http://www.youtube.com
acl videocache_deny_url url_regex -i http://[a-z][a-z].maxdome.de http://www..maxdome.de
url_rewrite_access deny videocache_deny_url
url_rewrite_access allow videocache_allow_url
url_rewrite_access allow videocache_allow_dom
redirector_bypass on
Endian-Firewall: Squid
Squid wird über die Weboberfläche konfiguriert.
https://IP:10443/cgi-bin/advproxy.cgi
Nun verlassen wir unser Home-Netz und begeben uns zu dem V-Server…
V-Server: Ziproxy
wie zuvor wird auch hier als erstes der Ziproxy-Server installiert… gehen wir daher direkt zur Konfiguration über.
Deutsche (german) Ziproxy-Doku:
http://voku-online.de/ziproxy.txt
V-Server: Privoxy
wget http://ovh.dl.sourceforge.net/sourceforge/ijbswa/privoxy_3.0.13-1_i386.deb
dpkg -i privoxy_3.0.13-1_i386.deb
awk '!/^ *#/&&(length > 0)' /etc/privoxy/config
user-manual /usr/share/doc/privoxy/user-manual
confdir /etc/privoxy
logdir /var/log/privoxy
actionsfile match-all.action # Actions that are applied to all sites and maybe overruled later on.
actionsfile default.action # Main actions file
actionsfile user.action # User customizations
filterfile default.filter
logfile logfile
listen-address 127.0.0.1:8118
toggle 1
enable-remote-toggle 1
enable-remote-http-toggle 1
enable-edit-actions 0
enforce-blocks 1
buffer-limit 500000
# forward / 127.0.0.1:8080
# forwarded-connect-retries 3
accept-intercepted-requests 1
allow-cgi-request-crunching 0
split-large-forms 1
keep-alive-timeout 600
connection-sharing 1
socket-timeout 600
log-messages 0
************ Anonym-Modus (TOR) ************
echp 'deb http://mirror.noreply.org/pub/tor lenny main' >> /etc/apt/sources.list
apt-key adv --recv-keys --keyserver subkeys.pgp.net 0x94C09C7F
apt-get update && aptitude install tor
echo 'forward-socks4a / localhost:9050 .' >> /etc/privoxy/config
*******************************************
Auf folgender Webseite, testen wir nun, ob die Bilder in allen Formaten angezeigt werden… ->www.aadmm.de/de/gf.htm
Und auf der nächsten Webseite testen wir welche HTTP-Header Daten mit übertragen werden.
mein Ergebnis:
###################### Proxy checking Report: ######################
IP DETECT: 85.214.114.181
COUNTRY: Germany – DE
RESULT: high-anonymous elite proxy
###################### Main anonymous proxy test variables: ######################
HTTP_FORWARDED: N/A
HTTP_X_FORWARDED_FOR: N/A
HTTP_CLIENT_IP: N/A
###################### Additional proxy variables: ######################
HTTP_VIA: N/A
HTTP_XROXY_CONNECTION: N/A
HTTP_PROXY_CONNECTION: N/A
###################### Other interesting info about you: ######################
HTTP_USERAGENT_VIA: N/A
HTTP_USER_AGENT: Opera/9.80 (Windows NT 6.1; U; de) Presto/2.2.15 Version/10.00
HTTP_ACCEPT_LANGUAGE: de-DE,de;q=0.9,en;q=0.8
REMOTE_HOST: N/A
HTTP_CONNECTION: close
SERVER_PROTOCOL: HTTP/1.0
HTTP_REFERER: N/A
HTTP_ACCEPT: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
HTTP_CACHE_CONTROL: max-age=259200
HTTP_CACHE_INFO: N/A
