Ziproxy ist ein nicht HTTP-Proxy Server, welcher Daten nicht zwischenspeichert, diese jedoch komprimiert und weiterleitet. Die meiste Bandbreite wird eingespart, indem Bilder neu-konvertiert werden und andere Daten per gzip komprimiert werden.
Ziproxy benötige keine Client-Software, solange der Browser die gzip-Daten korrekt dekomprimieren kann und auch mit JPEG 2000 Bildern umgehen kann. Der Proxy kann auf unterschiedliche Arten konfiguriert werden, ich hatte bereits vor langer Zeit über Ziproxy berichtet (Mein Proxy-Server) und da ich darauf aufmerksam gemacht wurde, dass die gezeigte Konfiguration in der neuen Version nicht mehr funktioniert, ich jedoch den gezeigten Proxy-Aufbau nicht mehr im Einsatz habe, wollte ich in diesem Blog-Post zumindest die beiden Grundkonfigurationen zeigen. (ggf. wäre ein solcher Proxy auch für Smartphones hilfreich)
1.) Ziproxy als Remote-Proxy
Als erstes die einfachste Variante, hier verbindet sich der Ziproxy über eine schnelle Verbindung (extern) mit dem HTTP-Servern und schickt die Daten über eine langsame Verbindung weiter.
Konfiguration: ziproxy.conf (mit ein paar Kommentaren)
Ziproxy-Standard
2.) Ziproxy als Remote-Proxy + Local-Proxy
Die Konfiguration des Remote-Proxys unterscheidet sich im Grunde nicht von der ersten Variante, auch hier wird keine Client-Software benötigt, da ein zweiter lokaler Ziproxy sozusagen als Client fungiert, dies hat den Vorteil:
der Browser muss nicht “JPEG 2000” unterstützen
der Client (z.B. Squid) muss nicht “gzip” unterstützen
CPU-Last wird auf einen Server verlagert (ggf. wenn der Browser durch “JPEG 2000”-Bilder hohe CPU-Last erzeugt)
Wer seinen Browser so einstellt, dass dieser den Proxy (z.B. Squid) im Netzwerk selber finden soll, muss man folgendes zuvor in seiner Konfiguration des Servers anpassen.
1.) Webserver Konfigurieren
ggf. den Webserver installieren, wenn es keinen im Netzwerk gibt
aptitude install apache2
folgende Datei anpassen
vim /etc/apache2/httpd.conf
AddType application/x-ns-proxy-autoconfig.dat
in der zuvor angegebenen Datei angeben und danach den Webserver neu-starten
/etc/init.d/apache2 reload
Datei im Web-Verzeichnis erstellen, so dass alle im Netzwerk darauf zugreifen können.
vim /var/www/wpad.dat
function FindProxyForURL(url, host)
{
if (isInNet(host, "x.x.x.0", "255.255.255.0"))
return "DIRECT";
else
return "PROXY x.x.x.x:8080";
}
folgende Dinge müssen noch angegeben werden
x.x.x.0 -> Netzwerk
x.x.x.x:8080 -> Proxy-IP:Port
2.) DHCP-Server Konfigurieren
Einen DHCP-Server installieren, dabei muss beachtet werden, dass der DHCP-Server der CPE (Router) welcher Standardmäßig aktiv ist, zuvor deaktiviert werden muss.
aptitude install dhcp3-server
vim /etc/dhcp3/dhcpd.conf
als Beispiel gebe ich hier meine Konfigurations-Datei an
Heute stelle ich ein Programm für Squid vor, welches jedoch nicht mehr in der Form als freies Programm weiterentwickelt wird,
Unterstützte Webseiten:
1. Youtube Videos – youtube.com
2. Metacafe Videos – metacafe.com
3. DailyMotion Videos – dailymotion.com
4. Google Videos – video.google.com
5. Vimeo HD Videos – vimeo.com
6. Wrzuta Audio – wrzuta.pl
7. MSN Soapbox Videos – soapbox.msn.com
8. Blip TV Videos – blip.tv
9. Break Videos – break.com
10. TV UOL – tvuol.uol.com.br
11. Red Tube Videos
12. X Tube Videos
13. You Pron Videos
14. Tube 8 Videos
Was wird vorausgesetzt?
1.) Squid >= 2.6
2.) Python = 2.4 oder 2.5
3.) Python-urlgrabber
4.) Python-iniparse
5.) Apache ( bzw. Web Server)
Installation:
1.) python-urlgrabber installieren
aptitude install python-urlgrabber
2.) python-iniparse installieren
cd /usr/src/
wget http://iniparse.googlecode.com/files/python-iniparse_0.3.1-1_all.deb
dpkg -i python-iniparse_0.3.1-1_all.deb
3.) VideoCache installieren
cd /usr/src/
wget http://voku-online.de/videocache-1.9.2.tar.gz
tar -xzf videocache-1.9.2.tar.gz
cd videocache-1.9.2/
./setup-deb.py install
cp videocache-httpd.conf /etc/apache2/conf.d/videocache.conf
cp videocache-sysconfig.conf /etc/videocache.conf
vim /etc/videocache.conf
Falls jemand bereits ein “url_rewrite_program” mit seinem Squid nutzt, z.B. zapper und squidclamav dann kann man diese auch gemeinsam mit videocache bereiben. ->
vim /usr/local/bin/wrapzap
#!/bin/sh
squidclamav=/usr/local/bin/squidclamav
zapper=/usr/local/bin/squid_redirect
# NOTICE THE CHANGE -- CHANGE No. 1
videocache=/usr/share/videocache/videocache.py
[...]
# Exec the real zapper (chained with SquidClamav)
#exec /usr/local/bin/zapchain "$zapper" "$squidclamav"
# NOTICE THE CHANGE -- CHANGE NO. 2
exec /usr/local/bin/zapchain "$zapper" "$squidclamav" "$videocache"
Ich wohne in einem ländlichen Gebiet (Ork) und habe zirka eine 1000-er DSL-Leitung…
… leider nutzt mein Bruder nun die Leitung um sein “GuildWars” zu spielen, außerdem habe ich mein W-Lan mit einem zweiten SpeedTouch-Router erweitert, so dass ich im ganzen Haus W-Lan habe und auch meine Schwester, Mutter und Vater online gehen können, welche natürlich zusätzlich die Leitung ausbremsen. Zudem habe ich da noch einen kleinen Xen-Server in meinem Schrank eingebaut aber dazu gleich… :)
Also hab ich mir gedacht, dass ich einen Proxy aufstelle, sodass zumindest Bilder, Updates, … welche jemand bereits heruntergeladen hat, nicht noch einmal aus dem Internet geladen werden müssen.
Eines der Kriterien, die der Proxy-Server erfüllen sollte war, dass ich keine Werbung mehr auf den Webseite haben wollte, dann am besten noch Anonym surfen kann, des weiteren wollte ich es irgendwie hin-bekommen, dass ich meinen kleinen V-Server, auf welchem auch diese Webseite läuft in das ganze geschehen mit einbeziehen kann, um dessen Download-Speed zu nutzen und dass alles ohne sich ständig von intern am Proxy Authentifizieren zu müssen.
Die Firewall kann per Web-Oberfläche aus dem “grünen”-Netz (192.168.0.0/24) erreicht werden, zudem wurde die Konfiguration zusätzlich auf der Konsole verändert, so dass der Proxy z.B. nicht preisgibt, dass er etwas mit der Anfrage zu tun hat, somit wird der verwendete Browser/Betriebssystem/Auflösung/Herkunft verschleiert. Ausserdem wurde mithilfe der Weboberfläche eingestellt, dass es einen “Vorgelagerter Proxy” gibt, somit wird die Anfrage ggf. an Meister-Proxy weitergeleitet, wenn diese nicht bereits im Cache des Proxys zu finden ist.
Auf Meister-Proxy trifft die Verbindung als erstes auf den ersten Ziproxy-Server, welcher Bilder vom Format “JPEG 2000” zurück in “JPEG” konvertiert, warum dies nötig ist erschließt sich gleich… der nächste Proxy an den die Anfrage gerichtet wird ist ein Squid-Proxy, dieser ist so eingestellt, dass er nicht die aktuellen Updates, Download usw. wie der Proxy auf der Endian Firewall zwischenspeichert. Dieser Proxy speichert Dateien, welche häufig angefragt werden. Dieser leitet die Anfrage nun zum letzten Proxy in diesem Netzwerk weiter. Der zweite Ziproxy-Server empfängt von meinen V-Server HTML-Dateien, welche mit gzip komprimiert sind und Bilder welche im “JPEG 2000” konvertiert und somit verkleinert wurde, leider können dies nicht alle Browser darstellen bzw. verarbeiten, diese Ziproxy-Server macht ein de-gzip und somit erschließt sich auch der Sinn der zweiten Ziproxy-Servers, welcher die Bilder wider zurück konvertiert.
Der V-Server nimmt die Anfrage entgegen, und komprimiert die Daten mittels gzip und wandelt die Bilder in das Format “JPEG 2000” um, dann wird die Anfrage noch an den letzen Proxy geleitet, welcher die Werbung, Popups usw. entfernt und somit keine Werbung über meine langsame Leitung übertagen werden muss.
Zusammenfassung:
1.) Endian Firealll: Squid – Cachen von akuellen Dateien (z.B. Updates)
2.) Meister-Proxy: Ziproxy – dekomprimieren von Bildern für den Enduser
3.) Meister-Proxy: Squid – Cachen von häufigen Dateien (z.B. Google-Logo)
4.) Meister-Proxy: Ziproxy – dekomprimieren von gzip-Daten
5.) V-Server: Ziproxy – Komprimierung mittels “gzip” und “JPEG 2000”
6.) V-Server: Privoxy – Filtern von Werbung
Im grunde muss man diese Zusammenfassung nun rückwärts lesen, so sieht man den Weg, welchen die Webseite durchwandert, bis diese im Browser dargestellt wird.
Proxy-Server
Auf das Bild klicken, um es groß zu sehen!
Die Konfiguration:
Meister-Proxy: 2-mal Ziproxy
cd /usr/src/
wget http://kent.dl.sourceforge.net/sourceforge/ziproxy/ziproxy-2.7.1.tar.bz2
tar --bzip -xvf ziproxy-2.7.1.tar.bz2
cd ziproxy-2.7.1/
# Defaults for ziproxy initscript
# sourced by /etc/init.d/ziproxy
# installed at /etc/default/ziproxy by the maintainer scripts
#
# This is a POSIX shell fragment
#
# Additional options that are passed to the Daemon.
# DAEMON_OPTS="-c /etc/ziproxy/ziproxy.conf"
DAEMON_OPTS1="-c /etc/ziproxy/ziproxy-link.conf"
DAEMON_OPTS2="-c /etc/ziproxy/ziproxy-user.conf"
vim /etc/init.d/ziproxy
#!/bin/sh
### BEGIN INIT INFO
# Provides: ziproxy
# Required-Start: $network $local_fs
# Required-Stop: $network $local_fs
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: Init script for ziproxy
# Description: This is the init script for ziproxy.
### END INIT INFO
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DAEMON=/usr/bin/ziproxy
NAME=ziproxy
DESC=ziproxy
test -x $DAEMON || exit 0
PIDFILE=/var/run/$NAME.pid
DODTIME=1 # Time to wait for the server to die, in seconds
# If this value is set too low you might not
# let some servers to die gracefully and
# 'restart' will not work
# Include ziproxy defaults if available
if [ -f /etc/default/ziproxy ] ; then
. /etc/default/ziproxy
fi
DAEMON_OPTS1="$DAEMON_OPTS1 -d"
DAEMON_OPTS2="$DAEMON_OPTS2 -d"
set -e
running_pid()
{
# Check if a given process pid's cmdline matches a given name
pid=$1
name=$2
[ -z "$pid" ] && return 1
[ ! -d /proc/$pid ] && return 1
cmd=`cat /proc/$pid/cmdline | tr "00" "n"|head -n 1 |cut -d : -f 1`
# Is this the expected child?
##[ "$cmd" != "$name" ] && return 1
[ "$cmd" != "$name" ] && return 1
return 0
}
running()
{
# Check if the process is running looking at /proc
# (works for all users)
# No pidfile, probably no daemon present
[ ! -f "$PIDFILE" ] && return 1
# Obtain the pid and check it against the binary name
pid=`cat $PIDFILE`
running_pid $pid $DAEMON || return 1
return 0
}
force_stop() {
# Forcefully kill the process
[ ! -f "$PIDFILE" ] && return
if running ; then
kill -15 $pid
# Is it really dead?
[ -n "$DODTIME" ] && sleep "$DODTIME"s
if running ; then
kill -9 $pid
[ -n "$DODTIME" ] && sleep "$DODTIME"s
if running ; then
echo "Cannot kill $NAME (pid=$pid)!"
exit 1
fi
fi
fi
rm -f $PIDFILE
return 0
pkill -9 ziproxy
}
is_not_running() {
if ! running; then
echo "$NAME is not running."
exit 1
fi
}
case "$1" in
start)
echo -n "Starting $DESC: "
if running; then
echo "$NAME is already running."
exit 1
fi
start-stop-daemon --start --quiet --pidfile $PIDFILE
--exec $DAEMON -- $DAEMON_OPTS1 > $PIDFILE
start-stop-daemon --start --quiet --pidfile $PIDFILE
--exec $DAEMON -- $DAEMON_OPTS2 > $PIDFILE
if running; then
echo "$NAME."
else
echo " ERROR."
fi
;;
stop)
echo -n "Stopping $DESC: "
start-stop-daemon --stop --quiet --pidfile $PIDFILE
--exec $DAEMON
echo "$NAME."
;;
force-stop)
echo -n "Forcefully stopping $DESC: "
is_not_running
force_stop
if ! running; then
echo "$NAME."
else
echo " ERROR."
fi
pkill -9 ziproxy
;;
#reload)
#
# If the daemon can reload its config files on the fly
# for example by sending it SIGHUP, do it here.
#
# If the daemon responds to changes in its config file
# directly anyway, make this a do-nothing entry.
#
# echo "Reloading $DESC configuration files."
# start-stop-daemon --stop --signal 1 --quiet --pidfile
# /var/run/$NAME.pid --exec $DAEMON
#;;
force-reload)
#
# If the "reload" option is implemented, move the "force-reload"
# option to the "reload" entry above. If not, "force-reload" is
# just the same as "restart" except that it does nothing if the
# daemon isn't already running.
# check wether $DAEMON is running. If so, restart
start-stop-daemon --stop --test --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON
&& $0 restart
|| exit 0
;;
restart)
echo -n "Restarting $DESC: "
is_not_running
start-stop-daemon --stop --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON
[ -n "$DODTIME" ] && sleep $DODTIME
start-stop-daemon --start --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON -- $DAEMON_OPTS1 > $PIDFILE
start-stop-daemon --start --quiet --pidfile
/var/run/$NAME.pid --exec $DAEMON -- $DAEMON_OPTS2 > $PIDFILE
echo "$NAME."
;;
status)
echo -n "$NAME is "
if running ; then
echo "running."
else
echo "not running."
exit 1
fi
;;
*)
N=/etc/init.d/$NAME
echo "Usage: $N {start|stop|restart|force-reload|status|force-stop}" >&2
exit 1
;;
esac
exit 0
In order to optimize the website and to continuously improve it, this site uses cookies. By continuing to use the website, you consent to the use of cookies.Ok
