Bounce-management

[Marv]

Wenn du die Mails umleiten lässt, dann merkt es natürlich keiner. Aber die Serverlast hast du damit trotzdem, die Mail kommt an und muss weitergeleitet werden.

Das ist natürlich richtig - aber da meine Mailaccounts auf der selben Partition wie die Log-Dateien und die Mysql- Datenbanken liegen, fehlt mir einfach der physische Platz für einen 1,5 GB Mailaccount, in dem Bounce-Mails gesammelt würden.

Gibt es keine Fehlermeldung z.B. Ereignisprotokoll beim Abruf der Bounces oder im error_log des Servers?

Ja. D.h., eigentlich nein. Die Meldungen zeigen lediglich an, daß sich der SWM mit dem Account erfolgreich verbindet. Allerdings zeigen sie auch, daß er (nach der Umleitung der Mails zu Yahoo und dem ersten Connect) lediglich eine Mail im Account gefunden hatte, was auch so stimmte. Die hat er jedoch auch wieder nicht als Bounce erkannt und alle nachfolgenden Bounces ignoriert er selbst in der Erkennung. Für ihn ist in dem Account noch immer nur eine einzige Mail vorhanden. Tatsächlich enthält er momentan knapp 500:

Erster Connect, Mailboxinhalt 1 Bounce

Aktion: Prüfung auf unzustellbare E-Mails (Hard bounces)
Start: 24.02.2009 15:54:01
Ende: 24.02.2009 15:54:03
Ergebnis: Bounce checking starts...
Checking inbox \"Newsletter YMAIL\"
Successfully; found new emails: 1; hard bounces: 0
Done Checking inbox \"Newsletter YMAIL\"

Bounce checking end.

Zweiter Connect, Mailboxinhalt 14 Bounces

Aktion: Prüfung auf unzustellbare E-Mails (Hard bounces)
Start: 24.02.2009 16:04:01
Ende: 24.02.2009 16:04:02
Ergebnis: Bounce checking starts...
Checking inbox \"Newsletter YMAIL\"
Successfully; found new emails: 0; hard bounces: 0
Done Checking inbox \"Newsletter YMAIL\"

Bounce checking end.

Die Bounces selbst schauen so aus (4 Beispiele, die den Großteil ausmachen):

Hi. This is the qmail-send program at xyz-server.
I\'m afraid I wasn\'t able to deliver your message to the following addresses.
This is a permanent error; I\'ve given up. Sorry it didn\'t work out.

<xyz>:
202.xx.xx.x.x failed after I sent the message.
Remote host said: 554 delivery error: dd Sorry your message to xyz@abc.de cannot be delivered. This account has been disabled or discontinued [#102]. - mta152.mail.abc.com

--- Below this line is a copy of the message.
[snip...]

--------------------

Hi. This is the qmail-send program at xyz-server.
I\'m afraid I wasn\'t able to deliver your message to the following addresses.
This is a permanent error; I\'ve given up. Sorry it didn\'t work out.

<xyz>:
217.xx.xxx.xxx does not like recipient.
Remote host said: 550 <xyz> Benutzer hat das Speichervolumen ueberschritten. / User has exhausted allowed storage space.
Giving up on 217.xx.xxx.xxx.

--- Below this line is a copy of the message.
[snip]

--------------------

Hi. This is the qmail-send program at xyz-server.
I\'m afraid I wasn\'t able to deliver your message to the following addresses.
This is a permanent error; I\'ve given up. Sorry it didn\'t work out.

<xyz>:
65.xx.xxx.xxdoes not like recipient.
Remote host said: 550 Requested action not taken: mailbox unavailable
Giving up on 65.xx.xxx.xx.

--- Below this line is a copy of the message.
[snip]

--------------------
Hi. This is the qmail-send program at xyz-server.
I\'m afraid I wasn\'t able to deliver your message to the following addresses.
This is a permanent error; I\'ve given up. Sorry it didn\'t work out.

<xyz>:
205.xxx.xxx.xxdoes not like recipient.
Remote host said: 550 MAILBOX NOT FOUND
Giving up on 205.xxx.xxx.xx.

--- Below this line is a copy of the message.

Haste vielleicht eine Idee woran das Haken kann ?

Gruß,
Marv.

[edit]Das Problem mit den Versandprotokollen hat sich übrigens erledigt. Heute morgen zeigt er das Mailing als versandt an und gibt auch die Zahlenwerte aus. Vermutlich lief da tatsächlich noch irgendwas im Hintergrund.[/edit]

[mirko]

Die Versendung selbst läuft über php Mail(), von daher ist das mit der Versendeadresse doch im Grunde nicht das Problem, oder doch? Der ReturnPath bleibt ja unverändert und \"merken\" würde also keiner, daß die BounceMail statt im originären eben im Yahoo-Account endet. Oder irre ich mich da gerade ?

Wenn du die Mails umleiten lässt, dann merkt es natürlich keiner. Aber die Serverlast hast du damit trotzdem, die Mail kommt an und muss weitergeleitet werden.

Das Bounce-Management stellt bei mir aber dennoch ein mittelprächtiges Problem dar. Ich habe die bouncer.php angepasst, das Limit der Abrufe gar auf 1 Mail alle 3 Minuten gestellt - aber es tut sich einfach nichts.. Hast Du da eine Idee, woran das noch liegen könnte ? Noch seltsamer wird es, wenn man sich betrachtet, wie der SWM dann die bereits vorhandenen 38 BounceMails erkannt und richtig verarbeitet hat. Mhh..

Gibt es keine Fehlermeldung z.B. Ereignisprotokoll beim Abruf der Bounces oder im error_log des Servers?

Aber last-but-not-least ist mir bei den Versandprotokollen noch etwas aufgefallen. Hier zeigt der SWM nach dem kompletten Versand in den Ãœbersichten immer noch die Meldung \"Versand läuft gerade\" an, statt die berechneten Zahlenwerte auszugeben.

Der Versand ist in diesem Fall noch nicht abgeschlossen bzw. noch nicht als abgeschlossen markiert. Für jedes E-Mailing gibt es eine Tabelle <name>_sendstate. In der Tabelle muss nach Abschluss des Versands stehen SendState=Done und CampaignSendDone=1. Manuell sollte man die Werte eigentlich nicht setzen, weil erst beim Setzen des Status, anhand der Angaben in der Tabelle <name>_statistics gezählt wird, wie viele erfolgreich waren und wie viele fehlgeschlagen sind.

Die Live-versendeten (und durch Schließen des Browsers abgebrochenen) Mailings zeigt er im übrigen immer noch mit dem Status \"Versand läuft gerade\" an - und löschen lässt sich ja währenddessen weder der Eintrag, noch das Ganze Mailing. Aber das paßt wohl mit in das vorher beschriebene Problem des Löschens.

Das Löschen klappt natürlich nicht, man bricht ja auch keinen laufenden Versand ab. Die Tabelle <name>_sendstate kannst natürlich \"aufräumen\", so dass alles gelöscht wird.

[Marv]

Dank für die Antwort Mirko,

als eMail-Account habe ich jetzt eine Umleitung der ganzen Mailbox auf einen YahooMail-Account gesetzt. Zugriff ist da auch ohne SSL möglich und die Größe 1Gb+ (angeblich unbegrenzt), SpamFilter sind auch abschaltbar.
Die Versendung selbst läuft über php Mail(), von daher ist das mit der Versendeadresse doch im Grunde nicht das Problem, oder doch? Der ReturnPath bleibt ja unverändert und \"merken\" würde also keiner, daß die BounceMail statt im originären eben im Yahoo-Account endet. Oder irre ich mich da gerade ?

Das Bounce-Management stellt bei mir aber dennoch ein mittelprächtiges Problem dar. Ich habe die bouncer.php angepasst, das Limit der Abrufe gar auf 1 Mail alle 3 Minuten gestellt - aber es tut sich einfach nichts.. Hast Du da eine Idee, woran das noch liegen könnte ? Noch seltsamer wird es, wenn man sich betrachtet, wie der SWM dann die bereits vorhandenen 38 BounceMails erkannt und richtig verarbeitet hat. Mhh..

Aber last-but-not-least ist mir bei den Versandprotokollen noch etwas aufgefallen. Hier zeigt der SWM nach dem kompletten Versand in den Ãœbersichten immer noch die Meldung \"Versand läuft gerade\" an, statt die berechneten Zahlenwerte auszugeben.

Die Live-versendeten (und durch Schließen des Browsers abgebrochenen) Mailings zeigt er im übrigen immer noch mit dem Status \"Versand läuft gerade\" an - und löschen lässt sich ja währenddessen weder der Eintrag, noch das Ganze Mailing. Aber das paßt wohl mit in das vorher beschriebene Problem des Löschens.

Gruß,
Marv.

[mirko]

gibt es u.U. die Möglichkeit SSL-unterstützte MailAccounts verwenden zu können, bzw. das nachträglich einzubauen in einem Update ?

Nein gibt es derzeit nicht, vielleicht in 1-2 Jahren, wenn viele neuere PHP Versionen haben. Für die SSL-Unterstützung braucht es mindestens PHP 4.3 mit OpenSSL-Unterstützung. Das ist leider derzeit kein Standard, obwohl PHP 4 schon lange \"out\" ist.

Mir ist exakt das passiert, was Du vorher beschrieben hast. Sprich, mir ist die Mailbox übergelaufen und das so enstandene Mailqueue und die Logdateien haben den gesamten Server Schachmatt gesetzt. Ich würde daher gerne eine Umleitung z.B. auf einen Google-Mailaccount setzen, den für den isolierten Posteingang verwenden (Ausgang über php Mail ()) um das Mailqueue, die Serverlast und den Traffic der Bounces Google zu überlassen und somit eben meinen eigenen Server zu entlasten. Gerade jetzt bei der Versendung des ersten Newsletters an 20000 Benutzer fielen ca. 3500 Hard- und Softbounces an, von denen der SWM gerade mal 38 auslesen konnte. Da der NL nicht gerade klein ist, waren das natürlich enorme Datenmengen die so enstanden - und meine Postfächer schlicht nicht ausgehalten haben. Hab das leider auch erst viel zu spät bemerkt.

Mhh gut, dann könnte man aber auch einen web.de oder gmx.de Account verwenden, der unverschlüsselten Zugriff bietet. Problem dabei, ist die Erkennung als Spam, d.h. die Absender-Adresse muss auf dem Versandserver gehostet sein. Man kann nicht einfach eine web.de oder gmx.de Adresse verwenden, die ist natürlich nicht auf dem eigenen Server gehostet.

Noch was anderes an dieser Stelle, was sehr hilfreich wäre : die Möglichkeit, ein Mailing manuell abzubrechen oder trotz aktuellem Versand komplett zu löschen.

Mhh ich denke mal drüber nach, machbar müsste das irgendwie sein. Möglich wäre aber dann, dass die Statistik nicht mehr ganz stimmt.

Ich hatte beim ersten Versand die Live-Versendung gewählt und konnte nach dem schließen des Live-Fensters in den Versandprotokollen nicht mehr ersehen, daß der NL weiter versendet wurde. Die Zahlen veränderten sich über 60 Minuten nicht. Ergo setzte ich den Newsletter erneut auf und ließ ihn per Zeitplanung laufen. Erst später erfuhr ich durch einen User, daß er die Mailings nun doppelt erhielt und das Live-Mailing wohl doch noch versendete, obwohl sich an den Versandprotokollen hierzu nichts veränderte. Lediglich die Serverlast hatte sich annähernd verdoppelt.

Nein beim Versand live wird nur solange versendet wie der Browser offen ist. Ausnahme sind Windows-Server mit Apache, wenn der Browser geschlossen wird, versendet das Script weiter bis die Scriptlaufzeit erreicht ist. Das muss irgendwie ein Problem mit dem Apache Webserver und der Erkennung der Verbindungstrennung zum Client-Programm zu tun haben.

Das CronJob-Script selbst schaut sich die E-Mailings an und versendet nur die E-Mailings, die nicht den Status \"Nur speichern\" oder \"Live-Versand\" haben.

[Marv]

Hallo Mirko,

gibt es u.U. die Möglichkeit SSL-unterstützte MailAccounts verwenden zu können, bzw. das nachträglich einzubauen in einem Update ? Mir ist exakt das passiert, was Du vorher beschrieben hast. Sprich, mir ist die Mailbox übergelaufen und das so enstandene Mailqueue und die Logdateien haben den gesamten Server Schachmatt gesetzt. Ich würde daher gerne eine Umleitung z.B. auf einen Google-Mailaccount setzen, den für den isolierten Posteingang verwenden (Ausgang über php Mail ()) um das Mailqueue, die Serverlast und den Traffic der Bounces Google zu überlassen und somit eben meinen eigenen Server zu entlasten. Gerade jetzt bei der Versendung des ersten Newsletters an 20000 Benutzer fielen ca. 3500 Hard- und Softbounces an, von denen der SWM gerade mal 38 auslesen konnte. Da der NL nicht gerade klein ist, waren das natürlich enorme Datenmengen die so enstanden - und meine Postfächer schlicht nicht ausgehalten haben. Hab das leider auch erst viel zu spät bemerkt.

Noch was anderes an dieser Stelle, was sehr hilfreich wäre : die Möglichkeit, ein Mailing manuell abzubrechen oder trotz aktuellem Versand komplett zu löschen.
Ich hatte beim ersten Versand die Live-Versendung gewählt und konnte nach dem schließen des Live-Fensters in den Versandprotokollen nicht mehr ersehen, daß der NL weiter versendet wurde. Die Zahlen veränderten sich über 60 Minuten nicht. Ergo setzte ich den Newsletter erneut auf und ließ ihn per Zeitplanung laufen. Erst später erfuhr ich durch einen User, daß er die Mailings nun doppelt erhielt und das Live-Mailing wohl doch noch versendete, obwohl sich an den Versandprotokollen hierzu nichts veränderte. Lediglich die Serverlast hatte sich annähernd verdoppelt.

Gruß,
Marv.

[premium]

Vielen Dank!

[mirko]

Hallo,

Filter kann man selbst nicht in der Oberfläche erstellen, die sind vorgegeben, d.h. vom SuperMailer-Bounce übernommen. Im js-Verzeichnis liegt die Datei bouncer.php, diese kann man im Editor (nicht Word oder WordPad!!!) öffnen und Anpassungen manuell vornehmen.

Die erkannten Hard-Bounce-E-Mails werden aus dem Postfach gelöscht, wenn der Haken fürs behalten nicht gesetzt ist. Es kann mal passieren, dass diese im Postfach verbleiben und zwar dann wenn das Script zu lange gelaufen ist und abgebrochen wird. In dem Fall würde er aber beim nächsten Mal nochmals die gleichen E-Mails prüfen und diese danach löschen.
Auf jeden Fall im Menü Einstellungen - Einstellungen, Registerkarte Bounce-Management die Anzahl abzurufende Bounce-E-Mails prüfen. Ist der Wert zu hoch, z.B. 1000 Stück, und im Postfach liegen 10.000, dann könnte es sein, dass er nie fertig wird, weil halt Scriptlaufzeit nicht ausreichend ist. Besser weniger einstellen, 20-30 Stück, und dafür öfter auf Bounces prüfen lassen (Geplante Aufgaben).

[premium]

Hallo,

ich habe einige Fragen zum Bounce-Management.
Werden Bounce-Mails gar nicht aus dem Postfach gelöscht? In den Einstellungen ist aber der Haken nicht gesetzt, dass Mails auf dem Server belassen werden sollen. Und kann man nicht, wie etwa im Supermailer-Bounce, Filter oder ähnliches einstellen?

Gruß