Depois de estudar muito as várias maneiras que pude encontrar na WEB para o controle de envio em massa utilizando o Amazon Simple Email Service cheguei em uma maneira simples e de fácil controle. E preferi utilizar um solução dom o SDK da Amazon.
Para começar a amazon não possui no serviço SES, meios de gerenciar filas de envio, então optei por usar o CRON e dividir os envios em pequenos lotes.
Elaborei uma interface para controlar o CRON
pelo PHP
, de modo que posso agendar tarefas registrando informações de um formulário HTML
e processando pelo PHP
. Isso tambem permite que minha tabela do CRON
fique com apenas uma tarefa que irá executar um script que verificará as tarefas do meu sistema.
Para isso criei uma tabela no banco de dados (estou usando MySQL). Registrando as tarefas no banco de dados posso facilmente habilitar e desabilitar uma tarefa, assim como alterá-la quando for necessário.
CREATE TABLE `cron_task` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`description` varchar(250) NOT NULL,
`minute` varchar(10) NOT NULL,
`hour` varchar(10) NOT NULL,
`day` varchar(10) NOT NULL,
`month` varchar(10) NOT NULL,
`year` varchar(10) NOT NULL,
`weekday` varchar(10) NOT NULL,
`type` varchar(20) NOT NULL,
`active` tinyint(1) NOT NULL,
`priority` tinyint(3) NOT NULL,
`first_execution` timestamp NULL DEFAULT NULL,
`last_execution` timestamp NULL DEFAULT NULL,
`created_at` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00',
`updated_at` timestamp NULL DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;
Utilizei uma interface para padronizar minhas classes de tarefas.
interface ICronTask {
public static function add( ICronTask $task );
public function activate();
public function deactivate();
public function executeTask();
public function makeLog( $content );
}
Onde o método add
serve para salvar uma tarefa, activate
e deactivate
para ativar e desativar a tarefa, executeTask
conterá o contexto de execução da tarefa, seja envio de email, requisição de url, backup, ou seja lá o que mais, e o método makeLog
para gerar logs personalizados para a execução das tarefas.
Criei uma classe abstrata para implementar os métodos básicos para todas as tarefas.
abstract class CronTask implements ICronTask {
public $id;
public $description;
public $minute;
public $hour;
public $day;
public $month;
public $year;
public $weekday;
public $type;
public $priority;
public $active;
public $first_execution;
public $last_execution;
public $created_at;
public $updated_at;
public $execution_start;
public $execution_end;
public function __construct( $id = null ) {
// caso o $id possua valor, busco informações no banco sobre a tarefa
// e preencho todos os atributos.
}
public final static function add( ICronTask $task ) {
// Salvo no banco de dados e chamo o método save()
}
public final function activate() {
// Atualizo a tarefa no banco para ativar
}
public final function deactivate() {
// Atualizo a tarefa no banco para desativar
}
public final function makeLog( $content ) {
// Salvo o log da tarefa
}
public final function executeTask() {
// Executo a tarefa
$this->execution_start = round( microtime(true), 4 );
$content = $this->execute();
$this->execution_end = round( microtime(true), 4 );
$this->makeLog($content);
}
public final function isNow() {
// Faço a verificação da hora de execução, garantindo que deve ser executada
// no momento em que for chamado.
return (
$this->parserTime($this->minute, 'i') &&
$this->parserTime($this->hour, 'H') &&
$this->parserTime($this->month, 'm') &&
$this->parserTime($this->day, 'd') &&
$this->parserTime($this->weekday, 'w')
);
}
private function parserTime( $value, $element ) {
// Obtem o tem atual
$time = date( $element );
// Verifica se o valor é igual à "*" representando toda momento.
if( $value == '*' ) {
return true;
}
// Separa os conjuntos de tempos separados por vírgula
$groups = explode( ',', $value );
foreach ( $groups as $part ) {
// Verifica se é um intervalo composto. Ex: "*/5" ou "20-40/2"
// Se é um intervalo compost, deverá retornar true se o valor atual
// estiver dentro do intervalo definido antes da barra, e na frequência
// definida após a barra.
if( strpos( $part, '/' ) ) {
$groupsInterval = explode( '/', $part );
// Verificando a frequência
$frequency = $time % $groupsInterval[1] == 0;
// Verificando o intervalo
$interval = explode( '-', $groupsInterval[0] );
$intervalResult = false;
if( $interval[0] == '*' ) {
$intervalResult = true;
} else {
$intervalResult = ( $time >= $interval[0] && $time <= $interval[1] );
}
return $frequency && $intervalResult;
}
// Verifica se é um intervalo simples. Ex: "10-50"
// Se é um intervalo, deverá retornar true se o valor atual estiver
// dentro desse intervalo.
if( strpos( $part, '-' ) ) {
$interval = explode( '-', $part );
return $time >= $interval[0] && $time <= $interval[1];
}
// Se for um número simples verifica se é o tempo certo
if( $time == $part ) {
return true;
}
}
return false;
}
abstract protected function execute();
abstract protected function save();
}
E um exemplo de implementação de uma classe de tarefas seria
class CronTaskTest extends CronTask {
public $type = 'Test';
public $priority = 0;
protected function execute() {
return 'Tarefa executada com sucesso';
}
protected function save() {
return true;
}
}
A classe principal que será executada a todo instante verificando as tarefas ficou implementada da seguinte maneira:
class Cron {
public static function execute() {
$tasks = self::getTasks();
foreach ( $tasks as $task ) {
if( $task->isNow() ) {
$task->executeTask();
}
}
}
public static function getTasks() {
try {
$tasks = // Busco todas as tarefas ativas ordenadas por prioridade DESC;
$return = array();
foreach ( $tasks as $record ) {
$taskName = 'CronTask' . $record['type'];
require_once __DIR__ . '/tasks/' . $taskName . '.php';
$return[] = new $taskName( $record['id'] );
}
} catch ( PDOException $exception ) {
die( $exception->getMessage() );
}
return $return;
}
}
Crio um arquivo PHP para executar as tarefas chamando o método Cron::execute()
.
E agendo no CRON
# crontab -e
* * * * * /usr/local/bin/php /var/www/projeto/meu-script.php
Sendo assim criei uma classe chamada CronTaskMailing
semelhante ao exemplo acima com os próprios atributos
public $name;
public $subject;
public $body;
public $alternativeBody;
public $startSend;
public $notifyTo;
public $keywords = array();
public $addresses = array();
public $sended = array();
public $startedAt;
public $completedAt;
Estes atributos eu salvo em um json
. Para isso implementei a lógica no método save
que é chamado logo quando a tarefa é adicionada. Tambem implemente outro método para carregar as informações do json
salvo para os atributos da classe.
Implementei um método para tratar toda a mensagem que será passada para a SDK da Amazon.
private function makeMessage() {
$msg = array();
$msg['Source'] = "[email protected]";
$msg['Message']['Subject']['Data'] = $this->subject;
$msg['Message']['Subject']['Charset'] = "UTF-8";
$msg['Message']['Body']['Text']['Data'] = $this->alternativeBody;
$msg['Message']['Body']['Text']['Charset'] = "UTF-8";
$msg['Message']['Body']['Html']['Data'] = $this->body;
$msg['Message']['Body']['Html']['Charset'] = "UTF-8";
return $msg;
}
Defini uma média máxima de uso do SES para mailing, evitando que outros serviços que tambem utilizam o SES não fiquem impossibilitados de usar. Esta cota está definida em porcentagem para facilitar as contas.
const MAX_QUOTA_USAGE = 0.8;
E o método de execução da tarefa ficou da seguinte maneira:
protected function execute() {
$log = '';
try {
$this->loadMailingFile( $this->id );
$ses = SesClient::factory( array(
'key' => 'ACCESS_KEY',
'secret' => 'API_SECRET',
'region' => 'REGION'
) );
if( $this->startedAt ) {
$this->startedAt = time();
}
$msg = $this->makeMessage();
// Obtenho a minha cota e verifico se está dentro da média máxima definida.
$quota = $ses->getSendQuota();
$maxQuota = $quota['Max24HourSend'] * self::MAX_QUOTA_USAGE;
if( $maxQuota < $quota['SentLast24Hours'] ) {
$log .= 'Cota máxima para mailing em 24 horas excedida.';
} else {
// Calculo o delay entre uma mensagem e outra para não
// estourar o número de envios por segundo.
$rate = $quota['MaxSendRate'];
$delay = $quota['MaxSendRate'] / 1000000;
// Calculo o tamanho do lote para que a execução dure no máximo um minuto.
$maxSendBatch = $rate * 60;
$count = 0;
foreach ( $this->addresses as $key => $email ) {
$msg['Destination']['ToAddresses'] = array( $email );
$response = $ses->sendEmail( $msg );
$messageId = $response->get( 'MessageId' );
$log .= 'Mensagem enviada: ' . $messageId . PHP_EOL;
$this->sended[] = array(
'email' => $email,
'message_id' => $messageId,
'sended_at' => time()
);
unset( $this->addresses[$key] );
$count++;
if( $count == $maxSendBatch ) {
break;
}
usleep($delay);
}
$log .= '-----' . PHP_EOL;
$log .= 'Total de emails enviados: ' . count( $this->sended ) . PHP_EOL;
$log .= 'Total de emails que faltam: ' . count( $this->addresses ) . PHP_EOL;
if( count( $this->addresses ) == 0 ) {
$this->completedAt = time();
$this->deactivate();
// Método para notificar por email quando o envio terminar.
$this->sendNotificationToMailingCompleted();
$log .= 'Envio de mailing concluído';
}
}
$this->save();
} catch (Exception $ex) {
$log .= $ex->getMessage() . PHP_EOL;
}
return $log;
}
A cota aumenta gradativamente conforme o bom uso do serviço, sendo assim, elaborei o código acima de forma a identificar esse aumento e trabalhar com a maior taxa de envio possível.
Nas configurações iniciais da Amazon ( 10.000 emails em 24 horas com taxa de envio de 5 emails por segundo) seriam 300 emails por minuto, ou seja, levaria em média 33 minutos para enviar 10.000 emails. Pode levar algumas horas a mais utilizando a maneira que cito aqui, dependendo do limite definido na constante MAX_QUOTA_USAGE
.
Alem disso, a Amazon possui políticas rígidas para envio de email, e possuir uma lista de email limpa, isto é, sem muitos emails inválidos é essencial. Para resolver esse problema, implementei outra tarefa que executa verificando todos os emails de 15 em 15 dias, e armazenando informações indicando se o email é válido ou não.
O SDK da Amazon possui método que possibilita essa verificação (verifyEmailIdentity). Porem este método deve ser chamado com o intervalo de pelo menos 1 segundo.