Este artigo é uma ilustração simplificada do produto. Destina-se a auxiliar os analistas para que eles possam visualizar qual entidade cumpre qual função. Os leitores são encorajados a verificar documentações para informações detalhadas sobre o que é abordado neste artigo.
DPU (Data Processing Unit) é o guardião de um cluster. Ao desempenhar a função de um Servidor de processamento, a DPU gera um conjunto de dados consultável em temp.db local (titular do cartão).
A DPU também desempenha a função de Servidor de consulta, na qual ele atua como um único ponto de contato de um aplicativo cliente com outras DPUs.
Uma equipe de servidores precisa de um supervisor, e uma FSU (File Server Unit) desempenha essa função como Servidor principal. Ele armazena uma cópia principal da arquitetura do conjunto de dados (esquema), configurações e parâmetros de desempenho. O servidor principal também é conhecido como Servidor de Sincronização.
Para aliviar a carga de trabalho do Servidor Principal, algumas das funções podem ser delegadas a FSUs adicionais. Vamos cobrir brevemente a indexação dos dados decodificados (Normalização), exportar o conjunto de dados (Exportação de Segmento) e converter arquivos de registro brutos (Transform).
Para um pequeno cluster, uma FSU é geralmente suficiente para preencher todas as funções de gerenciamento. Conforme seu cluster cresce, o Servidor Principal pode ficar sobrecarregado. A Adobe recomenda o uso de uma FSU adicional caso ela se torne o gargalo.
Para outras funções da FSU (Servidor de Log, Servidor de Lista de Fontes e Servidor de Arquivos) e componentes (Sensor e Repetidor), verifique nossa documentação aqui.
o Cliente do Data Workbench é o aplicativo front end. Os analistas a usam para executar uma consulta no Servidor de Consulta, um arquiteto a usa para configurar o esquema no Servidor Principal e o administrador a utiliza para gerenciar vários servidores.
O Report Server automatiza a funcionalidade de relatório do aplicativo cliente. Ele executa consultas de um conjunto de relatórios e entrega a saída por meio de vários canais.
No início, as DPUs não sabem onde encontrar vários materiais ou como processá-los. Por meio da sincronização, eles buscarão as instruções, o esquema e o mapa de recursos do Servidor Principal (FSU).
As instruções agora são fornecidas, mas o suporte do cartão ainda está vazio.
Usando as instruções sincronizadas e o mapa, cada DPU localiza os arquivos de log e começa a decodificá-los.
Se um evento decodificado pertence a um visitante existente, ele é anexado aos seus cartões. Se acontecer de pertencer a um visitante em outra DPU, ele será encaminhado. Finalmente, se o evento não pertence a nenhum visitante existente, um novo cartão é criado.
Os visitantes são distribuídos uniformemente em todas as DPUs. Por exemplo, em um cluster de 10 DPUs com 5 milhões de visitantes, cada DPU contém dados para 500.000 visitantes. No entanto, como cada visitante tem um tamanho de dados diferente, o tamanho do temp.db não será igual entre os DPUs (embora eles sejam muito próximos).
À medida que cada DPU processa a entrada, os elementos de dimensão são indexados no servidor de normalização simultaneamente.
Normalmente, um FSU cumpre a função do Servidor Principal e do Servidor de Normalização.
Quando o processo de log estiver concluído, teremos um conjunto de dados com capacidade de consulta.
Por fim, o conjunto de dados está pronto para analistas. Para uma análise aprofundada, uma série de consultas são executadas conforme uma questão leva a outra, e é melhor fazer isso usando o cliente do Data Workbench.
Primeiro, o cliente do Data Workbench se conecta a um servidor principal, e um dos DPUs é designado como servidor de consulta.
O aplicativo cliente agora está "online" com o perfil do conjunto de dados. Deste ponto em diante, este DPU se torna um ponto de contato para este cliente.
O cliente envia uma string de consulta ao servidor de consulta. Depois que a consulta é recebida, o servidor de consulta encaminha a mesma solicitação para outras DPUs. Ele também executa a consulta em seu próprio temp.db (titular do cartão) e retorna o resultado ao cliente, juntamente com os resultados de outros DPUs.
De volta ao lado do cliente, os resultados da consulta são traduzidos em várias formas de visualização à medida que forem sendo transmitidos. O espaço de trabalho finalizado também pode ser salvo como modelo para o servidor de relatório.
O servidor de relatório automatiza as execuções de consulta. Em um horário especificado, ele seleciona um conjunto de relatórios do servidor principal e os executa. Em seguida, ele os entrega por meio de vários métodos, como e-mails.
Segmentos específicos do conjunto de dados podem ser exportados como arquivos de texto delimitados. Com base no arquivo de definição de exportação (*.export), cada DPU filtra sua parte dos dados e a envia ao servidor de exportação de segmentos.
Os dados exportados dos DPUs são combinados em um arquivo no Servidor de exportação de segmentos e enviados via upload para um local especificado. O arquivo é normalmente importado para várias ferramentas de análise de terceiros ou aplicativos personalizados para análise posterior.
Assim como a função de servidor de normalização, um FSU pode cumprir a função de exportação primária e de segmento em um cluster pequeno. No entanto, como envolve um lote de grandes transmissões de dados, a exportação de segmentos pode facilmente sobrecarregar o recurso do FSU.
O FSU pode funcionar como um servidor de transformação. Ao contrário das exportações de segmentos, que são exportações de conjunto de dados para texto, Transformar é uma conversão simples de texto para texto. Ela também usa um ou mais tipos de entradas de texto e as mescla em um único arquivo de texto, como dados Sensor (.vsl), arquivos de log, arquivos XML e dados ODBC (texto). Geralmente é usada para pré-processar os dados brutos antes de alimentá-los em um conjunto de dados.
Assim, as operações do servidor de transformações (FSU) podem ser executadas sem o conjunto de dados ou os DPUs. Por esse motivo, o servidor de transformação geralmente é executado de forma independente.
