O que é Splunk?

O que é Splunk?

O Splunk é uma plataforma de software para pesquisar, analisar e visualizar os dados gerados por máquina coletados dos sites, aplicativos, sensores, dispositivos, etc., que compõem sua infraestrutura de TI e negócios.

Se você tem uma máquina que está gerando dados continuamente e quer analisar o estado da máquina em tempo real, então, como você vai fazer isso? Você pode fazê-lo com a ajuda de Splunk? 

Se você já pensa que o Splunk é uma ótima ferramenta, então, ouça-me quando eu digo que esta é apenas a ponta do iceberg. Você pode ter a certeza de que o restante desta postagem no blog irá mantê-lo colado no seu lugar se você tiver a intenção de oferecer ao seu negócio a melhor solução, seja para o monitoramento do sistema ou para análise de dados.

Os outros benefícios com a implementação do Splunk são:

• Os dados de entrada podem estar em qualquer formato para e. .csv ou json ou outros formatos
• Você pode configurar o Splunk para notificar Alertas / Eventos no início de um estado da máquina
• Você pode prever com precisão os recursos necessários para expandir a infra-estrutura
• Você pode criar objetos de conhecimento para Inteligência Operacional

Para aqueles que não sabem o que é um objeto de conhecimento, é uma entidade definida pelo usuário usando o qual você pode enriquecer seus dados existentes extraindo algumas informações valiosas. Esses objetos de conhecimento podem ser pesquisas salvas, tipos de eventos, pesquisas, relatórios, alertas ou muito mais, o que ajuda na configuração de inteligência em seus sistemas.

Como Splunk pode ajudar?

No nível mais simples, o Splunk oferece uma única interface para pesquisar, denunciar e alertar sobre todos os seus dados de TI, em toda a sua infraestrutura de TI. 

O Splunk pode ser aplicado a qualquer dado não estruturado, e as pessoas o usam para coisas tão diversas como análises na web, registros de chamadas de telecomunicações e dados de terremotos. Ao invés, você pode reunir resultados de pesquisa em conceitos maiores e mais familiares, como "endereços IP" ou "transações com falhas".

Vantagens de usar splunk:

• Splunk automaticamente coleta os dados em tempo real de múltiplos sistemas
• Splunk pode aceitar qualquer tipo de dados
• Splunk pode criar notificações de eventos e alertas
• Splunk satisfaz as necessidades da indústria com escalabilidade horizontal, usando muitos sistemas em paralelo
• Splunk pode criar objetos conhecidos para inteligência operacional

Exemplo de utilização:

Para dar mais clareza sobre como o Splunk funciona, vamos citar um caso de como a Bosch usou o Splunk para análise de dados. Eles coletaram os dados de saúde dos pacientes localizados remotamente usando dispositivos IoT (sensores).

Splunk processaria esses dados e qualquer atividade anormal seria relatada ao médico e ao paciente através da interface do paciente. Splunk os ajudou a alcançar o seguinte:

• Relatórios de condições de saúde em tempo real
•  Aprofundar o registro de saúde do paciente e analisar padrões
• Alarmes / Alertas ao médico e ao paciente quando a saúde do paciente se degrada

Sobre o Software:

Você baixa o Splunk, instala em um lugar sensível. As pessoas da sua empresa usam para pesquisar grandes quantidades de dados de TI. Você pode instalá-lo em seu laptop, em um servidor ou em mil servidores. Você usa através do seu navegador, mas os dados nunca são publicados.

Existe uma licença gratuita. Ela pode ser instalada em 15 minutos.

Quando você faz o download da Splunk pela primeira vez, você obtém todos os recursos corporativos do Splunk por 60 dias e você pode indexar até 500 megabytes de dados por dia.

Antes do Splunk:

Desafios do cliente

• IT  tem desenvolvido "silos" de sistemas
• Os sistemas de TI de hoje não são dignos de alavancar o escopo completo de dados de máquina
• O Volume de dados da máquina, fontes e tipos são explodindo
• 80-90% dos dados de uma organização não são estruturados - os registros não têm padrões
• Ferramentas de gerenciamento tradicionais dependem de um esquema inicial e construção de análises aduaneiras para conhecer os formatos de fornecedores

Business/IT consequences

• Perda de tempo investigando questões
• Interrupções potenciais
• Escaladas desnecessárias
• Potenciais receitas perdidas
• Organizações gastando horas sem dinheiro e desperdiçando recursos em múltiplas soluções
• Os negócios não têm a visibilidade de que precisam no comportamento do cliente; Transações, possíveis ataques ou actividades suspeitas

Depois do Splunk:

Visão do futuro:

• Coletar e indexar quaisquer dados (independentemente do formato ou fonte)
• Crie facilmente visualizações
• Atividade de transações de ponta a ponta
• Pesquise, correlacione, analise, monitore e relate rapidamente e facilmente os dados da máquina em tempo real
• Permitir acesso a todos para acessar as idéias por si mesmos

Resultados do negócio:

• Obter respostas em tempo real para questões de importação
• Obtenha informações úteis sobre os comportamentos dos clientes
• Manter níveis de serviço
• A TI pode fornecer seus KPIs e tomar decisões mais bem informadas que apoiem o negócio

Conceitos básicos

Existem alguns conceitos no mundo Splunk que serão úteis para você entender.

Processamento no momento em que os dados são processados: 

O Splunk lê os dados de uma fonte, como um arquivo ou porta, em um host (por exemplo, "minha máquina"), classifica essa fonte em um tipo de origem (por exemplo, "syslog", "acesso_combined" , "Apache_error", ...), então extrai timestamps, quebra a fonte em eventos individuais (por exemplo, eventos de log, alertas, ...), que pode ser uma linha única ou várias linhas, e grava cada evento em um índice No disco, para posterior recuperação com uma pesquisa.

Processamento no momento em que os dados são pesquisados:

Quando uma busca é iniciada, os eventos indexados correspondentes são recuperados do disco, os campos (por exemplo, código = 404, usuário = david, ...) são extraídos do texto do evento e o evento é classificado Por correspondência contra definições de tipo de evento (por exemplo, 'erro', 'login', ...). Os eventos retornados de uma pesquisa podem ser transformados poderosamente usando o idioma de pesquisa do Splunk para gerar relatórios que vivem em painéis.

Busca básica

O Splunk vem com vários aplicativos, mas o único relevante agora é o aplicativo 'Pesquisar', que é a interface para pesquisa genérica. (Mais aplicativos podem ser baixados e os usuários avançados podem criá-los eles mesmos.) Depois de fazer login no Splunk, selecione o aplicativo de pesquisa e vamos começar a pesquisar. Começaremos de forma simples e avançaremos.

Para começar sua pesquisa Splunk, digite os termos que você pode esperar encontrar em seus dados. Por exemplo, se você quiser encontrar eventos que possam ser erros do HTTP 404 (ou seja, a página da Web não encontrada).