Modernização de Software Legado com CDC, Debezium, Kafka e NiFi
No mundo da tecnologia, muitas empresas enfrentam o desafio da modernização de software legado. Esses sistemas, embora tenham sido eficazes em um passado distante, muitas vezes apresentam limitações em termos de agilidade, escalabilidade e capacidade de se adaptar às demandas atuais do mercado. Para acompanhar a concorrência e atender às necessidades em constante evolução dos clientes, modernizar esses sistemas se tornou uma questão de sobrevivência.
O que é Software Legado?
Software legado refere-se a sistemas de software que foram desenvolvidos há muito tempo, muitas vezes usando tecnologias obsoletas ou descontinuadas. Esses sistemas podem ter sido altamente eficazes em seu tempo, mas agora enfrentam limitações que dificultam a evolução e a manutenção. Características comuns do software legado incluem:
- Dependência de tecnologias desatualizadas: O software legado geralmente é construído com tecnologias que já não são amplamente utilizadas ou suportadas pela comunidade de desenvolvimento.
- Falta de modularidade e flexibilidade: Esses sistemas costumam ser monolíticos, o que dificulta a adição de novos recursos ou a realização de alterações significativas.
- Baixa escalabilidade: O software legado pode ter limitações em termos de escalabilidade horizontal ou vertical, tornando difícil acompanhar o crescimento das demandas.
- Dificuldade de integração: A integração do software legado com outras ferramentas ou sistemas pode ser complexa e demorada.
SQL Server CDC – Change Data Capture
No SQL SErver o CDC, ou Change Data Capture, é uma técnica que permite capturar e rastrear mudanças em bancos de dados em tempo real. Ele identifica as operações de inserção, atualização e exclusão e as transforma em eventos capturáveis. Com CDC, é possível obter uma visão em tempo real dos dados em um banco de dados e reagir a essas mudanças de forma rápida e eficiente.
Vantagens ao utilizar o CDC:
- Time to market acelerado: Ao capturar mudanças em tempo real, o CDC permite que você reaja rapidamente às alterações dos dados, acelerando o desenvolvimento e a entrega de novos recursos e funcionalidades.
- Maior precisão e integridade dos dados: O CDC garante que as alterações nos dados sejam capturadas com precisão, evitando perdas ou corrupção de informações importantes.
- Minimização da sobrecarga do banco de dados: Em vez de consultar repetidamente o banco de dados em busca de alterações, o CDC reduz a carga do banco de dados ao capturar apenas as mudanças relevantes.
Debezium
Debezium é uma plataforma de CDC de código aberto, que permite capturar, transformar e enviar eventos de mudança de dados em tempo real. Ele oferece suporte a vários bancos de dados, incluindo MS SQL SERVER, MySQL, PostgreSQL, MongoDB e outros. O Debezium se integra facilmente a outras ferramentas, como o Apache Kafka, para transmitir eventos de mudança de dados em um pipeline de processamento.
Vantagens ao utilizar o Debezium
- Conectividade com várias fontes de dados: O Debezium é compatível com uma ampla variedade de bancos de dados, permitindo capturar mudanças de dados de várias fontes em um único pipeline.
- Configuração e implantação simplificadas: Com sua arquitetura de plug-in, o Debezium facilita a configuração e implantação, reduzindo o esforço necessário para iniciar o processo de CDC.
- Compatibilidade com Apache Kafka: O Debezium se integra perfeitamente ao Apache Kafka, permitindo a transmissão de eventos de mudança de dados em tempo real para processamento e análise.
Apache Kafka
Apache Kafka é uma plataforma de streaming distribuída, projetada para lidar com grandes volumes de dados em tempo real. Ele atua como um “tubo de eventos”, permitindo que dados sejam publicados, transmitidos e consumidos de forma escalável e tolerante a falhas. O Kafka é altamente adequado para integração com o Debezium, permitindo a transmissão de eventos de mudança de dados em tempo real para outros sistemas.
Vantagens ao utilizar o Apache kafka
- Processamento de alto volume de dados: O Kafka foi projetado para lidar com grandes volumes de dados em tempo real, permitindo a transmissão rápida e eficiente de eventos de mudança de dados.
- Escalabilidade e tolerância a falhas: O Kafka é altamente escalável e tolerante a falhas, permitindo que você processe e transmita dados em larga escala sem interrupções significativas.
- Integração com várias ferramentas: O Kafka pode ser facilmente integrado a outras ferramentas e tecnologias, tornando-o uma escolha flexível e versátil para cenários de processamento de dados em tempo real.
Apache NiFi
Apache NiFi é uma plataforma de integração de dados e fluxo de dados em tempo real. Ele fornece uma interface visual para criar, gerenciar e monitorar pipelines de dados, facilitando a ingestão, transformação e entrega de dados em diferentes sistemas. O NiFi é altamente extensível e possui um ecossistema de processadores e controladores que podem ser combinados para atender às necessidades específicas do fluxo de dados.
Vantagens ao utilizar o Apache NiFi
- Interface visual e intuitiva: O NiFi oferece uma interface gráfica fácil de usar, permitindo a criação e gerenciamento de pipelines de dados de forma visual e intuitiva, sem a necessidade de codificação manual.
- Gerenciamento avançado de fluxo de dados: O NiFi possui recursos avançados de roteamento, filtragem e transformação de dados, permitindo o processamento complexo e direcionado de eventos de mudança de dados.
- Suporte a integração com diversas tecnologias: O NiFi é altamente compatível e se integra a várias tecnologias e sistemas, permitindo a integração de fluxos de dados entre diferentes plataformas.
Acelerando o time to marketing adotando a melhor estratégia para Modernização de Software Legado
A modernização de software legado com CDC, Debezium, Kafka e NiFi oferece várias oportunidades para acelerar o time to market em projetos de software. Aqui estão alguns benefícios-chave:
- Agilidade no desenvolvimento: A capacidade de capturar e reagir a mudanças de dados em tempo real permite que as equipes de desenvolvimento respondam rapidamente a novos requisitos e entreguem recursos mais rapidamente.
- Integração contínua: O uso de CDC e ferramentas como Debezium, Kafka e NiFi permite a integração contínua de dados em pipelines de processamento, garantindo fluxos de dados atualizados em todas as etapas do desenvolvimento.
- Visibilidade em tempo real: Ao capturar eventos de mudança de dados em tempo real, as equipes de desenvolvimento têm uma visão instantânea do estado dos dados, permitindo decisões mais informadas e eficazes durante o processo de desenvolvimento.
Configurando o SQL Server em um container
Primeiro, vamos configurar um ambiente para o nosso software legado. Utilizaremos o SQL Server em um container para simular o banco de dados legado. Copie o código abaixo e execute-o em um arquivo YAML para criar o container:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
version: '3.4' services: mssql-server: image: "mcr.microsoft.com/mssql/server:2019-latest" environment: ACCEPT_EULA: "Y" MSSQL_SA_PASSWORD: "s3nhaEhPa55w0rD" MSSQL_COLLATION: "SQL_Latin1_General_CP1_CI_AS" MSSQL_AGENT_ENABLED: "True" ports: - "1433:1433" container_name: "mssql-server" volumes: - /c/docker/volumes/sqlserver/data:/var/opt/mssql/data - /c/docker/volumes/sqlserver/log:/var/opt/mssql/log - /c/docker/volumes/sqlserver/secrets:/var/opt/mssql/secrets restart: always networks: - inventory networks: inventory: driver: bridge |
Esse código configura o container do SQL Server, define a senha do usuário ‘sa’ e cria volumes para armazenar os dados, logs e segredos do banco de dados. Certifique-se de adaptar o caminho dos volumes conforme necessário.
Criação do banco de dados e tabelas do Software Legado
Agora, vamos criar o banco de dados e as tabelas do software legado. Utilize o script SQL abaixo para executar a criação:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
EXEC sp_changedbowner 'sa' GO EXEC sys.sp_cdc_enable_db GO EXEC sys.sp_cdc_enable_table @source_schema = N'dbo', @source_name = N'Inventory', @role_name = NULL, @supports_net_changes = 1 GO SELECT name, is_tracked_by_cdc FROM sys.tables WHERE is_tracked_by_cdc = 1 GO EXECUTE sys.sp_cdc_help_change_data_capture @source_schema = 'dbo', @source_name = 'Inventory'; |
Esses comandos habilitam o CDC no banco de dados e na tabela “Inventory”. Após a execução bem-sucedida, verifique se a tabela “Inventory” está sendo rastreada pelo CDC usando o último comando.
Inserindo dados nas tabelas do Software Legado
Agora, vamos inserir alguns dados nas tabelas do software legado. Execute os comandos SQL abaixo para realizar a inserção:
|
1 2 3 4 5 |
INSERT INTO Warehouse(ID) VALUES(1) GO INSERT INTO Sku(Code) VALUES('NOUN8X585Q-28'); GO INSERT INTO Inventory(SkuCode,WarehouseId,Qty) VALUES('NOUN8X585Q-28',1, 1000); |
Esses comandos inserem dados nas tabelas “Warehouse”, “Sku” e “Inventory” do software legado. Certifique-se de que os dados foram inseridos corretamente.
Configurando o Debezium Connector para SQL Server
Para configurar o Connector do Debezium para o SQL Server, você pode enviar um POST para o endpoint http://localhost:8083/connectors com o seguinte JSON de configuração:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
{ "name": "sqlserverInventoryConnector", "config" : { "connector.class": "io.debezium.connector.sqlserver.SqlServerConnector", "database.hostname": "mssql-server", "database.port": "1433", "database.user": "sa", "database.password": "s3nhaEhPa55w0rD", "database.names": "Inventory", "database.encrypt": false, "topic.prefix": "inventory", "table.include.list": "dbo.Inventory", "schema.history.internal.kafka.bootstrap.servers": "kafka:9092", "schema.history.internal.kafka.topic": "schema.Inventory", "decimal.handling.mode": "string" } } |
Após enviar essa requisição POST ao endpoint http://localhost:8083/connectors, o Connector do Debezium para o SQL Server será configurado e iniciará a captura de eventos da tabela “Inventory”. Esses eventos serão publicados nos tópicos do Kafka para posterior processamento e análise.
A configuração a seguir inclui a configuração do ZooKeeper, Debezium Connect e Kafka:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 |
version: '3.4' services: zookeeper: image: "confluentinc/cp-zookeeper" environment: ZOOKEEPER_CLIENT_PORT: 2181 ports: - "2181:2181" container_name: "zookeeper" restart: always networks: - inventory kafka: image: "confluentinc/cp-kafka" environment: KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181" KAFKA_ADVERTISED_HOST_NAME: "kafka" KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka:9092" KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 KAFKA_LOG_CLEANER_DELETE_RETENTION_MS: 5000 KAFKA_BROKER_ID: 1 KAFKA_MIN_INSYNC_REPLICAS: 1 ports: - "9092:9092" depends_on: - zookeeper container_name: "kafka" restart: always networks: - inventory connect: image: "debezium/connect" environment: GROUP_ID: 1 REST_ADVERTISED_HOST_NAME: "connect" BOOTSTRAP_SERVERS: "kafka:9092" ZOOKEEPER_CONNECT: "zookeeper:2181" CONFIG_STORAGE_TOPIC: "my_connect_configs" OFFSET_STORAGE_TOPIC: "my_connect_offsets" STATUS_STORAGE_TOPIC: "my_connect_statuses" ports: - "8083:8083" depends_on: - zookeeper - kafka container_name: "connect" networks: - inventory networks: inventory: driver: bridge |
Essa configuração inclui os seguintes serviços:
- ZooKeeper: É um serviço centralizado para manter informações de configuração, nomeação e sincronização distribuídas para os servidores Kafka.
- Kafka: É o servidor do Apache Kafka responsável pelo armazenamento e processamento de eventos de streaming distribuídos.
- Kafka Connect: É um serviço do Debezium que permite conectar e integrar o Kafka a outros sistemas. Ele é configurado para se conectar ao ZooKeeper e ao Kafka.
- Portas e redes: As configurações de portas e redes permitem que os serviços se comuniquem entre si e com o ambiente externo.
Certifique-se de que todos os serviços estejam configurados corretamente e em execução para aproveitar todas as funcionalidades do CDC, Debezium, Kafka e NiFi em seu ambiente de modernização de software legado.
Por fim, vamos configurar o Apache NiFi.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
version: '3.4' services: nifi: image: apache/nifi environment: - NIFI_WEB_HTTP_PORT=8080 ports: - 8080:8080 container_name: nifi restart: always networks: - inventory networks: inventory: driver: bridge |
O arquivo YAML abaixo configura todos os serviços necessários para a modernização de software legado com CDC, Debezium, Kafka e NiFi. Certifique-se de fornecer os caminhos corretos para os volumes e os ajustes necessários para atender aos requisitos do seu ambiente.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 |
version: '3.4' services: mssql-server: image: "mcr.microsoft.com/mssql/server:2019-latest" environment: ACCEPT_EULA: "Y" MSSQL_SA_PASSWORD: "s3nhaEhPa55w0rD" MSSQL_COLLATION: "SQL_Latin1_General_CP1_CI_AS" MSSQL_AGENT_ENABLED: "True" ports: - "1433:1433" container_name: "mssql-server" volumes: - /d/docker/volumes/sqlserver/data:/var/opt/mssql/data - /d/docker/volumes/sqlserver/log:/var/opt/mssql/log - /d/docker/volumes/sqlserver/secrets:/var/opt/mssql/secrets restart: always networks: - inventory nifi: image: apache/nifi container_name: "nifi" environment: - NIFI_WEB_HTTP_PORT=8080 ports: - 8080:8080 volumes: - nifi:/opt/nifi restart: always networks: - inventory zookeeper: image: "confluentinc/cp-zookeeper" environment: ZOOKEEPER_CLIENT_PORT: 2181 ports: - "2181:2181" container_name: "zookeeper" restart: always networks: - inventory kafka: image: "confluentinc/cp-kafka" environment: KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181" KAFKA_ADVERTISED_HOST_NAME: "kafka" KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://kafka:9092" KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 KAFKA_LOG_CLEANER_DELETE_RETENTION_MS: 5000 KAFKA_BROKER_ID: 1 KAFKA_MIN_INSYNC_REPLICAS: 1 ports: - "9092:9092" depends_on: - zookeeper container_name: "kafka" restart: always networks: - inventory connect: image: "debezium/connect" environment: GROUP_ID: 1 REST_ADVERTISED_HOST_NAME: "connect" BOOTSTRAP_SERVERS: "kafka:9092" ZOOKEEPER_CONNECT: "zookeeper:2181" CONFIG_STORAGE_TOPIC: "my_connect_configs" OFFSET_STORAGE_TOPIC: "my_connect_offsets" STATUS_STORAGE_TOPIC: "my_connect_statuses" ports: - "8083:8083" depends_on: - zookeeper - kafka container_name: "connect" networks: - inventory volumes: nifi: networks: inventory: driver: bridge |
Conclusão
A modernização de software legado com CDC, Debezium, Kafka e NiFi oferece uma oportunidade única de acelerar o time to market em projetos de software. Ao aproveitar as vantagens dessas tecnologias inovadoras, as empresas podem superar as limitações do software legado e responder com agilidade às demandas do mercado em constante mudança. Com a modernização, os negócios podem obter maior flexibilidade, escalabilidade e precisão nos dados, impulsionando o crescimento e o sucesso a longo prazo.
FAQ: Perguntas Frequentes
1. O que é software legado?
Software legado refere-se a sistemas de software desenvolvidos há muito tempo, utilizando tecnologias obsoletas, e que enfrentam limitações em termos de agilidade, escalabilidade e adaptação às demandas atuais.
2. O que é CDC – Change Data Capture?
CDC, ou Change Data Capture, é uma técnica que permite capturar e rastrear mudanças em bancos de dados em tempo real, convertendo essas mudanças em eventos capturáveis para permitir reações rápidas e eficientes.
3. Quais são as vantagens do Apache Kafka?
O Apache Kafka oferece processamento de alto volume de dados, escalabilidade e tolerância a falhas, além de uma integração flexível com outras ferramentas, tornando-o ideal para cenários de processamento de dados em tempo real.
4. Como o Apache NiFi pode acelerar o time to market?
O Apache NiFi oferece uma interface visual intuitiva para criar e gerenciar pipelines de dados, permitindo a agilidade no desenvolvimento, integração contínua e visibilidade em tempo real, acelerando o time to market de projetos de software.
