![\"\"](\"https:\/\/projetosddwb.com.br\/digiagesiteantigo\/wp-content\/uploads\/2023\/11\/02-1024x536.png\")
<\/figure>\n\n\n\n<\/p>\n\n\n\n
Banco de Dados:<\/strong><\/p>\n\n\n\n Os bancos de dados representam a base tradicional da tecnologia de dados. Embora possam assumir v\u00e1rias formas, todos os bancos de dados facilitam a coleta estruturada de dados. Esses dados s\u00e3o organizados e armazenados de forma sistem\u00e1tica para permitir a recupera\u00e7\u00e3o, o gerenciamento e a manipula\u00e7\u00e3o eficientes das informa\u00e7\u00f5es.<\/p>\n\n\n\n As tecnologias de banco de dados geralmente s\u00e3o categorizadas por sua funcionalidade, finalidade e recursos, como por exemplo:<\/p>\n\n\n\n Sistemas de gerenciamento de banco de dados (DBMS):<\/strong> S\u00e3o a espinha dorsal quando falamos em solu\u00e7\u00f5es de dados, sendo utilizados, principalmente, para execu\u00e7\u00e3o de opera\u00e7\u00f5es de cria\u00e7\u00e3o, leitura, atualiza\u00e7\u00e3o e exclus\u00e3o (CRUD) apoiando diversas outras aplica\u00e7\u00f5es de neg\u00f3cios.<\/p>\n\n\n\n OLTP (Online Transactional Processing):<\/strong> Sistemas usados para a cria\u00e7\u00e3o de dados transacionais. S\u00e3o comumente utilizados para fazer o registro de transa\u00e7\u00f5es financeiras e dados de log, por exemplo.<\/p>\n\n\n\n Conformidade com ACID:<\/strong> Podemos definir ACID como Atomicidade, Consist\u00eancia, Isolamento e Durabilidade. Esse sistema funciona para valida\u00e7\u00e3o de dados transacionais, quando utilizados, eles funcionam com 100% de precis\u00e3o ou falham totalmente. Com este tipo de autenticidade os dados evitam qualquer tipo de perda ou n\u00e3o conformidade.<\/p>\n\n\n\n Data Warehouses:<\/strong><\/p>\n\n\n\n Os Data Warehouses s\u00e3o um dos modelos de armazenamento de dados mais tradicionais e empregam um reposit\u00f3rio centralizado, estruturado e integrado, projetado especificamente para consultas, relat\u00f3rios e an\u00e1lises. Se em um momento anterior esses bancos de dados eram utilizados de forma local, de alguns anos para c\u00e1 este processo de armazenamento de dados vem sendo transferido para a nuvem.<\/p>\n\n\n\n Por\u00e9m \u00e9 importante ressaltar que mesmo os data warehouses locais ou aqueles que est\u00e3o alocados na nuvem possuem as mesmas vantagens e desvantagens. Abaixo iremos explorar um pouco mais sobre os data warehouses.<\/p>\n\n\n\n Dados Estruturados: Para que os data warehouses consigam funcionar de forma correta, \u00e9 importante que os dados armazenados estejam estruturados de forma correta, por meio de padr\u00f5es estabelecidos previamente.<\/p>\n\n\n\n Performance: Quando falamos especificamente sobre dados estruturados, os data warehouses possuem um alto desempenho, sendo assim, dependendo da carga de trabalho ainda \u00e9 recomendado o uso de data warehouses.<\/p>\n\n\n\n Pontos Negativos: Quando falamos de dados n\u00e3o estruturados, os data warehouses acabam n\u00e3o suportando esse tipo de informa\u00e7\u00e3o, que acaba tendo um desempenho melhor em data lakes, por exemplo. Al\u00e9m disso, quando falamos em recursos, os data warehouses acabam exigindo uma carga muito grande de recursos financeiros e tecnol\u00f3gicos, tornando-se invi\u00e1vel para parte das empresas.<\/p>\n\n\n\n Data Lakes:<\/strong><\/p>\n\n\n\n Os Data Lakes s\u00e3o um dos modelos de armazenamento mais modernos atualmente, sendo utilizados para armazenar dados estruturados, n\u00e3o estruturados e semiestruturados, al\u00e9m disso, s\u00e3o projetados para armazenar grandes volumes de informa\u00e7\u00f5es e em processos de Machine Learning (ML) e Intelig\u00eancia Artificial (IA). Normalmente s\u00e3o utilizados em processos de leitura e acabam tendo um custo muito mais reduzido quando comparado com os data warehouses.<\/p>\n\n\n\n V\u00e1rios Formatos de Dados: Diferentemente dos data warehouses, os data lakes possuem uma abrang\u00eancia muito maior de formatos de dados, sendo assim, acabam sendo muito mais abrangentes. Al\u00e9m disso, em rela\u00e7\u00e3o aos custos, os data lakes possuem um custo de tecnologia muito mais baixo do que outras solu\u00e7\u00f5es.<\/p>\n\n\n\n Otimizado para Aprendizado de M\u00e1quina (ML) e IA: Os data lakes armazenam uma grande quantidade de dados brutos. Isso os torna ideais para a ingest\u00e3o de estruturas de aprendizado de m\u00e1quina, muitas vezes orientadas por modelos criados com Python, Scala ou R. Eles tamb\u00e9m s\u00e3o uma tecnologia essencial usada no treinamento de modelos emergentes de intelig\u00eancia artificial (IA).<\/p>\n\n\n\n <\/p>\n\n\n\n Por que os Data Lakes acabam sendo muito mais utilizados?<\/strong><\/p>\n\n\n\n Quando analisamos de forma mais aprofundada, percebemos que o uso do Data Lake por parte das empresas est\u00e1 diretamente relacionado com a facilidade que os Data Lakes possuem quando o assunto \u00e9 escalabilidade e custos. Quando pensamos em grandes empresas, \u00e9 imposs\u00edvel armazenar informa\u00e7\u00f5es em grandes volumes utilizando uma arquitetura que n\u00e3o possa ser escalada, ainda mais quando estamos falando em multinacionais, por exemplo.<\/p>\n\n\n\n Neste sentido, os Data Lakes, quando falamos em capacidade de armazenamento e custos, fornecem uma arquitetura de baixo custo e que consegue armazenar grandes volumes de dados brutos. Al\u00e9m disso, \u00e9 importante ressaltar que neste tipo de armazenamento, a capacidade de computa\u00e7\u00e3o e armazenamento s\u00e3o separadas, permitindo que elas sejam reduzidas ou aumentadas independentemente.<\/p>\n\n\n\n Com isso, o Data Lake permite que os arquitetos aloquem recursos conforme a necessidade e no momento necess\u00e1rio. Por exemplo, se uma organiza\u00e7\u00e3o precisar de armazenamento adicional, ela poder\u00e1 adquiri-lo de forma r\u00e1pida e eficiente, sem precisar adquirir tamb\u00e9m recursos de computa\u00e7\u00e3o que talvez n\u00e3o sejam necess\u00e1rios. Em vez disso, as necessidades de computa\u00e7\u00e3o ou armazenamento s\u00e3o dimensionadas individualmente, em tempo real, economizando muito tempo, esfor\u00e7o e dinheiro.<\/p>\n\n\n\n Por fim, quando olhamos de forma mais aprofundada para os custos, vemos que os data lakes possuem um armazenamento muito mais barato, quando comparado com outras formas de armazenamento. Al\u00e9m disso, com o avan\u00e7o das tecnologias, o seu desempenho cresceu e atualmente pode ser equiparado aos data warehouses tradicionais.<\/p>\n\n\n\n A combina\u00e7\u00e3o de um sistema dimension\u00e1vel, econ\u00f4mico e eficiente \u00e9 uma vit\u00f3ria clara para muitas organiza\u00e7\u00f5es, definindo uma sobreposi\u00e7\u00e3o ideal entre diferentes fatores.<\/p>\n\n\n\n Qual a diferen\u00e7a entre Data Lake e um Data Lakehouse?<\/strong><\/p>\n\n\n\n Nos \u00faltimos anos, os data lakes amadureceram a um ponto em que os data lakes modernos incluem muitos recursos que n\u00e3o existiam nas itera\u00e7\u00f5es anteriores. Esses lagos de dados modernos s\u00e3o definidos por formatos de tabela modernos e abertos, como Iceberg, Delta Lake ou Hudi. Eles incluem suporte transacional aprimorado, rivalizando com os melhores bancos de dados OLTP, e recursos como evolu\u00e7\u00e3o de esquema, evolu\u00e7\u00e3o de parti\u00e7\u00e3o e viagem no tempo. Isso reduziu ainda mais a lacuna entre data lakes, data warehouses e bancos de dados. Essa converg\u00eancia deu origem ao termo data lakehouse para descrever os data lakes modernos, nomeado devido \u00e0 mistura de data lake e data warehouses.<\/p>\n\n\n\n Os data lakehouses incluem v\u00e1rios recursos importantes que os diferenciam dos data lakes tradicionais. Esses recursos incluem:<\/p>\n\n\n\n Camada de Governan\u00e7a Aprimorada e Coleta de Metadados:<\/strong><\/p>\n\n\n\n Em compara\u00e7\u00e3o com um data lake tradicional, um data lakehouse lida com a governan\u00e7a de dados de uma maneira superior. Esse \u00e9 o resultado de uma abordagem mais avan\u00e7ada para a coleta de metadados, que \u00e9 capaz de construir melhor um registro preciso das altera\u00e7\u00f5es na tabela a qualquer momento. Esse \u00e9 o principal recurso que permite recursos aprimorados e a ado\u00e7\u00e3o de funcionalidades que apagam a distin\u00e7\u00e3o entre data lake, data warehouse e banco de dados.<\/p>\n\n\n\n Data Lake Tradicional:<\/strong><\/p>\n\n\n\n Os data lakes, especialmente os que usam armazenamento de objetos em nuvem, normalmente utilizam uma camada de armazenamento imut\u00e1vel. Ela pode ser criada usando o AWS S3, o Azure ADLS, o Google Cloud Storage ou outro sistema semelhante. Nesses sistemas, os dados podem ser lidos e gravados, mas normalmente n\u00e3o podem ser totalmente exclu\u00eddos ou atualizados. Esse problema geralmente afeta os usu\u00e1rios do Hive, que podem se encontrar em situa\u00e7\u00f5es em que acreditam que os dados do usu\u00e1rio foram exclu\u00eddos quando, na verdade, eles persistiram.<\/p>\n\n\n\n Formatos de Tabela Modernos:<\/strong><\/p>\n\n\n\n Todos esses recursos e benef\u00edcios s\u00e3o poss\u00edveis por meio da ado\u00e7\u00e3o de um dos formatos modernos de tabela de lakehouse, como Iceberg, Delta Lake ou Hudi. Esses formatos adicionam uma camada de metadados sobre as tabelas em um data lakehouse que permite recursos do tipo data warehouse.<\/p>\n\n\n\n Uso de Formatos de Arquivo Modernos:<\/strong><\/p>\n\n\n\n \u00c9 importante observar que os data lakehouses tamb\u00e9m usam formatos de arquivos modernos da maneira que se espera de um data lake. Isso inclui formatos de arquivos populares e modernos, como Parquet, ORC e Avro.<\/p>\n\n\n\n Aprimoramentos com um Lakehouse:<\/strong><\/p>\n\n\n\n Em um data lakehouse, os aprimoramentos na camada de governan\u00e7a melhoram a coleta de metadados, permitindo que os dados sejam totalmente atualizados e exclu\u00eddos conforme necess\u00e1rio. Isso abre novos casos de uso anteriormente fechados para os data lakes tradicionais. Por exemplo, garante que os requisitos regulat\u00f3rios, como o GDPR, possam ser totalmente implementados usando a tecnologia de data lake. A governan\u00e7a do GDPR geralmente exige a capacidade de excluir dados do usu\u00e1rio mediante solicita\u00e7\u00e3o.<\/p>\n\n\n\n Este \u00e9 o Fim dos Data Lakes?<\/strong><\/p>\n\n\n\n De modo geral, voc\u00ea deve pensar no data lakehouse como uma evolu\u00e7\u00e3o do data lake, n\u00e3o como um substituto. Por isso, a ado\u00e7\u00e3o de um data lakehouse pode ser gradual. N\u00e3o se trata de uma tecnologia em que os usu\u00e1rios tenham que repensar tudo o que est\u00e3o fazendo ou acabar com os processos estabelecidos. Em vez disso, um data lakehouse pode se adequar \u00e0 evolu\u00e7\u00e3o natural do padr\u00e3o de uso de dados de uma organiza\u00e7\u00e3o, ao mesmo tempo em que oferece muitos aprimoramentos ao longo do caminho.<\/p>\n\n\n\n Se voc\u00ea gostou deste conte\u00fado, te convidamos a ficar atento ao blog da Digiage e, em caso de d\u00favidas, estamos \u00e0 disposi\u00e7\u00e3o para te ajudar!<\/p>\n","protected":false},"excerpt":{"rendered":" Quando pensamos nos usos dos dados que utilizamos diariamente, devemos levar em considera\u00e7\u00e3o que esses dados, na grande maioria das vezes, devem ser utilizados para diversas fun\u00e7\u00f5es e n\u00e3o devem ser considerados produtos descart\u00e1veis, sejam dados mais antigos ou mais recentes. Toda essa quantidade de dados s\u00e3o informa\u00e7\u00f5es que, consequentemente,<\/p>\n","protected":false},"author":2,"featured_media":15056,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[1],"tags":[],"class_list":["post-15055","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-geral"],"yoast_head":"\n![\"\"](\"https:\/\/projetosddwb.com.br\/digiagesiteantigo\/wp-content\/uploads\/2023\/11\/03-1-1024x536.png\")
<\/figure>\n\n\n\n