Renan is available for hire

Renan Tomazoni Pinzon

Verified Expert in Engineering

数据工程师和开发人员

Location

阿雷格里港-南里奥格兰德州，巴西

至今成员总数

July 14, 2023

Renan是一名熟练的数据工程师，拥有软件工程背景和15年的经验. 他曾与Zenvia合作, PagoNxt, and Neogrid, 领导创建支付卡行业(PCI)合规性数据平台，并在AWS和Azure上构建新的数据解决方案. 精通Scala, Java, Spark, Flink, Hadoop, Kafka, AWS, and Azure, 勒南在任何组织里都是宝贵的财富.

Big Data 企业Java bean (EJB)软件工程计算机科学分布式系统 Programming Java SQL Microsoft SQL Server Hadoop RabbitMQ HDFS Spark Scala NoSQL Data Lakehouse Chef SBT HBase Filebeat JCA Cryptography

Portfolio

Zenvia

Scala, Java, Spark, Flink, Hadoop, Databricks, 亚马逊网络服务(AWS)...

Freelance

Scala, 亚马逊网络服务(AWS)， Amazon DynamoDB, SBT, Shell, Linux, H2...

Viewdeck咨询

厨师，地形，节点.. js、Docker、Vagrant、亚马逊网络服务(AWS)...

Experience

Java - 15 years Hadoop - 10年 Scala - 8年 Spark - 8 years Azure - 4年 Apache Kafka - 4年亚马逊网络服务(AWS)——3年 Flink - 2 years

Availability

Part-time

首选的环境

Spark, Flink, Scala, Java, Hadoop, Azure, Apache Kafka, NoSQL, SQL, 亚马逊网络服务(AWS)

最神奇的...

...我所做的事情是为基于云的支付解决方案从零开始领导创建符合PCI的数据平台.

Work Experience

Data Engineer

2021 - PRESENT

Zenvia

在AWS之上创建了新的数据平台架构，支持新的数据解决方案交付.
在Scala中构建和开发Spark结构化流作业，使用Delta Lake作为存储层从Kafka摄取数据到S3.
在Scala中架构和开发Spark批处理作业，使用不同的文件类型作为源生成其他Delta表.
在Scala中设计和开发Flink流作业，处理和关联来自不同Kafka主题的数据，并使其接近实时可用.
使用Java设计和开发微服务，从Kafka中消费数据并将其存储在MongoDB上.

技术:Scala, Java, Spark, Flink, Hadoop, Databricks, 亚马逊网络服务(AWS), MongoDB, PostgreSQL, Kubernetes, Delta Lake, Amazon S3 (AWS S3), Apache Airflow, Amazon EKS, Amazon EC2, Amazon Glacier, 亚马逊ElastiCache, Amazon Elastic MapReduce (EMR), Java Amazon SDK, Amazon Linux, 亚马逊Linux AMI, Amazon Simple Queue Service (SQS), Amazon RDS, 亚马逊虚拟私有云(VPC), Docker, Docker Compose, Shell, Linux, Git, AWS IAM, Druid.io, 工程数据, Big Data, MongoDB Atlas, 数据架构, 大数据架构, ETL, ELT, SQL, APIs, Architecture

Scala Developer

2021 - PRESENT

Freelance

使用Scala和Cats Effect开发微服务和库.
使用Scala和Cats Effect创建与外部api的集成.
从Node迁移了微服务.使用Cats Effect转换为Scala.

技术:Scala, 亚马逊网络服务(AWS)， Amazon DynamoDB, SBT, Shell, Linux, H2, Cats Effect, Git, APIs

自由开发工程师

2019 - 2021

Viewdeck咨询

通过实现Chef简化基础设施配置.
实现了Terraform，也简化了基础设施配置.
在Node中开发微服务.. js集成各种crm.

技术:厨师，地形，节点.. js、Docker、Vagrant、亚马逊网络服务(AWS)、Amazon EC2、UKCloud、Linux、Git

Data Engineer

2019 - 2021

pagonext(桑坦德银行旗下公司)

按照PCI数据安全标准等安全标准，设计了数据平台的体系结构，定义了数据平台的技术栈.
创建和开发核心组件和工具，供其他数据工程团队使用, process, 传递数据.
设计并开发了自定义变更数据捕获(CDC)解决方案，用于在MongoDB变更流之上从MongoDB捕获数据.

技术:火花, Scala, Java, Azure, Databricks, MongoDB, Kubernetes, Dremio, Delta Lake, PCI DSS, SBT, Docker, Docker Compose, Azure事件中心, Azure服务总线, Azure Data Lake, Azure砖, Azure DevOps, Azure应用程序洞察, Azure Kubernetes服务(AKS), Azure Key Vault, HashiCorp, Git, 工程数据, Big Data, 数据架构, 大数据架构, ETL, ELT, SQL, Architecture

Data Engineer

2013 - 2019

Neogrid

设计和开发基于Hadoop的Spark和Scala处理数据的解决方案，以取代传统的基于SQL Server集成服务的BI解决方案.
架构和开发使用MapReduce处理数据的解决方案, Apache Pig, 和Apache Crunch在Hadoop之上.
创建和开发用于HDFS和HBase的api和库.
设计和开发管道，以接近实时的方式将数据从HBase索引到Apache Solr.
使用ELK堆栈为整个公司构建和开发了一个日志解决方案.
帮助基础设施团队使用Chef实现整个Hadoop基础设施的自动化.

技术:火花, Scala, Hadoop, Java, HBase, Solr, MapReduce, Apache Pig, Apache Crunch, RabbitMQ, Spring, Chef, ELK(弹性堆叠), HDFS, Finagle, Apache Ignite, Microsoft SQL Server, Logstash, Cloudera, Linux, Apache Lucene, SBT, Apache Maven, Flume, Apache管理员, Docker, Docker Compose, Vagrant, Git, 工程数据, Big Data, 数据架构, 大数据架构, ETL, ELT, SQL, APIs, Architecture

软件架构师

2009 - 2013

Neogrid

用Java设计和开发企业和独立应用程序.
通过增强用Java编写的关键任务电子数据交换(EDI)应用程序的性能，将吞吐量提高了20%以上.
构建和开发库，通过Java加密体系结构和扩展(JCA/JCE)，使用物理硬件安全模块作为底层存储和OpenPGP标准，提供数字认证和加密功能.
创建并开发了一个任务关键型EDI应用程序，以取代以前的系统.

Java技术:, Java EE, WebLogic, Microsoft SQL Server, Apache Maven, Spring, ELK(弹性堆叠), JCA, JCE, 企业Java bean (EJB), RabbitMQ, Ant Design, Shell, OpenPGP, Cryptography, Logstash, Filebeat, Git, Subversion (SVN), SQL, APIs, Architecture

Experience

内容存储库

一个活动的存储库，用于存储与其相关的内容和元数据. 作为软件架构师，我使用Java开发了解决方案的大部分功能. 该解决方案依赖HBase和HDFS存储数据，并使用Apache Solr对数据进行索引和低延迟搜索.

该存储库的主要需求包括高可用性、容错性和低延迟. 构建它是为了取代使用传统文件系统和数据库的遗留解决方案. 存储库还提供模式管理和演化，以允许每个应用程序存储与其业务相关的元数据.

支付云平台

建立在Azure之上的云原生支付平台. 我是主要的数据平台架构师. 我定义了技术并开发了框架, libraries, 以及其他数据工程师使用的工具.

数据平台允许在MongoDB之上使用CDC来摄取数据, 来自Kafka的事件, and any file. 它还允许在Databricks或Kubernetes上运行Spark，通过流或批处理处理数据.

供应链管理分析平台

供应链管理分析平台. 作为主要的建筑师, 我做了环境尺寸, 定义技术栈, 并开发了解决方案的许多关键组件.

该平台的目标是取代建立在微软集成服务(SSIS)之上的遗留BI解决方案。, 降低我们的运营成本，并提供更多的分析能力，以提高客户的补充时间.

Skillset

Languages

Scala, Java, SQL, Java 6, R

Frameworks

Spark, Hadoop, Data Lakehouse, Apache Spark, Spring, Finagle, Ant Design

Libraries/APIs

Apache Crunch、Node.. js, Apache Lucene

Tools

Flink, RabbitMQ, Spark SQL, JCA, JCE, Solr, ELK(弹性堆叠), Apache Ignite, AWS IAM, MongoDB Atlas, Chef, Cloudera, Azure Kubernetes服务(AKS), Terraform, Apache Maven, GitLab CI/CD, Apache Airflow, Shell, Apache Solr, Amazon EKS, 亚马逊ElastiCache, Amazon Elastic MapReduce (EMR), Java Amazon SDK, Amazon Simple Queue Service (SQS), 亚马逊虚拟私有云(VPC), Docker Compose, Logstash, SBT, Flume, Apache管理员, Vagrant, Azure应用程序洞察, Azure Key Vault, HashiCorp, Git, Subversion (SVN)

Paradigms

MapReduce, ETL，函数式编程，并行计算，Azure DevOps

Platforms

Azure, 亚马逊网络服务(AWS), Databricks, Apache Pig, Spark Core, Apache Kafka, Java EE, Kubernetes, Azure Synapse, Java SE 6, Docker, Azure事件中心, Amazon EC2, Amazon Linux, 亚马逊Linux AMI, Linux

Storage

NoSQL, RDBMS, HBase, HDFS, Microsoft SQL Server, Data Pipelines, Amazon S3 (AWS S3), MongoDB, PostgreSQL, Data Lakes, Azure Cosmos DB, Azure Blobs, MySQL, MariaDB, Druid.io、Amazon DynamoDB、H2

Other

Big Data, 软件工程, 计算机科学, 分布式系统, Programming, Delta Lake, 企业Java bean (EJB), ELT, Data Modeling, Cloud, 云基础设施, Azure砖, 工程数据, 数据架构, 大数据架构, EMR, APIs, Architecture, AWS认证解决方案架构师, Dremio, PCI DSS, WebLogic, Computer Repair, Networking, Cloud Services, 用户定义函数(UDF), Cloud Computing, Delta Live Tables, Data Processing, Azure Data Lake, Azure流分析, Azure数据工厂, Blob Storage, CDC, CI/CD Pipelines, Azure服务总线, 数据仓库, Supply Chain, 供应链管理(SCM), 电子数据交换(EDI), Amazon Glacier, Amazon RDS, OpenPGP, Cryptography, Filebeat, UKCloud, Cats Effect

Education

2017 - 2018

数据科学(大数据)工商管理硕士(MBA)

信息技术研究所(IGTI) -巴西MG贝洛奥里藏特

2014 - 2015

信息技术(MIT)软件工程硕士，使用Java

互联网研究所-阿雷格里港，RS，巴西

2006 - 2011

信息系统学士学位

Pontifícia南里奥格兰德州大学Católica -阿雷格里港，RS，巴西

2006 - 2007

计算机科学技术文凭

Alcides Maya |学院-阿雷格里港，RS，巴西

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

分享你的需求

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.

选择你的才能

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring