Devops engineer (lead)

Responsabilități:

Proiectați și implementați infrastructura necesară pentru scraping-ul de date și gestionarea fișierelor în cadrul sistemului Tenderly.
Dezvoltați și mențineți procese de scraping scalabile și fiabile pentru a colecta date din diferite surse în mod eficient.
Proiectați și optimizați sistemele pentru gestionarea unei baze de date capabile să deconstruiască și construiască fișiere PDF.
Colaborați cu inginerii software și cu specialiștii în știința datelor pentru a identifica și implementa tehnici eficiente de extragere a datelor.
Dezvoltați și mențineți scripturi sau instrumente de automatizare pentru sarcini de scraping de date, gestionare de fișiere și manipulare de PDF-uri.
Asigurați securitatea și integritatea datelor pe parcursul proceselor de scraping și stocare.
Monitorizați și remediați problemele legate de infrastructură în cadrul sistemului Tenderly.
Implementați și mențineți fluxurile de lucru CI/CD pentru implementarea și testarea automate a sistemului Tenderly.
Colaborați cu echipele interfuncționale pentru a defini și impune cele mai bune practici și standarde DevOps.
Fiți la curent cu tehnologiile emergente și tendințele din industrie legate de scraping-ul de date, gestionarea de fișiere și manipularea de PDF-uri.
Cerințe:

Competențe tehnice:

Experiență solidă în ingineria DevOps, inclusiv proiectarea, implementarea și menținerea infrastructurii.
Cunoștințe solide despre tehnici, instrumente și framework-uri de scraping de date (de exemplu, BeautifulSoup, Scrapy).
Cunoștințe avansate despre sistemele de gestionare a bazelor de date (de exemplu, SQL, NoSQL) și experiență în proiectarea și optimizarea bazelor de date pentru stocarea și recuperarea eficientă a datelor.
Înțelegere solidă a tehnicilor și instrumentelor de deconstrucție și construcție a fișierelor PDF (de exemplu, PDFMiner, Apache PDFBox).
Experiență în utilizarea limbajelor de scripting precum Python, Ruby sau Perl pentru sarcini de automatizare.
Cunoașterea platformelor și serviciilor cloud (de exemplu, AWS, Azure, Google Cloud) pentru construirea unei infrastructuri scalabile și fiabile.
Competențe în implementarea și gestionarea fluxurilor CI/CD utilizând instrumente precum Jenkins, GitLab CI/CD sau CircleCI.
Înțelegere profundă a sistemelor de operare Linux/Unix și a instrumentelor de linie de comandă.
Cunoștințe despre tehnologii de containerizare precum Docker și instrumente de orchestrare precum Kubernetes.
Familiarizare cu sistemele de control al versiunilor precum Git și fluxurile de dezvoltare colaborative.

Competențe personale:

Abilități excelente de rezolvare a problemelor și de remediere, cu o atenție deosebită la detalii.
Abilități eficiente de comunicare și colaborare pentru a lucra cu echipe interfuncționale.
Abilități puternice de organizare și gestionare a timpului pentru a gestiona mai multe sarcini și priorități.
Capacitatea de a se adapta la cerințele proiectului în evoluție și la avansurile tehnologice.
Abordare proactivă și pasiune pentru învățare și păstrarea actualizată cu tendințele din industrie.
Vorbitor de limba Engleza