Data Engineer (Data Pipeline, DBA, Python) – Trung tâm đào tạo Toidayhoc
IT, Việc làm

Data Engineer (Data Pipeline, DBA, Python)

Posted on by user

Công ty:

Địa chỉ: 36 Hoàng Cầu, Phường Ô Chợ Dừa, Quận Đống Đa, Thành phố Hà Nội

Your role & responsibilities

  • Thiết kế kiến trúc, thực hiện triển khai và quản lý chu trình vòng đời của mô hình học máy, bao gồm lập kế hoạch, xây dựng, kiểm thử, triển khai, và theo dõi hiệu suất

  • Cải tiến và tối ưu hóa quy trình triển khai và vận hành mô hình, bao gồm tự động hóa các quy trình và giảm thời gian triển khai mô hình

  • Phối hợp chặt chẽ với các nhóm phân tích dữ liệu, chủ quản sản phẩm, công nghệ để đảm bảo rằng các giải pháp học máy được tích hợp hiệu quả vào sản phẩm và dịch vụ

  • Thiết lập hệ thống giám sát hoạt động của mô hình sau khi triển khai. Thực hiện bảo trì định kỳ để đảm bảo tính chính xác, ổn định và hiệu suất của các mô hình đã triển khai

  • Đảm bảo rằng tất cả các hoạt động và quy trình tuân thủ các chính sách an toàn thông tin và quy định về dữ liệu

  • Tham gia thiết kế, triển khai và tối ưu hóa các giải pháp quản trị và tích hợp dữ liệu trên nền tảng đám mây (ví dụ: AWS, Azure, GCP) hoặc on-prem để thu thập, lưu trữ, xử lý và phân tích dữ liệu

  • Nghiên cứu, đánh giá, triển khai các công nghệ mới trong lĩnh vực quản trị, tích hợp và xử lý dữ liệu, nhằm nâng cao hiệu suất, an ninh thông tin khả năng mở rộng của hệ thống.

  • Tham gia các dự án công nghệ theo phân công.

  • Tham gia xử lý rủi ro công nghệ theo phân công.

Your skills & qualifications

  • Bằng cấp: Đại học chuyên ngành Công nghệ thông tin/Toán tin/Khoa học máy tính/Điện tử viễn thông hoặc các lĩnh vực liên quan

  • Chứng chỉ đào tạo của các giải pháp/công cụ liên quan đến ETL/BI/Data platforms/Data streaming/Điện toán đám mây.

  • Kinh nghiệm: tối thiểu 10 năm kinh nghiệm trong lĩnh vực công nghệ phần mềm, phân tích dữ liệu, khoa học dữ liệu
    Có kinh nghiệm thiết kế và triển khai các tiến trình ETL/ELT, hiểu biết sâu về ít nhất 1 nền tảng ETL platforms (ví dụ Oracle ODI, SAP BODS, Apache Airflow, Informatica, IBM,…).

  • Thành thạo một trong các ngôn ngữ lập trình Python, Java hoặc Scala, với kiến thức vững về SQL và hệ thống cơ sở dữ liệu (PostgreSQL, MySQL, Oracle).

  • Hiểu biết và có kinh nghiệm triển khai Data warehouse/Data Lake, hiểu biết về giải pháp của các hãng: Oracle, SAP, Teradata, IBM, …

  • Có kinh nghiệm thực tế triển khai một trong các giải pháp lakehouse/data platforms (ví dụ: Cloudera, DataBricks, Hortonwork…).

  • Có kinh nghiệm tích hợp dữ liệu, phát triển ETL, data pipeline bằng các công cụ trên nền tảng Cloud (GCP, EWS hoặc Azure)

  • Hiểu biết về kiến trúc dữ liệu (ví dụ: OLAP, Data Warehousing, Data Lake, and/or Data Mesh)

  • Hiểu biết, có kinh nghiệm thiết kế và xây dựng các giải pháp xử lý dữ liệu theo luồng (ví dụ thực hiện với các công cụ Apache Storm, Kafka, Spark Streaming…).

  • Có kinh nghiệm về triển khai giải pháp quản trị chất lượng dữ liệu, bao gồm cả những môi trường phân tán.

  • Có kinh nghiệm phát triển công cụ BI phục vụ yêu cầu nghiệp vụ là điểm cộng.

  • Hiểu biết về kiến trúc object storage.

  • Có kinh nghiệm tư vấn kỹ thuật, đào tạo, dẫn dắt thay đổi

  • Lập kế hoạch và quản lý thời gian hiệu quả

  • Kỹ năng giải quyết vấn đề tốt

  • Giao tiếp tốt bằng tiếng Anh

Benefits for you