Avatar of 黃柏叡.
黃柏叡
軟體工程師(襄理階)
ProfileResume
Posts
1Connection
Print
Avatar of the user.

黃柏叡

軟體工程師(襄理階)
畢業於交通大學資訊工程學系,後取得師大政治學研究所碩士及法國雷恩商學院數位行銷傳播碩士。跨足資訊工程、政治學、數位行銷傳播等多領域,對數據分析在不同領域的應用有濃厚興趣及豐富經驗。擅長運用數據分析、AI 技術解決商業問題,具備大型資料庫及分散式計算系統建置經驗,並有多次專案管理及創業經驗。 當前成就: 1.協助資策會於經濟部人工智慧產業關鍵技術拔尖計畫通過審核。 2.為國泰人壽建置高效能分散式數據分析平台。 3.成功協助多家企業導入數據分析及 AI 解決方案。
Logo of the organization.
國泰人壽保險股份有限公司
Logo of the organization.
ESC Rennes School of Business
台北市, 台灣
Taiwan

Professional Background

  • Current Status
    Employed
  • Profession
    Data Engineer
    System Architecture
    DevOps / System Admin
  • Fields
    Insurance
    Software
  • Work Experience
    6-10 years (6-10 years relevant)
  • Management
    I've had experience in managing 5-10 people
  • Skills
    Project Management
    Project Planning
    Proposal Writing
    System Development
    Data Analysis
    Algorithm Development . Machine Learning . Data Science . Predictive Analytics
    Heroku
    Azure Computer Vision
    ChatGPT API
    Langchain
    Cloud Services
    Basic CSS/HTML
    AR.js
    WebAR
    SVM/LR/DT/RF/Logistic Regression
    RNN-LSTM
    CNN
    Named Entity Recognition
    Sentiment Analysis
    Autoencoder
    Data analysis
    Apache Spark
    Hadoop Ecosystem
    Redis
    Apache Zeppelin
    NVIDIA RAPIDS
    Git
    Docker
    GitLab
    AutoIT
    Nice RPA
    Selenium
    Appium Automation
    WinAppDriver
    Jenkins CI/CD integration
    Jenkins Pipeline
    Syslog
    ElasticSearch
    Kibana
    Databases
    MySQL / Mariadb
    MSSQL Server
    PostgreSQL
    SQLite3
    DB2
    MongoDB
    C#.NET development
    Python
    JavaScript
    Windows Batch Script
    Linux Shell
    C
    NLP
    C#
    vb6
    ANTLR
    AWS
  • Languages
    Chinese
    Native or Bilingual
    English
    Fluent
    French
    Beginner
  • Highest Level of Education
    Master

Job Search Preferences

  • Current Status
    Ready to interview
  • Desired Job Type
    Full-time
    Interested in working remotely
  • Desired Positions
    Data Engineer 數據工程師 / Data Analyst 數據分析師 / Infra Engineer 架構工程師 / Consultant 顧問 / DBA 資料庫管理員
  • Desired Work Locations
    Taipei City, Taiwan
  • Freelance
    Non-freelancer

Work Experience

Logo of the organization.

軟體工程師(襄理階)

Sep 2021 - Present
Taipei City, Taiwan
一、分散式數據分析平台建置與最佳化:設計、開發並最佳化基於 Apache Spark 生態系統的分散式計算環境,提升巨量精算數據處理速度。 二、精算應用程式轉譯與整合:開發程式語言轉譯器,將傳統精算套裝軟體語法轉換為 Spark 可執行程式碼,實現大數據分析流程無縫銜接。 三、巨量資料比對與驗證:規劃並實施巨量精算現金流資料比對策略,利用 SparkSQL 大幅提升比對效率,確保數據準確性。 四、AIGC 技術導入與應用:負責部門 AIGC 應用規劃,探索並實踐多項應用,如影音摘要、文獻翻譯摘要、程式碼檢查、快速建置小程式等。 五、自動化測試框架建構:建立高效能 UI 自動化測試框架,整合 Selenium IDE、Appium、WinAppDriver 及 Jenkins,實現 CI/CD 流程。 六、Log 伺服器系統群建置:建置集中式 Log 伺服器系統群,利用 Syslog-ng、Elasticsearch 及 Kibana 實現 Log 數據的實時收集、索引、搜索、監控與視覺化分析。 七、資料治理與數據字典建立:擔任部門資料管理師,建立並維護標準化數據字典,最佳化資料治理流程,促進跨部門溝通協調。 八、專利申請:協助部門進行新型專利申請,負責撰寫申請文件底稿、流程圖,並與專利公司溝通,成功取得專利證書。 九、Redmine 系統模組改良:修改 Redmine 系統,符合特定應用需求(如密碼複雜度),並設定公司 LDAP 登入。 十、AWS AI應用實驗:主要應用Amazon Bedrock的AI Agent與Knowledge Base,結合S3與vector store(OpenSearch & Aurora),進行限定資料的知識萃取與應用,以及設定合理的IAM權限予合作小隊夥伴。 ※執行專案內容: 1.分散式數據分析環境建置 專案角色: 架構師 & 開發工程師 開發語言/工具: Python3 / SQL / Apache Spark / Hadoop (Yarn, Hive, HDFS) / PostgreSQL with Patroni / Redis / Apache Zeppelin / NVIDIA Rapids / Docker 專案內容: 建置 Spark 生態系及倉儲管理系統,負責整體設計開發與效能最佳化。 採用 Spark on Yarn 架構,大幅提升精算現金流資料處理速度。 使用 HDFS、Parquet、PostgreSQL 高可用性集群 (Patroni) 及 Redis 緩存數據。 以 Apache Zeppelin 為平台,提供互動式數據探索、模型實驗及結果視覺化環境。 進行 Spark on GPU (NVIDIA Rapids) 實驗,驗證可行性。 2.套裝精算應用程式語法轉譯至 Spark 系統 專案角色: 語言工程師 & 轉譯器開發工程師 開發語言/工具: C# / Antlr4 / Apache Spark / .NET for Apache Spark 專案內容: 將精算套裝軟體重寫為可直接轉譯為 Spark 批量運算程式的應用程式。 採用 ANTLR4 構建專用語法的 lexer 與 parser,精準解析原始程式邏輯。 基於 ANTLR4 的 visitor 模式,開發 C# 轉譯器,將 AST 轉換為 Spark SQL 或 DataFrame API 可執行程式碼。 3.巨量精算現金流資料比對 專案角色: 系統工程師 & 數據工程師 開發語言/工具: C# / SQLite3 / SparkSQL / Apache Spark 專案內容: 負責資料倉儲、比對策略規劃和比對程式與 SQL 開發。 初期使用 SQLite3 和 C# 進行比對,後遷移至 SparkSQL 平台,大幅提升效率。 4.規劃部門應用 AIGC 技術與初步實踐 專案角色: AIGC 技術規劃 & AIGC 應用開發 POC 開發語言/工具: Python / Langchain / ChatGPT API (包含 Whisper) 專案內容: 擔任全精算體系 AIGC 應用規劃主責,協助部門規劃 AIGC 技術應用。 開發多項 AIGC 應用,如影音摘要、文獻翻譯摘要、程式碼檢查、快速建置小程式等。 提出未來內部自建應用規劃,如自動問答系統、智能推薦等。 5.建構高效能 UI 自動化測試框架 專案角色: 策略規劃 & 開發工程師 開發語言/工具: Selenium IDE / Appium / WinAppDriver / Jenkins 專案內容: 利用 Selenium IDE、Appium 和 WinAppDriver 錄製測試腳本。 整合測試套件與 Jenkins 等 DevOps 工具,實現 CI/CD 流程。 6.建立 Log 伺服器系統群,實現集中管理分析 專案角色: 系統工程師 & 數據工程師 開發語言/工具: Syslog-ng / Elasticsearch / Kibana / Docker 專案內容: 建立完整的 Log 伺服器系統群,達成 Log 實時收集、索引、搜索與監控。 使用 Syslog-ng、Elasticsearch 和 Kibana 實現 Log 數據的收集、搜索、視覺化與分析。 7.部門資料治理與數據字典建立 專案角色: 資料管理師 專案內容: 建立並維護部門所有資料表的標準化數據字典。 與各部門溝通協調,統一資料定義,解決資料共享與整合問題。 協助完善資料治理流程,提升資料管理效率。 8.專利申請 專案角色: 專利工程師 專案內容: 協助部門進行新型專利申請,已獲證書。 負責撰寫申請文件底稿與流程圖,並與專利公司溝通。 核心技術為透過 email 溝通達成自動化表單合併。 9.Redmine 系統模組改良 專案角色: 策略規劃 & 開發工程師 開發語言/工具: Ruby / HTML / Git 專案內容: 改寫 Redmine 系統,符合特定應用需求(如密碼複雜度)。 設定公司 LDAP 登入。 10.精算任務於AI應用實驗(by AWS): 專案角色: Infra建置 & 策略規劃 & 開發工程師 開發語言/工具: Amazon Bedrock / Amazon Aurora Amazon / OpenSearch Serverless / Amazon S3 / Amazon IAM 專案內容: 應用Amazon Bedrock的AI Agent與Knowledge Base(vector store: OpenSearch & Aurora),結合S3,進行精算師基礎工作數位孿生的應用。

負責人暨研發工程師

Dec 2018 - Sep 2021
2 yrs 10 mos
Taipei City, Taiwan
※在任期間同時營運欣潤系統整合顧問有限公司 一、流程自動化開發:運用 RPA 工具 (Nice RPA) 結合 JavaScript、CSS、Excel 巨集及 Java 等技術,為金融、電信及航運產業客戶開發自動化流程,取代人工操作,大幅提升效率。 二、系統與演算法規劃:基於消費者行為與電商平台資訊,規劃銷售策略與顧客觸及策略的演算法架構,協助客戶制定更有效的行銷策略。 ※執行專案內容: 1.玉山銀行 流程自動化 專案角色: 開發工程師 開發語言/工具: 基於客戶保密協議,不便透露具體細節。 專案內容: 開發金融安全相關的自動化流程,整合內部系統與外部網頁,取代人工資訊輸入與查找作業。 基於客戶保密協議,不便透露具體細節。 2.遠通電收 流程自動化 專案角色: 開發工程師 開發語言/工具: 基於客戶保密協議,不便透露具體細節。 專案內容: 開發金融安全及人資相關的自動化流程,整合內部系統與外部網頁,取代人工操作。 基於客戶保密協議,不便透露具體細節。 3.陽明海運 流程自動化 專案角色: 專案經理 & 開發工程師 開發語言/工具: 基於客戶保密協議,不便透露具體細節。 專案內容: 主持並參與分單管理相關的自動化流程開發,整合內部系統資訊。 基於客戶保密協議,不便透露具體細節。 4.盛大資訊 電子商務數據分析 專案角色: 系統與演算法規劃 專案內容: 基於消費者行為與電商平台資訊,規劃銷售策略與顧客觸及策略的演算法架構。

負責人暨研發工程師

Mar 2020 - Nov 2020
9 mos
Taipei City, Taiwan
一、專案管理 (PM):主導多個跨領域專案,包含提案、規劃、執行、驗收等階段,有效整合資源並達成專案目標。 二、演算法開發:設計、開發並驗證多種機器學習演算法,應用於資料預測、信用評估、風險分析等領域,提升系統效能與準確度。 三、系統開發:參與系統架構設計、資料庫建置、API開發等工作,確保系統穩定性、擴展性與安全性。 四、資料分析:運用資料探勘、統計分析等方法,從巨量資料中提取有價值的資訊,協助決策制定並驅動業務成長。 五、行銷規劃與管理:規劃並執行社群媒體行銷策略,分析後台數據進行精準行銷,有效提升粉絲專頁追蹤數及互動率。 ※執行專案內容: 1.淡江大學 AI 相關合作研究案 專案角色: 專案經理 & 開發工程師 開發語言/工具: Python3 / AR.js / Git 專案內容: 與淡江大學教育科技學系長期合作,主導多個 AI 應用研究項目。 開發無人機結合電腦視覺辨識系統,運用 Azure Computer Vision 辨識物件。 建立 WebAR 展示模組,實現圖片 Maker 與網頁互動功能。 建置 Line 問答機器人,分別運用 Azure QnA Maker 及模糊比對技術、結巴斷詞與 TextRank 技術,回答生命教育相關問題及進行文章摘要。 負責 Heroku 雲端服務部署及 Git 版控。 2.匯豐汽車 & 明志科技大學 虛擬汽車維修師傅 專案角色: 專案經理 & 演算法規劃 開發語言/工具: Python3 專案內容: 主持產學合作專案,規劃利用車載裝置 (OBD2) 資料強化車輛趨前檢驗準確性。 導入數位孿生 (Digital Twin) 概念,將老師傅經驗轉化為演算法模型,作為判斷基礎並持續改良。 應用 Apriori、SVM、Naïve-Bayes、KNN、Decision Trees 等技術進行模型驗證。 3.台灣之星 數據分析基礎建設架構規劃 專案角色: 系統規劃 專案內容: 協助規劃數據分析硬體翻新與資料庫架構,以支援 Trinity ETL 及 SAP BI 4 版本需求。 規劃使用 PostgreSQL based Cluster (Postgres-XL) 作為解決方案。 4.清華大學 EMBA 線上通訊錄 專案角色: 專案經理 專案內容: 主持清大 EMBA 線上通訊錄建置專案,整合至 EMBA 網站。 負責專案提案規劃及溝通協調,與研發工程師合作完成開發。 5.國防大學理工學院 期刊徵稿系統 專案角色: 系統規劃 專案內容: 規劃更新現有期刊徵稿系統,導入自動化通知與流程監控機制,提升系統效率。 6.TWNIC 財團法人台灣網路資訊中心 粉絲專頁管理 專案角色: 協助營運管理 專案內容: 協助 TWNIC 粉絲專頁營運。 成果: 營運期間粉絲專頁按讚追蹤數成長速率提升四倍。
Logo of the organization.

數據分析工程師暨技術經理

Mar 2017 - Oct 2018
1 yr 8 mos
Taipei City, Taiwan
一、專案管理 (PM):主導多個跨領域專案,包含提案、規劃、執行、驗收等階段,有效整合資源並達成專案目標。 二、演算法開發:設計、開發並驗證多種機器學習演算法,應用於資料預測、信用評估、風險分析等領域,提升系統效能與準確度。 三、系統開發:參與系統架構設計、資料庫建置、API開發等工作,確保系統穩定性、擴展性與安全性。 四、資料分析:運用資料探勘、統計分析等方法,從巨量資料中提取有價值的資訊,協助決策制定並驅動業務成長。 ※執行專案內容: 1.供應鏈協作RPA認知學習暨區塊鏈整合先導研究 專案角色: 共同提案人 & 研發工程師 開發語言/工具: Python3 / MariaDB / MongoDB 專案內容: 主導 bot farm建置,提供供應鏈上下游彈性應用,並整合區塊鏈技術確保資訊可追溯性。 開發自動化整合系統,協助成衣業及電商客戶提升揀貨效率及預測準確度。 負責演算法規劃導入驗證 (SVM、Linear Regression) 及基礎建設建置 (MongoDB、MariaDB)。 2.經濟部人工智慧產業關鍵技術拔尖計畫子項:智慧徵信 專案角色: 專案副理 & 研發工程師 開發語言/工具: Python3 / MySQL / MSSQL / Docker 專案內容: 參與智慧徵信系統建置,利用外部資料補強企業信用評估模型,強化金融業企金放款信用評等機制。 負責提案規劃、演算法規劃與實作,以及基礎建設建置維運。 規劃 GPU server需求,並選擇合適的雲端服務。 協助資料倉儲工作,處理非結構化資料 (sentiment analysis, one-hot encoding)。 應用 NER、中文斷詞、sentiment analysis、LSTM、Autoencoder、CNN 等技術進行模型訓練與驗證。 3.經濟部巨量資料創新技術與智慧應用計畫支項:車聯網 專案角色: 專案經理 & 研發工程師 開發語言/工具: Python3 / Java / MySQL 專案內容: 主持車聯網專案,分析國道客運車載數據、氣象資訊、路況資訊等,預測高事故情境並提供預警。 開發資料清理與統計工具,並設計自動化paging機制降低資料庫負載。 開發 Python 爬蟲程式,自動擷取氣象局及警廣資訊。 採用 Logistic Regression 演算法進行分析。 4.經濟部巨量資料創新技術與智慧應用計畫支項:網紅推薦 專案角色: 研發工程師 開發語言/工具: Python3 / MariaDB / Elasticsearch 專案內容: 參與網紅推薦系統建置,整合網紅社群資訊及粉絲數據,協助廠商快速媒合網紅並發掘潛在客戶。 負責基礎建設建置 (Schema規劃、DB server維護、效能最佳化),並擔任演算法顧問。 導入 Elasticsearch 建置搜尋機制。 應用 NER、中文斷詞、sentiment analysis、LSTM 等技術。
Logo of the organization.

實習生

Jun 2016 - Mar 2017
10 mos
Taipei City, Taiwan
一、專案管理 (PM):主導車聯網專案,包含提案、規劃、執行、驗收等階段,有效整合資源並達成專案目標。 二、演算法開發:設計、開發並驗證機器學習演算法,應用於資料預測領域,提升系統效能與準確度。 三、系統開發:參與系統架構設計、資料庫建置、API開發等工作,確保系統穩定性、擴展性與安全性。 ※執行專案內容: 1.經濟部巨量資料創新技術與智慧應用計畫支項:車聯網 專案角色: 專案經理 & 研發工程師 開發語言/工具: Python3 / Java / MySQL 專案內容: 主持車聯網專案,分析國道客運車載數據、氣象資訊、路況資訊等,預測高事故情境並提供預警。 開發資料清理與統計工具,並設計自動化paging機制降低資料庫負載。 開發 Python 爬蟲程式,自動擷取氣象局及警廣資訊。 採用 Logistic Regression 演算法進行分析。

Education

Logo of the organization.
Master of Science (MS)
Digital Marketing and Communication
2015 - 2017
Description
學位取得條件包含論文與實習,實習選擇台灣的資策會進行商學與數據分析的研究。 學位論文: Online open data meets offline business - An exploratory research of using open data to improve operation performance and online reputation of intercity bus services (研究實習期間進行的國道客運專案包含駕駛事故等各項公開資料、聲譽與其營運方針和表現的關聯性)。 畢業時因成績優異獲得Graduation with Distinction。
Logo of the organization.
Master of Arts (MA)
政治學
2011 - 2013
Description
在學期間發表論文: 1. 研討會論文: Many Faces in Politics: A Nascent Review on the Use of Facebook in Political Studies, 發表於law & society association annual meeting 2013. 2. 學位論文: 第八屆立法委員質詢行為與臉書經營關係之研究(以TFIDF技術研究立法委員質詢行為與臉書經營的關聯性) 畢業時獲得斐陶斐榮譽會員
Logo of the organization.
Bachelor’s Degree
資訊工程
2006 - 2011
Logo of the organization.
High School Diploma
第三類組
2003 - 2006

Licenses & Certifications

Logo of the organization.

虛擬實境開發訓練證書

皮托科技股份有限公司
Issued Apr 2021
No Expiration Date
Logo of the organization.

Big Data 資料採礦分析 : 雲端商業智慧整合應用結訓

資策會教研所
Issued Jun 2018
No Expiration Date
Logo of the organization.

卡內基衝破障礙獎

卡內基訓練 Dale Carnegie Training Taiwan
Issued May 2017
No Expiration Date
Logo of the organization.

卡內基學習精神獎

卡內基訓練 Dale Carnegie Training Taiwan
Issued May 2017
No Expiration Date
Logo of the organization.

卡內基訓練證明

卡內基訓練 Dale Carnegie Training Taiwan
Issued May 2017
No Expiration Date
Logo of the organization.

多益金色證書

多益TOEIC
Credential ID: 776461
Issued Jan 2014
No Expiration Date
Logo of the organization.

榮譽會員證書

中華民國斐陶斐榮譽學會 (The Phi Tau Phi Scholastic Honor Society of the Republic of China)
Issued Jun 2013
No Expiration Date