無論是身處學(xué)校還是步入社會(huì),,大家都嘗試過寫作吧,,借助寫作也可以提高我們的語言組織能力,。寫范文的時(shí)候需要注意什么呢?有哪些格式需要注意呢?下面是小編為大家收集的優(yōu)秀范文,,供大家參考借鑒,希望可以幫助到有需要的朋友。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇一
1. 負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的設(shè)計(jì)和開發(fā),,負(fù)責(zé)spark, hadoop, flink等云計(jì)算平臺(tái)的開發(fā)和優(yōu)化;制定數(shù)據(jù)架構(gòu)規(guī)范,進(jìn)行核心代碼編寫,,指導(dǎo)團(tuán)隊(duì)落地;
2. 負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級(jí)和優(yōu)化,,技術(shù)難題攻關(guān),,持續(xù)提升核心系統(tǒng)性能,保證系統(tǒng)的安全,、穩(wěn)定,、高效運(yùn)行
3. 設(shè)計(jì)并實(shí)現(xiàn)對(duì)bi分析、數(shù)據(jù)產(chǎn)品開發(fā),、算法開發(fā)的系統(tǒng)性支持
4. 研究未來數(shù)據(jù)模型和計(jì)算框架的創(chuàng)新與落地,,包括但不限于以下領(lǐng)域:大規(guī)模數(shù)據(jù)實(shí)時(shí)化、研發(fā)模式敏捷化,、數(shù)據(jù)計(jì)算框架輕量化,、數(shù)據(jù)模型組織方式業(yè)務(wù)化等方面參與制定并實(shí)踐團(tuán)隊(duì)的技術(shù)發(fā)展路線
5. 建立良好的公司內(nèi)外的業(yè)界技術(shù)影響力;參與培養(yǎng)未來數(shù)據(jù)人才;有效輔導(dǎo)團(tuán)隊(duì),提升數(shù)據(jù)研發(fā)能力
任職要求:
1. 有很強(qiáng)的數(shù)據(jù)設(shè)計(jì)抽象能力,,善于從復(fù)雜的數(shù)據(jù)問題中找到關(guān)鍵路徑,,能夠開發(fā)創(chuàng)新而實(shí)際的分析方法以解決復(fù)雜的商業(yè)問題
2. 有作為技術(shù)負(fù)責(zé)人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)建模實(shí)踐經(jīng)驗(yàn)優(yōu)先
3. 熟練掌握hadoop、spark,、flink,、hbase的原理特性以及適用場景,,精通流式計(jì)算開發(fā),有開源二次開發(fā)經(jīng)驗(yàn)者優(yōu)先,有nlp數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先
4. 性格積極樂觀,,誠信,,能自我驅(qū)動(dòng),,有較強(qiáng)的語言表達(dá)能力;具備強(qiáng)烈的進(jìn)取心,、求知欲及團(tuán)隊(duì)合作精神;具有良好的溝通、團(tuán)隊(duì)協(xié)作,、計(jì)劃和創(chuàng)新的能力
5. 本科以上學(xué)歷,,扎實(shí)的計(jì)算機(jī)專業(yè)基礎(chǔ),有5年以上大數(shù)據(jù)平臺(tái)開發(fā)經(jīng)驗(yàn);
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二
職責(zé):
1,、負(fù)責(zé)公司大數(shù)據(jù)底層框架的整體架構(gòu)設(shè)計(jì),,結(jié)合公司實(shí)際業(yè)務(wù)情況進(jìn)行技術(shù)選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2、負(fù)責(zé)公司項(xiàng)目的整體評(píng)估,、設(shè)計(jì),、架構(gòu)及關(guān)鍵模塊的開發(fā);
3、負(fù)責(zé)架構(gòu)優(yōu)化,,協(xié)助團(tuán)隊(duì)解決開發(fā)過程中遇到的技術(shù)難題;
4,、負(fù)責(zé)新技術(shù)的調(diào)研和大數(shù)據(jù)相關(guān)開源組件的研究,并能在團(tuán)隊(duì)進(jìn)行推廣應(yīng)用;
5,、參與數(shù)據(jù)分析,、數(shù)據(jù)建模、項(xiàng)目核心模塊及核心框架的開發(fā);
6、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的性能條有和問題診斷,。
任職要求:
1,、計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,,3-5年以上工作經(jīng)驗(yàn),,2-3年大數(shù)據(jù)相關(guān)經(jīng)驗(yàn);
2、具有扎實(shí)的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,,負(fù)責(zé)過大數(shù)據(jù)平臺(tái)或數(shù)據(jù)倉庫設(shè)計(jì);
3,、對(duì)基于hadoop的大數(shù)據(jù)體系有深入的認(rèn)識(shí),具備相關(guān)產(chǎn)品(hadoop,、hive,、hbase、spark,、storm,、flume、kafka,、redis,、es等)項(xiàng)目應(yīng)用研發(fā)經(jīng)驗(yàn),有hadoop集群搭建和管理經(jīng)驗(yàn),,度過hadoop和spark源碼;
4,、熟悉linux和python語言,了解scala原理和底層技術(shù);
5,、熟悉分布式系統(tǒng)的架構(gòu)及對(duì)其進(jìn)行設(shè)計(jì)和優(yōu)化,,對(duì)海量數(shù)據(jù)的清晰,、分析處理及存儲(chǔ)有相關(guān)的實(shí)戰(zhàn)經(jīng)驗(yàn);
6,、算法基礎(chǔ)扎實(shí),熟悉常見的數(shù)據(jù)結(jié)構(gòu),,深入理解分布式算法和以上提到的分布式系統(tǒng),,
7、必須有一線coding的能力;
8,、有統(tǒng)計(jì)學(xué),、數(shù)學(xué)知識(shí),海量數(shù)據(jù)處理,、分析和挖掘,,大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇三
職責(zé):
1. 負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)和應(yīng)用平臺(tái)的整體規(guī)劃和架構(gòu)設(shè)計(jì),,參與需求分析,,架構(gòu)設(shè)計(jì),詳細(xì)設(shè)計(jì)以及技術(shù)選型決策
2. 參與數(shù)據(jù)挖掘和建模相關(guān)核心算法的代碼實(shí)現(xiàn)
3. 負(fù)責(zé)大數(shù)據(jù)算法平臺(tái)的技術(shù)把關(guān),性能調(diào)優(yōu),,控制架構(gòu)質(zhì)量,,解決項(xiàng)目技術(shù)難題;對(duì)研發(fā)項(xiàng)目和任務(wù)需求進(jìn)行評(píng)估和方案設(shè)計(jì)、拆分任務(wù)并指導(dǎo)工程師完成開發(fā)
4. 帶領(lǐng)團(tuán)隊(duì)提供并實(shí)現(xiàn)大數(shù)據(jù)算法平臺(tái)上各項(xiàng)數(shù)據(jù)接入,、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設(shè)計(jì)與能力,,支持解決方案實(shí)施
5. 負(fù)責(zé)數(shù)據(jù)庫設(shè)計(jì)、應(yīng)用架構(gòu)設(shè)計(jì),、核心技術(shù)選型等工作
6. 協(xié)調(diào)解決開發(fā)中的技術(shù)問題,、設(shè)計(jì)和監(jiān)控運(yùn)營指標(biāo),保障系統(tǒng)穩(wěn)定運(yùn)行
7. 培養(yǎng),,指導(dǎo)有能力的員工,,指導(dǎo)工程師進(jìn)行技術(shù)驗(yàn)證實(shí)現(xiàn),核心技術(shù)攻關(guān),,解決開發(fā)過程中的技術(shù)難題
任職要求:
1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)設(shè)計(jì)方法
2. 熟練使用并理解hadoopspark架構(gòu)及生態(tài),。(hadoop,hive,,hbase,,elasticsearch,kafka,,sparkflink等)
3. 熟悉分布式系統(tǒng)架構(gòu),,有分布式實(shí)時(shí)、離線和機(jī)器學(xué)習(xí)平臺(tái)的架構(gòu)和開發(fā)經(jīng)驗(yàn),,具備海量數(shù)據(jù)清洗,、分析處理及存儲(chǔ)的實(shí)踐經(jīng)驗(yàn)
4. 熟練使用java,具有大規(guī)模分布式系統(tǒng)調(diào)優(yōu)經(jīng)驗(yàn)
5. 熟悉ai相關(guān)算法,,熟悉機(jī)器學(xué)習(xí),、深度學(xué)習(xí)。熟悉ai學(xué)習(xí)開源框架(tensorflow,、pytorch等)者優(yōu)先;
6. 具備良好的團(tuán)隊(duì)合作精神,,對(duì)工作充滿激情。
7. 熟悉fusioninsight平臺(tái)開發(fā)經(jīng)驗(yàn)者優(yōu)先
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇四
職責(zé):
1,、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的技術(shù)選型,,基于spark、hadoop大數(shù)據(jù)平臺(tái)建設(shè)和開發(fā);
2,、完成包括數(shù)據(jù)模型設(shè)計(jì),、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設(shè)計(jì)和數(shù)據(jù)層架構(gòu)設(shè)計(jì);
3,、構(gòu)建數(shù)據(jù)中臺(tái),,為多種行業(yè)應(yīng)用提供主數(shù)據(jù)(畫像標(biāo)簽/關(guān)系圖譜),、數(shù)據(jù)模型、人工智能業(yè)務(wù)算法及數(shù)據(jù)服務(wù),。
4,、對(duì)海量數(shù)據(jù)處理的業(yè)務(wù)需求進(jìn)行評(píng)估和方案設(shè)計(jì)、拆分任務(wù)并指導(dǎo)工程師完成開發(fā);
5,、帶領(lǐng)大數(shù)據(jù)技術(shù)團(tuán)隊(duì)提供并實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)上各項(xiàng)數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設(shè)計(jì),,支撐解決方案實(shí)施。
任職要求:
1,、本科及以上學(xué)歷,,具有5年及以上大數(shù)據(jù)架構(gòu)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn);2年及以上帶領(lǐng)團(tuán)隊(duì)經(jīng)驗(yàn);溝通能力強(qiáng)。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設(shè)計(jì)者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn),、主導(dǎo)過大型商業(yè)軟件的架構(gòu)設(shè)計(jì)并取得過市場商業(yè)成功者優(yōu)先考慮;
2,、熟悉整個(gè)大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集,、清洗,、預(yù)處理、存儲(chǔ),、分析挖據(jù),、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化;
3、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一種主流數(shù)據(jù)庫的使用,,并能進(jìn)行性能調(diào)優(yōu);
4,、具備優(yōu)秀的團(tuán)隊(duì)意識(shí)和溝通能力,學(xué)習(xí)能力和主動(dòng)性強(qiáng),,具有鉆研精神,,充滿激情,樂于接受挑戰(zhàn),。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇五
職責(zé):
(1) 負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)搭建,,相關(guān)的設(shè)計(jì)和技術(shù)開發(fā)工作,負(fù)責(zé)大數(shù)據(jù)存儲(chǔ)系統(tǒng),、分布式計(jì)算系統(tǒng),、數(shù)據(jù)集成、挖掘算法等的設(shè)計(jì),、研發(fā)以及維護(hù)、優(yōu)化工作;
(2) 通過數(shù)據(jù)分析技術(shù),,挖掘有利于營銷中各業(yè)務(wù)場景的變量或規(guī)則類標(biāo)簽,,以提升模型效果,為文旅,、教育業(yè)務(wù)提供數(shù)學(xué)模型理論及編程支撐;
(3) 對(duì)接溝通業(yè)務(wù)系統(tǒng)研發(fā)團(tuán)隊(duì)和產(chǎn)品部門,,提供數(shù)據(jù)驅(qū)動(dòng)方面的專業(yè)咨詢方案,并對(duì)業(yè)務(wù)的大數(shù)據(jù)應(yīng)用場景提出建設(shè)性意見;
(4) 配合部門領(lǐng)導(dǎo)進(jìn)行項(xiàng)目需求分析、設(shè)計(jì)開發(fā)工作,。
任職要求:
(1) 計(jì)算機(jī),、統(tǒng)計(jì)學(xué),數(shù)學(xué)等相關(guān)專業(yè)本科以上學(xué)歷,,5年以上大數(shù)據(jù)或文旅,、教育數(shù)據(jù)產(chǎn)品設(shè)計(jì)開發(fā)經(jīng)驗(yàn),高效高質(zhì)量產(chǎn)出需求和技術(shù)文檔;
(2) 精通hadoop,,熟悉大數(shù)據(jù)生態(tài)技術(shù),,如storm、spark,、scala,、flume、kafka,、zookeeper,、hive、hbase,、kerberos等,,有大規(guī)模集群架構(gòu)、開發(fā)及運(yùn)維經(jīng)驗(yàn);熟悉hdfs/mapreduce等;
(3) 熟悉java,,能夠獨(dú)立應(yīng)用python,、r、sas或類似分析工具進(jìn)行數(shù)據(jù)分析;
(4) 熟悉大數(shù)據(jù)挖掘,、可視化分析,,各種bi算法和產(chǎn)品等,在計(jì)算廣告,、搜索引擎,、推薦系統(tǒng)、用戶畫像等有一個(gè)或多個(gè)算法領(lǐng)域的研發(fā)經(jīng)驗(yàn),,能夠運(yùn)用數(shù)據(jù)作為產(chǎn)品解決業(yè)務(wù)方運(yùn)營及決策問題;
(5) 有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗(yàn)者優(yōu)先,,有海量數(shù)據(jù)的機(jī)器學(xué)習(xí)算法實(shí)踐經(jīng)驗(yàn)優(yōu)先;
(6) 工作認(rèn)真、負(fù)責(zé),,有良好的團(tuán)隊(duì)合作精神,,良好的分析能力、溝通技巧,。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇六
職責(zé):
1. 規(guī)劃設(shè)計(jì)大數(shù)據(jù)平臺(tái)整體架構(gòu),,規(guī)劃各種組件,并且指導(dǎo)技術(shù)團(tuán)隊(duì)完成相關(guān)系統(tǒng)驗(yàn)證,、安裝,、部署,、配置;
2. 負(fù)責(zé)制定大數(shù)據(jù)平臺(tái)技術(shù)規(guī)范和接口規(guī)范,指導(dǎo)研發(fā)團(tuán)隊(duì)按照規(guī)范進(jìn)行系統(tǒng)開發(fā);
3. 配合商務(wù)人員完成售前技術(shù)支持工作;
4. 完成其他與數(shù)據(jù)應(yīng)用有關(guān)的技術(shù)工作;
任職要求:
1. 計(jì)算機(jī)相關(guān)專業(yè)本科學(xué)歷,,5年以上工作經(jīng)驗(yàn);
2. 對(duì)大數(shù)據(jù)技術(shù)棧有非常深刻的了解;具備架構(gòu)設(shè)計(jì)的實(shí)際經(jīng)驗(yàn);
3. 對(duì)信息安全架構(gòu)設(shè)計(jì)及實(shí)施有一定的經(jīng)驗(yàn);
4. 熟悉linux,、windows等操作系統(tǒng)的安裝配置;
5. 熟悉互聯(lián)網(wǎng)應(yīng)用的安裝配置;熟悉常見大數(shù)據(jù)技術(shù)棧組件的安裝配置;熟悉visio等繪圖工具的使用;
6. 有衛(wèi)生信息化建設(shè)經(jīng)驗(yàn)者優(yōu)先;有容器安裝部署經(jīng)驗(yàn)者優(yōu)先。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇七
職責(zé):
1,、負(fù)責(zé)企業(yè)大數(shù)據(jù)平臺(tái)的基礎(chǔ)建設(shè),、管理及制定拓展規(guī)劃;
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)相關(guān)自動(dòng)化服務(wù)工具的設(shè)計(jì),、開發(fā);
3,、參與hadoop、hbase,、spark等核心平臺(tái)組件的開發(fā),、優(yōu)化;
4、對(duì)平臺(tái)特殊場景化的數(shù)據(jù)應(yīng)用制定相關(guān)實(shí)踐方案;
5,、大數(shù)據(jù)團(tuán)隊(duì)的搭建,。
任職資格:
1、統(tǒng)招本科以上學(xué)歷,,計(jì)算機(jī)等相關(guān)專業(yè),,5年以上工作經(jīng)驗(yàn);
2、具有hadoop等大規(guī)模集群管理經(jīng)驗(yàn),、海量(pb)數(shù)據(jù)處理經(jīng)驗(yàn);
3,、精通hadoop、hive,、hbase等離線平臺(tái)相關(guān)組件的原理機(jī)制;
4,、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系統(tǒng);
5、熟悉高并發(fā),、分布式開發(fā)等相關(guān)知識(shí),,具有后端服務(wù)優(yōu)化相關(guān)經(jīng)驗(yàn);
6、熟悉爬蟲常用框架以及反爬技術(shù);
7,、具有良好的溝通能力,、分析問題與攻關(guān)問題的能力;
8、有責(zé)任心,,工作積極,,對(duì)新領(lǐng)域新技術(shù)有熱情。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇八
職責(zé):
1,、負(fù)責(zé)spark, hadoop, flink等開發(fā)和優(yōu)化,。
2、參與前期需求溝通和分析,,以產(chǎn)品化開發(fā)的思維,,完成需求分解和數(shù)據(jù)架構(gòu)設(shè)計(jì)。
3,、與研發(fā)和數(shù)據(jù)科學(xué)家合作保證產(chǎn)品定義清晰,,按時(shí)完成產(chǎn)品上線。
4,、能夠洞察市場狀況,,與各部門合作轉(zhuǎn)化為基于大數(shù)據(jù)挖掘的新策略或方案.
5、主動(dòng)創(chuàng)造和發(fā)掘新的基于大數(shù)據(jù)挖掘產(chǎn)品商業(yè)模式.
任職要求:
1,、全日制本科及以上學(xué)歷,,計(jì)算機(jī)軟件相關(guān)專業(yè),5年以上開發(fā)經(jīng)驗(yàn),,3年以上架構(gòu)經(jīng)驗(yàn)
2,、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式數(shù)據(jù)存儲(chǔ)和分布式計(jì)算平臺(tái)原理,流式計(jì)算開發(fā),,有開源二次開發(fā)經(jīng)驗(yàn)者優(yōu)先,。
3、精通大數(shù)據(jù)挖掘,、機(jī)器學(xué)習(xí).熟練掌握java/perl/python至少一種編程語言,。
4、具有數(shù)據(jù)挖掘和分析,、機(jī)器學(xué)習(xí)等項(xiàng)目實(shí)施相關(guān)經(jīng)驗(yàn)者優(yōu)先;
5,、良好的跨部門溝通合作能力,解決不同觀點(diǎn)能力并取得結(jié)果,。具備敏銳的互聯(lián)網(wǎng)產(chǎn)品理解力,,學(xué)習(xí)能力和邏輯思維能力強(qiáng);
6、較強(qiáng)的自我驅(qū)動(dòng)力,、推動(dòng)和協(xié)調(diào)能力,,強(qiáng)烈的責(zé)任心和團(tuán)隊(duì)合作精神;
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇九
職責(zé):
1、負(fù)責(zé)公司的大數(shù)據(jù)平臺(tái)的數(shù)倉架構(gòu),、系統(tǒng)架構(gòu)設(shè)計(jì);
2,、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)完成輿情分析相關(guān)的挖掘方案設(shè)計(jì);
3、負(fù)責(zé)大數(shù)據(jù)研發(fā)組團(tuán)隊(duì)管理;
4,、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)完成輿情平臺(tái)的方案文檔撰寫,、迭代開發(fā);
5、負(fù)責(zé)研發(fā)規(guī)范制定,,研究行業(yè)前沿技術(shù);
6,、參與產(chǎn)品規(guī)劃及設(shè)計(jì)討論。
任職要求:
1,、本科五年工作經(jīng)驗(yàn)及以上,,有至少五年的大數(shù)據(jù)技術(shù)實(shí)踐經(jīng)驗(yàn),,有nlp或ai相關(guān)經(jīng)驗(yàn);
2、有很強(qiáng)的架構(gòu)設(shè)計(jì)能力和良好的表達(dá)能力;
3,、有一定的項(xiàng)目管理及團(tuán)隊(duì)管理能力;
4,、精通hadoop、spark生態(tài)圈中的常用組件原理及應(yīng)用;
6,、理解媒體業(yè)務(wù),,精通數(shù)據(jù)倉庫的規(guī)劃和設(shè)計(jì);
5、精通掌握java或python編程,,有性能調(diào)優(yōu)能力;
4,、熟悉nlp算法原理及應(yīng)用;
6、對(duì)新生事物或者新技術(shù)有濃厚興趣,,學(xué)習(xí)能力強(qiáng),。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十
職責(zé):
1. 負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)平臺(tái)、海量數(shù)據(jù)存儲(chǔ)/處理分布式平臺(tái),、數(shù)據(jù)分析系統(tǒng)架構(gòu)設(shè)計(jì)和研發(fā);
2. 負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)基礎(chǔ)架構(gòu)設(shè)計(jì),、部署、監(jiān)控,、優(yōu)化升級(jí);
3. 制定項(xiàng)目/數(shù)據(jù)倉庫設(shè)計(jì)及實(shí)現(xiàn)規(guī)范,,指導(dǎo)設(shè)計(jì)研發(fā)和部署;
4. 協(xié)助策略和算法團(tuán)隊(duì)工作,保障數(shù)據(jù)挖掘建模和工程化;
5. 深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,,跟進(jìn)業(yè)界先進(jìn)技術(shù);
任職要求:
1. 全日制本科及以上學(xué)歷,,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗(yàn),3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗(yàn);
2. 精通hadoop/hbase/spark/storm/redis技術(shù)及其生態(tài)圈;
3. 具備良好的系統(tǒng)分析能力,、故障診斷能力;
4 有大數(shù)據(jù)策略,、算法、可視化經(jīng)驗(yàn)優(yōu)先,。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十一
職責(zé):
1,、負(fù)責(zé)大數(shù)據(jù)平臺(tái)技術(shù)框架的技術(shù)選型和搭建;
2、負(fù)責(zé)核心技術(shù)問題公關(guān),,建設(shè)高可靠性,,擴(kuò)展性及高性能大數(shù)據(jù)/數(shù)據(jù)應(yīng)用平臺(tái);
3、負(fù)責(zé)規(guī)劃數(shù)據(jù)挖掘的整體流程,,負(fù)責(zé)大數(shù)據(jù)開發(fā)團(tuán)隊(duì)業(yè)務(wù)需求開發(fā);
4,、與其他團(tuán)隊(duì)密切配合,尋求數(shù)據(jù)層面的業(yè)務(wù)價(jià)值,,利用數(shù)據(jù)分析結(jié)論推動(dòng)產(chǎn)品優(yōu)化;
5,、研究和分享大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)。
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè)全日制統(tǒng)招本科及以上;
2,、5年以上工作經(jīng)驗(yàn),,至少3年以上大數(shù)據(jù)項(xiàng)目相關(guān)工作經(jīng)驗(yàn),能夠設(shè)計(jì)大型大數(shù)據(jù)系統(tǒng)的架構(gòu)和技術(shù)方案;
3,、精通hadoop/spark/hbase/hive等大數(shù)據(jù)技術(shù),精通etl技術(shù);
4,、熟悉數(shù)據(jù)挖掘,,了解典型大數(shù)據(jù)算法和策略;
5,、熟悉主流java技術(shù)框架,精通關(guān)系型數(shù)據(jù)庫及sql語言,,熟悉nosql/json/xml;
6,、有較強(qiáng)的學(xué)習(xí)能力和問題解決能力,邏輯嚴(yán)密,、思路清晰;
7,、有數(shù)據(jù)倉庫經(jīng)驗(yàn)者優(yōu)先,有金融行業(yè)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先,。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十二
職責(zé):
1,、負(fù)責(zé)大數(shù)據(jù)項(xiàng)目技術(shù)架構(gòu)評(píng)估與設(shè)計(jì);
2、負(fù)責(zé)關(guān)鍵功能的開發(fā),,技術(shù)難題的解決,,以及輸出代碼的關(guān)鍵把控;
3、負(fù)責(zé)對(duì)使用關(guān)鍵技術(shù)的預(yù)研和選型,,完成poc;
4,、指導(dǎo)工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗(yàn),。
任職要求:
1,、3年以上相關(guān)工作經(jīng)驗(yàn),其中具有1年以上架構(gòu)設(shè)計(jì)經(jīng)驗(yàn)
2,、熟悉商業(yè)智能系統(tǒng)相關(guān)技術(shù),,如 etl、數(shù)據(jù)倉庫,、olap開發(fā);
3,、精通設(shè)計(jì)模式,熟悉面向服務(wù)架構(gòu)(soa)以及其它常用軟件架構(gòu)思想,,有soa方案設(shè)計(jì),、開發(fā)實(shí)施的實(shí)際經(jīng)驗(yàn),要具備實(shí)際的服務(wù)規(guī)劃,、服務(wù)粒度劃分經(jīng)驗(yàn);并且要善于設(shè)計(jì)可重用組件和可定制化產(chǎn)品,。
4、相關(guān)技術(shù)棧:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;
5,、有扎實(shí)的計(jì)算機(jī)基礎(chǔ),,熟悉java等編程語言;
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十三
職責(zé):
1,、負(fù)責(zé)自然語音交互、iot家電物聯(lián)控制,、知識(shí)圖譜等相關(guān)模塊和系統(tǒng)的開發(fā);
2,、負(fù)責(zé)掌握第三方接口的調(diào)用和功能實(shí)現(xiàn),持續(xù)優(yōu)化服務(wù)性能和容量,,并保證產(chǎn)品的兼容性和執(zhí)行效率;
3,、根據(jù)設(shè)計(jì)文檔和需求說明完成代碼編寫、調(diào)試,、單元測試與維護(hù),,確保項(xiàng)目進(jìn)度和質(zhì)量;
4、協(xié)助制定測試計(jì)劃,,及時(shí)發(fā)現(xiàn)并修復(fù)bug,,實(shí)現(xiàn)服務(wù)端的性能優(yōu)化。
任職資格:
1,、大學(xué)本科3年以上工作經(jīng)驗(yàn),,計(jì)算機(jī)相關(guān)專業(yè);
2、熟悉軟件項(xiàng)目開發(fā)流程,,具有良好編碼風(fēng)格及文檔編寫能力;
3,、熟悉linux服務(wù)器相關(guān)技術(shù),能夠獨(dú)立完成服務(wù)器部署,,具有相關(guān)經(jīng)驗(yàn);
4,、熟悉hadoop/spark框架,java基礎(chǔ)扎實(shí);
5,、熟練使用mysql數(shù)據(jù)庫,,了解mongodb或neo4j等分布式數(shù)據(jù)庫;
6、熟悉springcloud,ssm,docker,redis開發(fā)者優(yōu)先;
7,、熟悉前端(包括但不限于html5,、css、angularjs,、ajax,、jquery等)開發(fā)技術(shù)優(yōu)先;
8、了解socket網(wǎng)絡(luò)編程,、mqtt等,,有相應(yīng)實(shí)踐經(jīng)驗(yàn)者優(yōu)先;
9、有智能語音語義,、知識(shí)圖譜服務(wù)端開發(fā)經(jīng)驗(yàn)者優(yōu)先,。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十四
職責(zé):
1. 負(fù)責(zé)產(chǎn)品級(jí)業(yè)務(wù)系統(tǒng)架構(gòu)(如業(yè)務(wù)數(shù)據(jù)對(duì)象識(shí)別,數(shù)據(jù)實(shí)體、數(shù)據(jù)屬性分析,,數(shù)據(jù)標(biāo)準(zhǔn),、端到端數(shù)據(jù)流等)的設(shè)計(jì)與優(yōu)化。協(xié)助推動(dòng)跨領(lǐng)域重大數(shù)據(jù)問題的分析,、定位,、解決方案設(shè)計(jì),從架構(gòu)設(shè)計(jì)上保障系統(tǒng)高性能,、高可用性,、高安全性、高時(shí)效性,、分布式擴(kuò)展性,,并對(duì)系統(tǒng)質(zhì)量負(fù)責(zé)。
2.負(fù)責(zé)云數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)和數(shù)據(jù)處理體系的優(yōu)化,,推動(dòng)云數(shù)據(jù)平臺(tái)建設(shè)和持續(xù)升級(jí),并制定云數(shù)據(jù)平臺(tái)調(diào)用約束和規(guī)范,。
3. 結(jié)合行業(yè)應(yīng)用的需求負(fù)責(zé)數(shù)據(jù)流各環(huán)節(jié)上的方案選型,,主導(dǎo)云數(shù)據(jù)平臺(tái)建設(shè),參與核心代碼編寫,、審查;數(shù)據(jù)的統(tǒng)計(jì)邏輯回歸算法,、實(shí)時(shí)交互分析;數(shù)據(jù)可視化方案等等的選型、部署,、集成融合等等,。
4. 對(duì)云數(shù)據(jù)平臺(tái)的關(guān)注業(yè)內(nèi)技術(shù)動(dòng)態(tài),持續(xù)推動(dòng)平臺(tái)技術(shù)架構(gòu)升級(jí),,以滿足公司不同階段的數(shù)據(jù)需求,。
任職要求:
1. 熟悉云計(jì)算基礎(chǔ)平臺(tái),包括 linux(ubuntu/centos)和 kvm,、openstack/k8s 等基礎(chǔ)環(huán)境,,熟悉控制、計(jì)算,、存儲(chǔ)和網(wǎng)絡(luò);
2. 掌握大型分布式系統(tǒng)的技術(shù)棧,,如:cdn、負(fù)載均衡,、服務(wù)化/異步化,、分布式緩存、nosql,、數(shù)據(jù)庫垂直及水平擴(kuò)容;熟悉大數(shù)據(jù)應(yīng)用端到端的相關(guān)高性能產(chǎn)品,。
3. 精通 java,python,shell 編程語言,,精通 sql,、nosql 等數(shù)據(jù)庫增刪改查的操作優(yōu)化;
4. pb 級(jí)別實(shí)戰(zhàn)數(shù)據(jù)平臺(tái)和生產(chǎn)環(huán)境的實(shí)施、開發(fā)和管理經(jīng)驗(yàn);
5. 熟悉 docker 等容器的編排封裝,,熟悉微服務(wù)的開發(fā)和日常調(diào)度;
6.計(jì)算機(jī),、軟件、電子信息及通信等相關(guān)專業(yè)本科以上學(xué)歷,,5 年以上軟件工程開發(fā)經(jīng)驗(yàn),,2 年以上大數(shù)據(jù)架構(gòu)師工作經(jīng)驗(yàn)。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十五
職責(zé):
1,、搭建基于hadoop/spark的數(shù)據(jù)挖掘體系和大數(shù)據(jù)分析系統(tǒng)架構(gòu);
2,、研究大數(shù)據(jù)領(lǐng)域前沿?cái)?shù)據(jù)挖掘技術(shù),并引入相應(yīng)技術(shù)在數(shù)據(jù)中心的使用;
3,、進(jìn)行大數(shù)據(jù)系統(tǒng)框架設(shè)計(jì),、模型算法開發(fā);
4、負(fù)責(zé)大型數(shù)據(jù)挖掘項(xiàng)目方案制定,、項(xiàng)目實(shí)施落地及優(yōu)化等 ;
5,、開展數(shù)據(jù)爬取、聚類分析,、輿情分析,、魚骨圖分析、定價(jià)策略等領(lǐng)域數(shù)據(jù)挖掘工作;
任職資格:
1,、本科以上學(xué)歷(持有學(xué)士學(xué)位)(985,,211優(yōu)先),計(jì)算機(jī)相關(guān)專業(yè),,五年工作經(jīng)驗(yàn);
2,、二年以上數(shù)據(jù)挖掘項(xiàng)目經(jīng)驗(yàn),完整參與過數(shù)據(jù)挖掘大數(shù)據(jù)平臺(tái)的架構(gòu)開發(fā)過程,,具備互聯(lián)網(wǎng)行業(yè)背景優(yōu)先;
3,、精通分布式計(jì)算框架(hadoop、spark,、storm等)及相關(guān)經(jīng)驗(yàn),,熟練掌握hive/sql,python,,熟悉python,、r相關(guān)數(shù)值科學(xué)計(jì)算庫(numpy,scipy等);
4、了解傳統(tǒng)的bi/dw 理論,,能結(jié)合傳統(tǒng)bi實(shí)踐設(shè)計(jì)大數(shù)據(jù)平臺(tái);
5,、熟悉常用機(jī)器學(xué)習(xí)算法(如分類,、回歸、聚類,、關(guān)聯(lián)規(guī)則等)及其原理,,具備應(yīng)用場景經(jīng)驗(yàn),如用戶畫像,、商品關(guān)聯(lián)度分析,、輿情分析;
6、熟悉主數(shù)據(jù),、元數(shù)據(jù),、數(shù)據(jù)質(zhì)量、和數(shù)據(jù)建模等數(shù)據(jù)治理相關(guān)的體系和方法;
7,、具備較強(qiáng)的邏輯思維能力,、數(shù)據(jù)敏感度,擅于利用數(shù)據(jù)發(fā)現(xiàn)問題及解決問題;
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十六
職責(zé):
1,、對(duì)業(yè)務(wù)需求深入分析,,從而進(jìn)行大數(shù)據(jù)平臺(tái)核心應(yīng)用的架構(gòu)設(shè)計(jì)、開發(fā)和技術(shù)支持;
2,、規(guī)劃業(yè)務(wù)應(yīng)用系統(tǒng)和基礎(chǔ)平臺(tái)的技術(shù)架構(gòu),,參與需求分析、建模,、架構(gòu)設(shè)計(jì)、技術(shù)決策以及詳細(xì)設(shè)計(jì);
3,、把握復(fù)雜系統(tǒng)的設(shè)計(jì),,確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4,、帶領(lǐng)團(tuán)隊(duì)攻克例如大數(shù)據(jù)量,、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān);
5,、在大數(shù)據(jù)平臺(tái)建設(shè)路線圖指導(dǎo)下,,進(jìn)行架構(gòu)實(shí)施和交付物投遞,同時(shí)確保研發(fā)質(zhì)量和方向的準(zhǔn)確性;
6,、進(jìn)行團(tuán)隊(duì)技術(shù)的培訓(xùn)和梯隊(duì)建設(shè)崗位要求;
任職條件:
1,、本科或以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),,8年以上研發(fā)經(jīng)驗(yàn),,3年以上大數(shù)據(jù)平臺(tái)相關(guān)工作經(jīng)驗(yàn);
2、精通java開發(fā)技術(shù),,熟悉shell,、scala語言和python優(yōu)先;
3,、編程基礎(chǔ)扎實(shí),熟悉i/o,、多線程,、集群等基礎(chǔ)框架和原理,熟悉分布式,、緩存,、消息等機(jī)制;
4、熟悉常用設(shè)計(jì)模式,,代碼評(píng)審規(guī)則,,單元測試,持續(xù)集成;
5,、熟悉aws云服務(wù)或阿里云服務(wù);
6,、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),,熟悉docker,、mesos、kubernetes等容器系統(tǒng),、大規(guī)模容器資源調(diào)度系統(tǒng),、分布式應(yīng)用生命周期。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十七
職責(zé)
1,、參與打造數(shù)據(jù)中內(nèi)容的規(guī)劃,、設(shè)計(jì)、開發(fā)和優(yōu)化工作,,實(shí)現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;
2,、參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計(jì)和開發(fā),搭建離線,、實(shí)時(shí)數(shù)據(jù)公共層;
3,、參與數(shù)據(jù)產(chǎn)品與應(yīng)用的數(shù)據(jù)研發(fā),發(fā)掘數(shù)據(jù)商業(yè)價(jià)值,,打造極致體驗(yàn)的數(shù)據(jù)產(chǎn)品;
4,、深入理解數(shù)據(jù)產(chǎn)品的使用場景,為業(yè)務(wù)方在可用性,、成本上做更好的設(shè)計(jì)做參考;
5,、團(tuán)隊(duì)成員的搭建與培養(yǎng),任務(wù)劃分,,進(jìn)度監(jiān)控,,代碼規(guī)范,質(zhì)量保證,。
任職要求
1,、熟悉數(shù)據(jù)倉庫建模理論,,3年以上相關(guān)領(lǐng)域?qū)嵺`經(jīng)驗(yàn);
2、hadoop,、hive,、hbase、storm,、spark等技術(shù)框架;
3,、精通java、python,、scala,、go等開發(fā)語言中的1到2種;
4、熟練使用python/java/scala或其他語言進(jìn)行復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)處理工作,,具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力;
5,、對(duì)mysql、redis,、hbase等數(shù)據(jù)庫有一定的了解和使用經(jīng)驗(yàn);
6,、對(duì)olap,多維分析及kylin熟悉的更好;
7,、思路清晰,,具備良好的溝通能力和理解能力,較強(qiáng)的學(xué)習(xí)能力以及快速解決問題的能力;
8,、對(duì)新技術(shù),,新事物有很好的探索和求知欲;
9、熟悉常規(guī)的機(jī)器學(xué)習(xí)算法:降維(pca,、svd),、svm、邏輯回歸(logisticsregression),、決策樹(gbdt、randomforest),、關(guān)聯(lián)規(guī)則(apriori,、fp-growth)、聚類(k-means)等優(yōu)先,。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十八
職責(zé):
1,、大數(shù)據(jù)平臺(tái)架構(gòu)規(guī)劃與設(shè)計(jì);
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)技術(shù)框架的選型與技術(shù)難點(diǎn)攻關(guān);
3,、能夠獨(dú)立進(jìn)行行業(yè)大數(shù)據(jù)應(yīng)用的整體技術(shù)框架,、業(yè)務(wù)框架和系統(tǒng)架構(gòu)設(shè)計(jì)和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務(wù)需求,,能夠指導(dǎo)開發(fā)團(tuán)隊(duì)完成實(shí)施工作;
4,、負(fù)責(zé)數(shù)據(jù)基礎(chǔ)架構(gòu)和數(shù)據(jù)處理體系的升級(jí)和優(yōu)化,,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關(guān)的業(yè)務(wù)提供大數(shù)據(jù)底層平臺(tái)的支持和保證;
5,、培養(yǎng)和建立大數(shù)據(jù)團(tuán)隊(duì),,對(duì)團(tuán)隊(duì)進(jìn)行技術(shù)指導(dǎo)。
任職要求:
1,、計(jì)算機(jī)相關(guān)專業(yè)的背景專業(yè)一類院校畢業(yè)本科,、碩士學(xué)位,8年(碩士5年)以上工作經(jīng)驗(yàn)(至少擁有3年以上大數(shù)據(jù)項(xiàng)目或產(chǎn)品架構(gòu)經(jīng)驗(yàn));
2,、精通java,,j2ee 相關(guān)技術(shù),精通常見開源框架的架構(gòu),,精通關(guān)系數(shù)據(jù)庫系統(tǒng)(oracle mysql等)和nosql數(shù)據(jù)存儲(chǔ)系統(tǒng)的原理和架構(gòu);
3,、精通sql和mapreduce、spark處理方法;
4,、精通大數(shù)據(jù)系統(tǒng)架構(gòu),,熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有dw,,bi架構(gòu)體系的專項(xiàng)建設(shè)經(jīng)驗(yàn);
5,、對(duì)大數(shù)據(jù)體系有深入認(rèn)識(shí),熟悉kafka,、hadoop,、hive、hbase,、spark,、storm、greenplum,、es,、redis等大數(shù)據(jù)技術(shù),并能設(shè)計(jì)相關(guān)數(shù)據(jù)模型;
6,、很強(qiáng)的學(xué)習(xí),、分析和解決問題能力,可以迅速掌握業(yè)務(wù)邏輯并轉(zhuǎn)化為技術(shù)方案,,能獨(dú)立撰寫項(xiàng)目解決方案,、項(xiàng)目技術(shù)文檔;
7、具有較強(qiáng)的內(nèi)外溝通能力,,良好的團(tuán)隊(duì)意識(shí)和協(xié)作精神;
8,、機(jī)器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘,、人工智能經(jīng)驗(yàn)豐富者優(yōu)先考慮;
9,、 具有能源電力行業(yè)工作經(jīng)驗(yàn)者優(yōu)先,。
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十九
職責(zé):
1、從事電信行業(yè)大數(shù)據(jù)項(xiàng)目相關(guān)業(yè)務(wù)調(diào)研,、產(chǎn)品標(biāo)準(zhǔn)建設(shè),、核心模型設(shè)計(jì)和優(yōu)化、系統(tǒng)測試等相關(guān)工作
2,、與數(shù)據(jù)專業(yè)委員會(huì)一起研究數(shù)據(jù)建模方案和建模工具,,負(fù)責(zé)產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型設(shè)計(jì)
3,、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)換方式,,參與項(xiàng)目中的數(shù)據(jù)移植工作,收集在項(xiàng)目中的數(shù)據(jù)移植經(jīng)驗(yàn),,優(yōu)化產(chǎn)品的數(shù)據(jù)模型
4,、負(fù)責(zé)培訓(xùn)本部門隊(duì)伍的數(shù)據(jù)模型基礎(chǔ)理論工作,建立數(shù)據(jù)模型團(tuán)隊(duì)
崗位要求:
1,、統(tǒng)招本科學(xué)歷,,3年以上主流數(shù)據(jù)上(db2、oracle,、sqlserver,、mysql等)etl設(shè)計(jì)、開發(fā)經(jīng)驗(yàn),,具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設(shè)計(jì)經(jīng)驗(yàn),,精通sql,有較好的sql性能調(diào)優(yōu)經(jīng)驗(yàn);
2,、擁有python,,r等數(shù)學(xué)建模工具的使用經(jīng)驗(yàn),并具備一定的數(shù)據(jù)處理和建模經(jīng)驗(yàn),,可以輸出相應(yīng)的模型分析結(jié)果,、模型比較、模型效率以及對(duì)模型的理論和判斷依據(jù)方法并對(duì)其進(jìn)行完整的解釋和說明;
3,、熟悉統(tǒng)計(jì)學(xué)基本原理,,做過實(shí)戰(zhàn)的數(shù)據(jù)建模項(xiàng)目;
4、有分布式數(shù)據(jù)倉庫建設(shè)相關(guān)經(jīng)驗(yàn)者優(yōu)先,,具備電信行業(yè)數(shù)據(jù)倉庫建設(shè)相關(guān)經(jīng)驗(yàn)者優(yōu)先;
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二十
職責(zé):
1、數(shù)據(jù)分析軟件平臺(tái)架構(gòu)搭建
2,、負(fù)責(zé)深度學(xué)習(xí)核心框架或高性能后臺(tái)服務(wù)系統(tǒng)的架構(gòu)設(shè)計(jì)工作,,包括系統(tǒng)總體規(guī)劃、架構(gòu)設(shè)計(jì),、系統(tǒng)分析,、軟件實(shí)現(xiàn),、性能優(yōu)化;
3、指導(dǎo)開發(fā)人員開發(fā),,并解決系統(tǒng)出現(xiàn)的問題,,理解物業(yè)需求;
4、制定開發(fā)計(jì)劃和控制開發(fā)進(jìn)度,,負(fù)責(zé)指導(dǎo)研發(fā)團(tuán)隊(duì)開展設(shè)計(jì)工作;
任職要求:
1,、碩士以上,計(jì)算機(jī)或先關(guān)專業(yè);
2,、5年左右軟件開發(fā)經(jīng)驗(yàn),,含3年以上系統(tǒng)分析、設(shè)計(jì)經(jīng)驗(yàn),,有大型軟件項(xiàng)目大型軟件項(xiàng)目;有中大型互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)庫架構(gòu)設(shè)計(jì)及管理經(jīng)驗(yàn),,
3、 具備良好的組件級(jí)建模能力,,熟悉http,、tcp等協(xié)議
4、熟練使用uml進(jìn)行軟件架構(gòu)設(shè)計(jì),,至少精通ea,,rational, visio等一種設(shè)計(jì)工具.
5,、精通至少一種編程語言,,熟悉 linux 相關(guān)技術(shù),能獨(dú)立在上面進(jìn)行開發(fā),、測試和部署
6,、深入理解數(shù)據(jù)庫、數(shù)據(jù)倉庫,、大數(shù)據(jù),、分布式體系架構(gòu)和關(guān)鍵技術(shù)
大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二十一
職責(zé):
1、負(fù)責(zé)公司的大數(shù)據(jù)處理框架的研發(fā)設(shè)計(jì)工作,,梳理可實(shí)現(xiàn)方案和技術(shù)規(guī)范;
2,、開發(fā)、完善公司大數(shù)據(jù)平臺(tái);參與公司離線,、實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì),、開發(fā)、測試及多個(gè)業(yè)務(wù)模塊的自動(dòng)化集成;
3,、負(fù)責(zé)業(yè)務(wù)平臺(tái)數(shù)據(jù)統(tǒng)計(jì)分析模塊的設(shè)計(jì)與規(guī)劃;
4,、負(fù)責(zé)公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲(chǔ)設(shè)計(jì);
5、帶領(lǐng)和培養(yǎng)團(tuán)隊(duì)完成組織分解的目標(biāo);
任職要求:
1、統(tǒng)招本科及以上學(xué)歷,,計(jì)算機(jī),、軟件工程相關(guān)專業(yè),至少8年以上工作經(jīng)驗(yàn),,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);
2,、熟悉java、hadoop,、hdfs,、hive、hbase,、spark,、storm、flume等相關(guān)技術(shù)的基礎(chǔ)架構(gòu)
3,、熟悉數(shù)據(jù)倉庫,,數(shù)據(jù)算法,分布式計(jì)算技術(shù)理論,,具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計(jì)經(jīng)驗(yàn);
4,、熟悉linux系統(tǒng),熟練使用shell/perl/python腳本處理問題;
5,、對(duì)深度學(xué)習(xí)框架(tensorflow)和機(jī)器學(xué)習(xí)(svm 隨機(jī)深林貝葉斯等)有一定了解的優(yōu)先;
6,、能夠組織項(xiàng)目開發(fā)組協(xié)同工作,包括團(tuán)隊(duì)溝通,、計(jì)劃,、開發(fā)環(huán)境管理等