• EN
     

    職場百科   職場文庫   招聘信息   企業服務

    您所在的位置:最新招聘信息 >全國職位信息 >爬蟲開發工程師招聘信息

    職位推薦:自動化設計精品導購餐飲廚師電工銀行信貸專員風控總監公關顧問航空服務油漆工家政人員催乳師精益工程師明星經紀人視頻后期制作4S店管理

    職位分類:不限

    更多
    更多:

    已選條件:
    爬蟲開發工程師
    清除條件
    全選
    申請職位

    爬蟲開發工程師布瑞克(蘇州)農業互聯網股份有限公司蘇州-相城區6-8千/月11-07

    學歷要求:本科|工作經驗:2年|公司性質:民營公司|公司規模:150-500人

    1、負責農業產業數據體系的數據挖掘、自動化報告撰寫等工作。2、負責農業農村大數據項目的數據抓取、數據挖掘分析工作;    任職要求:1、熟悉linux操作環境和熟練使用linux常用命令。2、熟練python編程,基本包和scrapy框架的使用,能進獨自完成運行環境部署和爬蟲開發。3、對農業、農村、農產品、大宗電子商務等感興趣,有意向在這一方面做出創新;4、思維活躍有想法,敢想敢干,具有團隊合作精神,執行能力強;      5、有良好的分析和解決問題能力,邏輯思維清晰嚴謹 

    立即申請
    收藏

    Sr. Backend Engineer (網絡爬蟲工程師)北京大黃貓知識產權服務有限公司北京-朝陽區3-4萬/月11-07

    學歷要求:本科|工作經驗:5-7年|公司性質:民營公司|公司規模:50-150人

    Position : Sr. Backend Engineer Location: BJ Report to : Chief data Officer We’re in search of a Sr. Backend Engineer that specializes in server-side components and Android/iOS app automation framework. In this role, you’ll primarily work in Python/Go and will bring a depth of knowledge on basic algorithms and data structures. As a backend engineer, you will use your understanding of distributed system and tools to build a robust data collection and data analysis system. QUALIFICATIONS AND SKILLS5+ years of large-scale distributed system development2+ years of web scraping development1+ years of Android/iOS app automation developmentBachelor’s degree or more in computer science or a related fieldProficient in Linux/Unix and Python/GoExperience with Amazon AWS, especially Lambda/EC2/S3/DynamoDB/RDSStrong familiarity with TCP/IP, HTTP/HTTPS, RESTful API, HTML/XML, user authentication and authorizationFamiliar with popular backend middleware like Redis, KafkaExperience of big data technology like Spark/Hadoop is a big plusExperience of machine learning is a big plus JOB RESPONSIBILITIES Develop fast, robust and scalable distributed data collection and analysis system on top of Amazon AWS in Python/Go Develop stable and scalable Android/iOS app automation frameworkCollaborate with analyst and other team members to implement new features and ideasParticipate in brainstorming sessions and contribute ideas to our technical solutions and featuresHelp improve our code quality through writing unit tests, automation and performing code reviewDive into difficult problems and successfully deliver results on schedule

    立即申請
    收藏

    爬蟲開發工程師依通(北京)科技有限公司北京-豐臺區0.8-1萬/月11-07

    學歷要求:大專|工作經驗:1年|公司性質:民營公司|公司規模:50-150人

    1、互聯網站、網頁、鏈接的特征挖掘,進行網頁抓取、數據提;2、負責爬蟲核心算法的策略優化研究,充分利用資源,避免限制;3、優化搜索、匹配、抓取等關鍵程序的性能及效率。4、理解系統數據處理流程以及業務功能需求任職要求:1、熟悉TCP/IP、HTTP、HTTPS等網絡協議、熟練使用正則表達式,XPATH,CSS選擇器等爬蟲開發常用技能;2、熟練進行多線程,多進程,異步調用程序的開發,對分布式系統有一定了解;3、熟練使用nodejs或者Python語言,熟悉常用爬蟲框架如Scrapy等。熟悉反爬蟲技術及破解方法;4、熟悉MySql/MongoDB/Redis等常用數據庫或緩存的一種;

    立即申請
    收藏

    Python開發工程師安徽百舟互娛網絡股份有限公司銅陵6-8千/月11-07

    學歷要求:本科|工作經驗:1年|公司性質:民營公司|公司規模:150-500人

    崗位職責:1、負責分布式爬蟲系統平臺的設計與開發(如抓取調度,多樣化抓取,頁面解析和結構化抽取,海量數據存儲、讀取和報表生成等);2、研究反爬蟲策略和防屏蔽規則,解決封賬號、封IP、驗證碼自動識別、頁面跳轉等難點攻克,提升網頁抓取的效率和質量;3、利用主流的大數據相關技術,對抓取后的網頁數據進行清洗、過濾、消重、存儲和結構化處理等;并持續優化平臺,以便滿足各種爬取業務需求;4、把握網絡爬蟲核心技術研究方向,研究優化算法,提升爬蟲系統的穩定性和可擴展性;

    立即申請
    收藏

    爬蟲開發工程師廣州數說故事信息科技有限公司廣州-天河區1.6-2萬/月11-07

    學歷要求:本科|工作經驗:3-4年|公司性質:民營公司|公司規模:150-500人

    崗位職責:1.負責對業務方的需求進行提煉梳理、風險評估和排期2.負責采集側項目進度跟進和把控3.負責公司整體反爬技術升級優化4.支撐技術人員對采集平臺進行維護升級任職條件:1.熟悉linux平臺,熟練掌握java/shell;2.熟悉http、https、tcp等網絡協議3.有實際分布式爬蟲項目開發經驗(抓取過天貓、淘寶、京東等主流電商站點)4.有一年以上技術團隊管理經驗,能帶領team按時完成分配任務5.有app端數據采集經驗優先6.項目中使用過分布式組件優先(hbase、spark、redis、es任一)7.項目中使用過消息中間件優先(kafka、rabbitmq、rocketmq任一)

    立即申請
    收藏

    爬蟲工程師北京融數易雨科技有限公司成都1-1.5萬/月11-07

    學歷要求:大專|工作經驗:1年|公司性質:民營公司|公司規模:50-150人

    崗位職責:1、負責公司的爬蟲核心技術研究以及爬蟲策略優化;2、根據業務需求,實現大規模文本、圖片、視頻等數據抓取、清洗、存儲等是開發與實現工作;3、對數據質量負責,提供數據分析報告,優化數據應用架構,支持產品研發。任職要求:1、計算機、數學或統計等相關專業本科及以上學歷,2年以上數據相關工作經驗;2、熟悉linux平臺,掌握Python/JAVA或某種編程語言;3、熟悉基于正則表達式、CSS、http/https協議、ml等的網頁信息抽取技術;有網絡采集或者移動端采集實際工作經驗者優先;4、精通常用的爬蟲技術及架構,并能快速實現;5、熟悉多線程編程、分布式計算,有分布式系統使用經驗。6、具備良好的編程習慣和算法基礎,具有鉆研精神;7、對數據驅動業務有深入理解,對數據與業務方面有足夠的敏感性,獨立思考能力和邏輯分析能力強;8、有移動端經驗優先,比如抖音抓取、微信抓取、APP逆向工程。

    立即申請
    收藏

    爬蟲開發工程師深圳市墨者安全科技有限公司深圳-南山區1-2萬/月11-07

    學歷要求:大專|工作經驗:3-4年|公司性質:民營公司|公司規模:50-150人

    崗位職責:1. 參與公司數據采集與分析項目工作;2. 參與數據采集與分析代碼編寫、單元測試和bug修復工作;3. 根據產品和項目情況,優化及維護代碼;4. 根據產品開發規范,完成相關技術文檔編寫;任職要求:1、計算機或相關專業畢業,學信網可查全日制大;蛞陨蠈W歷;2、2-5年以上的爬蟲項目經驗;3、參與爬蟲項目的架構設計、研發、編程工作,改進和提升爬蟲效率;4、設計爬蟲策略和防屏蔽規則,提升網頁抓取的效率和質量;5、負責后臺爬蟲數據的分布式存儲設計以及代碼實現;6、負責網頁采集任務的分析及采集方案設計;7、負責分布式爬蟲策略持續優化;

    立即申請
    收藏

    SLAM算法工程師(上海)蘇州市相城區人力資源和社會保障局上海11-07

    學歷要求:碩士|工作經驗:|公司性質:國企|公司規模:500-1000人

    導航、計算機、儀科

    立即申請
    收藏

    python開發工程師/爬蟲工程師深圳匯翼信息科技有限公司深圳-南山區1-1.8萬/月11-07

    學歷要求:大專|工作經驗:2年|公司性質:民營公司|公司規模:少于50人

    工作職責:瀏覽器網頁/APP數據爬取、內容分類、內容分析、數據展示等;1、負責主導項目系統搭建,爬蟲系統架構和數據存儲設計等;2、建立完整的數據獲取、解析、清洗、入庫和監控流程,并不斷優化迭代完善;3、數據內容分類,識別內容、判別分析,分詞匹配等;4、核心技術問題的解決,技術方案的制定和決策;5、做數據后臺展示,及時給到其他部門數據支持;6、負責性能、網絡、數據等方面的優化;保證服務端的穩定性、可擴展性、安全性和效率。任職資格:1、3年以上開發經驗,2年以上數據挖掘、數據分析經驗;2、編程基礎扎實,熟悉算法和數據結構,有豐富的Python的工作經驗;3、了解Bootstarp/React/Vue等前端相關技術;4、精通Python ,熟悉Django、Flask等Web框架;Pandas、Numpy、SciPy等分析工具;5、熟悉Scrapy、Scrapy-redis、Selenium等爬蟲框架;6、熟悉mitmproxy, Fiddler或Charles等常用抓包軟件;7、熟悉數據庫以及優化方法,熟悉MySQL、MongoBD、Redis數據庫和多線程編程;8、強烈的責任心與主動性,并能自我驅動成長;

    立即申請
    收藏

    Python爬蟲杭州策軟科技有限公司杭州1.1-1.8萬/月11-07

    學歷要求:大專|工作經驗:3-4年|公司性質:合資|公司規模:1000-5000人

    任職要求: 1、計算機相關專業、?埔陨蠈W歷,接受應屆畢業生; 2、熟悉HTML編寫及JavaScript Dom編程; 3、掌握 .Net 或 Python 語言,掌握 SQLServer 或 MySQL 數據庫相關技術; 4、有RPA行業廠商認證的優先; 5、掌握網頁爬蟲相關技術的優先; 職位描述: 1. 負責公司內業務部門的RPA業務調研,整理工作; 2. 負責公司內RPA機器人流程自動化的開發及維護工作; 3. 根據已上線RPA機器人產生的需求和問題,持續優化RPA產品功能,可用性及穩定性; 4. 協助第三方RPA服務商完成外包項目相關工作,解決相應的業務對接問題;    

    立即申請
    收藏

    Python爬蟲工程師云潤大數據服務有限公司廣州-天河區0.6-1.2萬/月11-07

    學歷要求:本科|工作經驗:2年|公司性質:民營公司|公司規模:150-500人

    崗位職責:1、負責分布式網絡爬蟲系統及數據庫的設計與開發;2、設計爬蟲策略和防屏蔽規則,解決封賬號、封IP、驗證碼等難點;3、維護和優化已有的爬蟲服務;4、負責爬蟲核心算法的策略優化研究,充分利用資源,提升網頁抓取的效率和質量。任職要求:1、熟練使用Python,有良好的編碼習慣;2、熟悉Linux操作系統,熟練使用常用命令;3、至少熟悉一種常用數據庫:Mysql / MongDB / Redis;4、熟練使用 requests、urllib模塊;5、熟悉各種反爬機制和解決措施 (模擬請求頭、設置 IP 代理、cookies, 字體反爬、js混淆加密等);6、精通網頁抓取原理及技術、深度抓取、動態網頁技術抓取、瀏覽器模擬抓取技術,從結構化的和非結構化的數據中獲取信息;7、熟悉Scrapy、Pyspider等主流爬蟲框架使用;9、能獨立開發爬蟲項目,具有自主解決問題能力。

    立即申請
    收藏

    WEB安全防爬工程師(新項目)(J200611026)滴滴北京-海淀區2-2.5萬/月11-06

    學歷要求:本科|工作經驗:3-4年|公司性質:民營公司|公司規模:10000人以上

    崗位職責:1. 業務流量分析:熟悉業務場景,利用技術手段建立有效的異常識別方法,并持續優化;2. 黑灰產行業研究:熟練掌握黑灰產使用的技術手段和發展趨勢,定期輸出分析報告;3. 業務治理:通過分析案例進行策略優化,報警優化,業務加固,不斷完善運營體系 任職資格:1. 熟悉常見的爬蟲與反爬的機制;2. 擅長web安全,了解常見的web安全漏洞及原理,可以獨自分析并挖掘漏洞;3. 熟練掌握Spark、Hive、Sql等大數據工具的使用;掌握常見的統計方法,對常見的分類,聚類算法有過實踐;能夠準確的提取攻擊特征;4. 熟練掌握Python、go、java中一種語言;5. 有過實戰攻防對抗經驗、黑灰產對抗經驗優先

    立即申請
    收藏

    數據爬蟲工程師網易集團廣州-天河區1.5-2萬/月11-06

    學歷要求:本科|工作經驗:3-4年|公司性質:上市公司|公司規模:10000人以上

    【工作內容】- 負責指定的網站進行頁面抓取、數據清理提;- 參與已有爬蟲系統中作業的檢驗,設計和優化爬蟲策略,充分利用已有服務器和寬帶資源進行優化;- 針對APP數據進行抓包分析,爬取APP數據并整合存儲;- 對大規模數據進行處理和簡單分析!韭毼灰蟆- 本科及以上學歷,計算機相關專業;- 掌握Python、Java等編程語言,了解多線程、多進程、網絡通信等編程相關知識;- 掌握網頁抓取原理,了解TCP/HTTP協議、Html/Js/Css、Ajax等技術,熟悉一般的網站登陸原理;- 具有實際爬蟲開發工作經驗,熟悉常見爬蟲框架和工具,比如pyspider, scrapy和Selenium等;- 了解爬蟲框架原理、有過APP抓包分析經驗者優先;- 具有Hadoop、數據挖掘、自然語言處理等相關經驗者優先;- 能夠快速學習和掌握新技術,優秀的分析、解決問題能力,具備團隊合作精神。

    立即申請
    收藏

    爬蟲工程師騰訊無線大連研發中心大連-高新園區1.5-2.5萬/月09-27

    學歷要求:|工作經驗:5-7年|公司性質:民營公司|公司規模:150-500人

    崗位職責:崗位要求:1、了解HTTP協議,HTML/CSS/Javascript等Web開發相關技術,熟悉xpath語法3、熟悉Linux常用命令,selenium、appnium等組件操作4、熟悉MYSQL、MongoDB等常用數據庫的使用和庫表,索引操作5、能熟練使用 Python編寫網絡請求及處理腳本,了解GOLang語言或愿意轉GO語言技術棧6、熟悉頁面自動化測試工具及流程,有分析能力和定位問題的能力7、有hook經驗,了解xpost框架者優先8、有互聯網數據采集經驗及反爬取經驗者優先 職位描述1、參與公司爬蟲系統的設計與開發;2、爬蟲系統技術架構設計、重構、優化,不斷增強爬蟲系統的性能和功能,解決反爬問題;3、參與網頁信息抽取、數據清洗等研發和優化工作;4、技術難題攻關,解決實際開發過程碰到的各類問題。

    立即申請
    收藏

    爬蟲開發工程師北京北大方正電子有限公司北京-海淀區1.5-2萬/月11-06

    學歷要求:本科|工作經驗:3-4年|公司性質:國企|公司規模:1000-5000人

    職責描述: 1.參與爬蟲系統的架構設計、核心模塊(抓取調度,頁面解析和結構化抽取,海量數據存儲和讀取等)開發,改進和提升爬蟲效率; 2.攻破各種反爬策略,快速解決各類技術疑難問題,建設反爬對抗組件庫; 3.完善爬蟲的技術指標體系,并基于指標迭代優化爬蟲基礎能力,指標體系中,全面性指標的建立,基于隨機采樣,估計系統總體目標信息; 4.技術難題攻關,解決實際開發過程碰到的各類問題; 任職要求: 1.計算機或相關專業,本科或以上學歷,3年以上爬蟲開發經驗; 2.精通至少一種開發語言,如Python、Java,熟練掌握至少一種開源爬蟲框架,熟練掌握mongo、redis、mq、hadoop等相關技術; 3.對爬蟲有濃厚的興趣,責任感強,有較好的交流溝通能力和團隊合作能力; 4.優先條件:參與過分布式爬蟲系統設計和開發;有自己的爬蟲作品;參與過開源爬蟲項目并貢獻代碼;深入研究過開源爬蟲項目源碼。

    立即申請
    收藏

    爬蟲開發工程師阿拉丁試劑(上海)有限公司上海1-1.5萬/月11-05

    學歷要求:本科|工作經驗:2年|公司性質:上市公司|公司規模:150-500人

    1、負責多平臺PC網頁的數據自動化收集及數據清洗處理(ETL),有此方面經驗者尤佳;2、負責對已采集的數據分析匯總及數據庫設計與實現;3、負責爬蟲系統的設計及開發工作;4、能獨立解決實際開發過程碰到的各類問題。職位要求:1、熟悉linux平臺開發,有2年以上的python開發經驗;具有實際爬蟲開發、內容提取解析工作經驗2年以上;2、精通信息抓取和整合技術,從結構化的和非結構化的數據中獲取信息;3、熟悉使用爬蟲相關框架及技術,如scrapytpClient/jSoup/xpath/正則表達式/驗證碼加密處理/代理池等;4、熟悉各類驗證碼識別、模擬登陸、數據ETL,反爬和防屏蔽規則;5、熟悉HTML/CSS/JS/JQUERY/AJAX等相關知識;6、設計爬蟲策略和反防屏蔽規則,提升網頁抓取的效率和質量。

    立即申請
    收藏

    爬蟲工程師深圳市紫金支點技術股份有限公司深圳-南山區0.9-1.5萬/月11-02

    學歷要求:本科|工作經驗:1年|公司性質:民營公司|公司規模:1000-5000人

    崗位職責: 1、負責網絡爬蟲系統設計、開發。 2、完成數據采集爬取、解析提取、清洗入庫等數據生產工作。 3、研究網頁特點和規律,對網頁信息進行分類、抽取、數據清洗、存儲結構等研發和優化工作。4、負責領域知識的定向爬取、深度提取和挖掘。 5、對數據進行清洗、整理、去重及合并等工作。 任職資格: 1、本科及以上學歷,理工科專業,具有良好的英文閱讀能力;2、1年及以上爬蟲開發工作經驗;3、精通網頁抓取原理及技術、正則表達式、動態數據抓取、防屏蔽等關鍵技術;4、精通正則表達式,掌握http協議,熟悉html、dom、xpath等常見的數據抽取技術;5、精通Python,熟悉Scrapy等爬蟲框架,具備應對反爬措施的能力;6、熟練使用至少一種常用數據庫技術,如MySQL、MongoDB等。7、熟悉java語言,Sprint boot等技術優先

    立即申請
    收藏

    java爬蟲武漢佰鈞成技術有限責任公司杭州1.5-1.6萬/月09-15

    學歷要求:本科|工作經驗:2年|公司性質:民營公司|公司規模:10000人以上

    崗位職責:1.掌握Java開發,會Shell, Python等自動化腳本; 2.會爬蟲技術;3.會Web開發4.此崗位為阿里外包,介意的勿投

    立即申請
    收藏

    Python開發/爬蟲工程師深圳市優偉同創科技有限公司深圳-南山區2-4萬/月11-07

    學歷要求:本科|工作經驗:5-7年|公司性質:民營公司|公司規模:少于50人

    崗位職責:1、技術團隊的日常管理,與團隊交流、分享技術經驗;2、負責分布自動采集和數據采集系統的架構設計和開發;3、熟悉各類反反自動采集策略,負責反反自動采集技術難點攻堅,并有豐富的反反自動采集實戰經驗;4、深刻理解自動采集系統架構,能對系統架構提出自己的見解和優化方案,提升數據抓取的效率,保證數據的質量和及時更新;5、實現數據提取、清洗、結構化、入庫、統計分析等需求;6、建立自動采集監測體系,及時分析及解決自動采集腳本在運行過程中出現的問題;7、負責帶領團隊,把握網絡自動采集核心技術研究方向,研究優化算法,提升自動采集系統的效率及穩定性、可擴展性;8、忠誠于公司的事業。任職要求:1、全日制本科及以上學歷,計算機相關專業;2、4年及以上自動采集相關工作經驗,具備豐富的海量數據自動采集工作經驗;3、具有代碼逆向(如app逆向、js逆向等),通過模型(重點是機器學習算法)破解驗證碼經驗者優先考慮;4、良好的代碼能力,扎實的數據結構和算法功底,有快速迭代、逐步優化的工程項目經驗;5、精通自動采集和反自動采集技術,精通http底層協議;精通深度抓取、動態網頁技術抓取、瀏覽器模擬抓取技術等,從結構化的和非結構化的數據中獲取信息;6、精通分布式系統、多線程、云服務,精通一種以上開源框架,熟悉scrapy、 requests、pyspider等其中一個或多個自動采集框架以及原理,有開發自動采集框架經驗;7、對主流自動采集架構有深入研究,具有成熟的自動采集工具開發經驗、及Linux 、Windows云服務器的運維經驗;8、有很強的學習能力和技術鉆研能力,積極主動,思維靈活開放,有良好的溝通能力、團隊合作精神。 

    立即申請
    收藏

    爬蟲開發工程師深圳市阿卡索資訊股份有限公司深圳-羅湖區1.5-2萬/月11-07

    學歷要求:本科|工作經驗:2年|公司性質:民營公司|公司規模:1000-5000人

    崗位職責:1. 根據使用者/需求方的需求,對信息后臺系統作整體把控規劃,對需求進行評審分析,輸出需求詳情文檔、原型;2. 根據規劃、需求輸出表達文檔,并跟進實施,包括:根據需求評估交互與視覺設計方案,技術實施情況,上線測試,從可實現的角度提出建設性意見、評估整體開發周期并從把控效果質量;3. 獨立負責開發核心組件或者項目,并進行表達層、邏輯層的開發實現,開發后自測和修復過程中發現的BUG;4. 負責技術選型和框架選擇、性能優化、兼容性、安全性方案以及聯調接口設計;5. 負責信息后臺使用的打通、推進、規范流程制定工作,包括:新增需求的接洽、審核、提交,歷史搜索信息的提取使用、數據梳理分析。任職要求:1. 本科及以上學歷,計算機相關專業;2. 兩年以上信息后臺、爬蟲技術開發工作經驗;3. 有一定的爬蟲技術能力基礎,熟悉Python開發、抓取框架,有完整的界面化爬蟲平臺開發經驗;4. 有較強的邏輯思維、獨立思考和分析判斷能力強;5. 具有較強的學習能力、數據處理、文字表達能力和執行力;6. 有較強的溝通表達能力和良好的團隊合作精神,較強的抗壓能力和問題解決能力;7. 責任感強,做事有耐心,認同公司企業文化,具有良好的職業操守。

    立即申請
    收藏

    全選
    申請職位
    共12頁,到第確定

    精英競拍匯-中高端人才求職平臺

    互聯網專場
    招聘職位: 后端開發,前端開發,移動端開發,測試,產品/設計/運營
    金融專場
    招聘職位: 財務審計,合規與風險控制,后臺運營,投行,銷售
    房地產專場
    招聘職位: 房地產開發,建筑工程,規劃設計,商業,市場營銷
    汽車專場
    招聘職位: 汽車新能源,軟件與汽車電子,生產制造,質量管理,供應鏈管理

    相似職位

    全選
    一鍵申請
    爬蟲開發工程師 凌旭科技 0.5-1萬/月 蘇州-工業園區
    全選
    一鍵申請
    快3开奖