久久r热视频,国产午夜精品一区二区三区视频,亚洲精品自拍偷拍,欧美日韩精品二区

您的位置:首頁技術(shù)文章
文章詳情頁

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

瀏覽:126日期:2024-08-07 13:40:04

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內(nèi)容:所有原創(chuàng)文章分類匯總及配套源碼,涉及Java、Docker、Kubernetes、DevOPS等;

IDEA是常用的IDE,我們編寫的flink任務(wù)代碼如果能直接在IDEA運(yùn)行,會給學(xué)習(xí)和開發(fā)帶來很大便利,例如改完代碼立即運(yùn)行不用部署、斷點(diǎn)、單步調(diào)試等;

環(huán)境信息

電腦:2019版13寸MacBook Pro,2.3 GHz 四核Intel Core i5,8 GB 2133 MHz LPDDR3 操作系統(tǒng):macOS Catalina 10.15.3 JDK:1.8.0_211 Maven:3.6.0 IDEA:2018.3.5 (Ultimate Edition) Flink版本:1.9.2

關(guān)于正版IDEA

如何免費(fèi)使用正版IDEA,可以參考《免費(fèi)申請和使用IntelliJ IDEA商業(yè)版License指南》

開發(fā)

首先確保您電腦上maven已裝好; 創(chuàng)建一個flink任務(wù)的maven工程,找個干凈目錄執(zhí)行以下命令:

mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.9.2

按提示輸入groupId、artifactId、version、package等內(nèi)容:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

4. 現(xiàn)在maven工程已生成,用IDEA導(dǎo)入這個工程,如下圖:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

5. 以maven的類型導(dǎo)入:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

6. 導(dǎo)入成功后的樣子:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

7. 修改StreamingJob.java,加入功能是監(jiān)聽本地18081端口,得到的字符串做word count操作,完整代碼在此下載:https://raw.githubusercontent.com/zq2599/blog_demos/master/files/StreamingJob.java

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

8. 現(xiàn)在的代碼已經(jīng)能運(yùn)行,但flink網(wǎng)頁卻還不能訪問,會顯示以下錯誤信息,需要繼續(xù)做些設(shè)置:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

9. 下載flink-1.9.2安裝包,這里面有flink網(wǎng)頁服務(wù)用到的一個jar,地址是:https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11.tgz10. flink-1.9.2-bin-scala_2.11.tgz下載后解壓,在lib目錄下有個flink-dist_2.11-1.9.2.jar文件,記住此文件的位置,稍后會用到;11. 回到IDEA,在項(xiàng)目上點(diǎn)擊右鍵,點(diǎn)擊菜單Open Module Settings:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

12. 在彈出的窗口做如下操作,目的是給項(xiàng)目中增加jar:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

13. 彈出選擇文件的窗口,請選擇剛才準(zhǔn)備好的文件flink-dist_2.11-1.9.2.jar:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

14. 設(shè)置工作已經(jīng)完成,由于StreamingJob的工作是讀取本機(jī)18081端口的數(shù)據(jù),所以我們要把18081端口的服務(wù)啟動起來,不然StreamingJob運(yùn)行時是連不上端口的,打開一個控制臺,執(zhí)行命令:nc -l 1808115. 現(xiàn)在可以將StreamingJob運(yùn)行起來,如下圖,右鍵點(diǎn)擊StreamingJob,選擇Run ’StreamingJob.main()’:即可啟動flink任務(wù),如果想打斷點(diǎn)調(diào)試,請選擇Debug ’StreamingJob.main()’

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

16. 回到剛才執(zhí)行nc命令的控制臺,輸入一些字符串,例如'aaa bbb aaa',然后回車;17. 再回到IDEA,可見StreamingJob已經(jīng)從18081端口讀到了數(shù)據(jù)并且輸出了統(tǒng)計(jì)結(jié)果:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

18. 在IDEA的控制臺搜索關(guān)鍵字localhost,如下圖紅框,可以查到flink網(wǎng)頁的端口,我這里是62641:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

19. 瀏覽器訪問http://localhost:62641,如下圖,可見flink網(wǎng)頁已經(jīng)正常顯示,正在運(yùn)行的任務(wù)也能看到:

IDEA上運(yùn)行Flink任務(wù)的實(shí)戰(zhàn)教程

至此,最簡單的IDEA運(yùn)行flink任務(wù)的實(shí)戰(zhàn)就完成了,如果您也在學(xué)習(xí)flink,希望本文能給您一些參考;

https://github.com/zq2599/blog_demos

到此這篇關(guān)于IDEA上運(yùn)行Flink任務(wù)的文章就介紹到這了,更多相關(guān)IDEA上運(yùn)行Flink任務(wù)內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: IDEA
相關(guān)文章:
主站蜘蛛池模板: 冕宁县| 台东县| 高淳县| 芜湖市| 孝昌县| 舞阳县| 莲花县| 安福县| 霍邱县| 通州市| 农安县| 南汇区| 河曲县| 民乐县| 封开县| 正阳县| 宣武区| 隆回县| 镇赉县| 宁南县| 兰溪市| 合水县| 兴国县| 黄陵县| 七台河市| 新蔡县| 鹤壁市| 昌黎县| 松溪县| 夏邑县| 大连市| 通州区| 疏勒县| 盖州市| 特克斯县| 阿克苏市| 福泉市| 长泰县| 曲麻莱县| 苍溪县| 营口市|