文章詳情頁
java - hadoop數據查找
瀏覽：153日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. 致命錯誤: Class ’appfacadeTest’ not found2. html5 - 如何實現帶陰影的不規則容器？3. objective-c - iOS開發支付寶和微信支付完成為什么跳轉到了之前開發的一個app?4. css - 移動端字體設置問題5. python - 管道符和ssh傳文件6. javascript - 循環嵌套多個promise應該如何實現？7. mysql優化 - 關于mysql分區8. 請教各位大佬，瀏覽器點 提交實例為什么沒有反應9. 前端 - IE9 css兼容問題10. javascript - ionic2 input autofocus 電腦成功，iOS手機鍵盤不彈出
排行榜
網公網安備