python - pyspider使用redis分布式
問題描述
在部署pyspider分布式時,嘗試連接redis集群配置項為: 'message_queue':'redis://127.0.0.1:6380/db'在啟動時:報如下錯誤[E 170221 09:40:39 tornado_fetcher:529] MOVED 12068 127.0.0.1:6380
Traceback (most recent call last): File '/usr/lib/python2.6/site-packages/pyspider/fetcher/tornado_fetcher.py', line 515, in queue_loop if self.outqueue.full(): File '/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py', line 50, in full if self.maxsize and self.qsize() >= self.maxsize: File '/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py', line 40, in qsize self.last_qsize = self.redis.llen(self.name) File '/usr/lib/python2.6/site-packages/redis/client.py', line 1219, in llen return self.execute_command(’LLEN’, name) File '/usr/lib/python2.6/site-packages/redis/client.py', line 573, in execute_command return self.parse_response(connection, command_name, **options) File '/usr/lib/python2.6/site-packages/redis/client.py', line 585, in parse_response response = connection.read_response() File '/usr/lib/python2.6/site-packages/redis/connection.py', line 582, in read_response raise responseResponseError: MOVED 12068 127.0.0.1:6380
經(jīng)查找,得到:因為redis由單節(jié)點變?yōu)榧海鴓ython的redis連接包暫時還不支持redis集群連接方式,需要更換連接包(redis-py-cluster)。
在安裝完redis-py-cluster之后,依舊報上面的錯誤。
問題解答
回答1:鏈接 redis 使用的庫是寫在代碼里面的,不是你安裝了就會切換的。就算你要改代碼,也要確認(rèn) API 是兼容的。
相關(guān)文章:
1. java - spring-data Jpa 不需要執(zhí)行save 語句,Set字段就可以自動執(zhí)行保存的方法?求解2. html5 - 微信瀏覽器視頻播放失敗3. javascript - 這問題怎么處理額4. css - chrome瀏覽器input記錄上次cookie信息后,有個黃色背景~如何去除!5. javascript - SuperSlide.js火狐不兼容怎么回事呢6. javascript - jQuery中l(wèi)ive事件在移動微信端下沒有效果;代碼如下7. javascript - owl.carousel.js這個插件的原作者的網(wǎng)址是多少了?8. html - 這種錯位的時間軸怎么布局,然后用css實現(xiàn)?9. phpstady在win10上運行10. 在應(yīng)用配置文件 app.php 中找不到’route_check_cache’配置項
