superset
superset是airbinb開源的可視化web組件,其基于flask-appbuild框架,其可視化能力超強,能夠?qū)?shù)據(jù)進行展示和探索。因為實驗室項目,需要對其進行二次開發(fā),在此記錄開發(fā)中碰到的問題,以避免下次遇到。
碰到的問題和解決手段如下:
- 一般來說,在superset安裝的數(shù)據(jù)庫很多,對其權限管理利用的是sqlite數(shù)據(jù)庫。但是為了對數(shù)據(jù)進行可視化,當數(shù)據(jù)量極大時,我們采用mysql,hive等。在配置mysql的時候碰到了一些問題。mysql在linux和windows下的配置文件不同名。windows下為my.ini,linux下為my.cnf。
- 在linux下如果你不知道某個文件的位置,你可以利用locate+文件名來尋找,這里支持模糊匹配,查詢速度超快,這一點感覺比windows要快的多。
- 在ubuntu下查看當前監(jiān)聽當前進程的端口等信息的命令是,ps -ef | grep mysql,這個可以快速查看出進程所對應的端口號等信息。
- 在ubuntu下停止,啟動和重啟mysql業(yè)務的命令是/usr/sbin/mysqld stop/start/restart。
- 在編寫python程序的時候,我們會注意到文件的最上端有一行,#!/usr/bin/python,#!/usr/bin/env python這兩種寫法,一般來說推薦第二種。因為第一種是告訴程序去利用/usr/bin目錄下的python解釋器。而第二條命令是讓程序去配置好的環(huán)境變量中去尋找python解釋器,第二種會更加靈活。
- 我在ubuntu下配置pycharm的superset的二次開發(fā)環(huán)境,發(fā)現(xiàn)pycharm一直在更新index,并且每次打開py項目都會這樣,最好的解決辦法更新到最新版本,已經(jīng)修改該bug。
先記錄到這,以后碰到問題,繼續(xù)更新,關于superset的二次開發(fā),關于如何搭建環(huán)境,這篇博文講的比較清楚