Немного автоматизации для сортировки словаря (#343)

* Update dictionary.dic

* Added secret token

* Update .travis.yml

* Update .travis.yml

* Moved shell scripts to .travis, added sort & push.sh on success

* Travis build: 4

* Fixed dir issue

* Excluded build-related files

* Sort if changed only

* Travis build: 7

* Travis build: 9

* Set locale

* Moved back travis scripts

* Fixed travis

* Changed files dir back

* Reorganized travisci

* Added git clone depth and skipping submodules

* Extracted run_on_master.sh

* Fixed cs

.gitignore

@@ -2,3 +2,8 @@
 
 /.idea
 /*.iml
+
+# build-related
+.current_release
+.dict_page
+Godeps/

.travis.yml

@@ -1,12 +1,25 @@
 language: go
 sudo: required
-before_install:
+
+dist: trusty
+group: deprecated-2017Q4
+
+git:
+  depth: 3
+  submodules: false
+
+install:
   - export GOPATH="${TRAVIS_BUILD_DIR}/Godeps/_workspace:$GOPATH"
   - export PATH="${TRAVIS_BUILD_DIR}/Godeps/_workspace/bin:$PATH"
   - sudo env PATH=$PATH GOPATH=$GOPATH sh files/check-install.sh
 
 script:
   - sh files/check.sh
+  - sh files/run_on_master.sh
 
 notifications:
   email: false
+
+env:
+  global:
+    secure: "Hxafxz2x7pO1gjtFf5O8268J3HOaOPtsGJHYQRGIrGHgGa/j5wql5Zzvh0bjJG1n81ShMQB0cpcTOxBVJfwGU+FDFPPPOv+iiuZYGVVeM7yprQ2s7N52qiXkwokrETMAgKQIc1NaRw3F7EqRd2+NoxSJIM2UQ3/eapTbS0nMyImATQoRcu7hWpvIAACd1NgqJ6wrHLSjL0BuI1McrCb9Io4fYnMuTLv5JdfENajvVgqkUxmM2RK+YoirM2bxykge6iezjbWXzo16KbU176mYvIAjgkso2oCkaGCemPQCoGwUz8F64gTB2ili85P2EHkHKIt5cL+HXGOp0sQCXAxh5RwCaaXeNKcjR28qcsnu3pkQL/KDafyVVfKkZpD8edfK1L4gjxm2kF/6/IPUjUdJAin2aEnlaVU7HyR/UIlfsoJE9D0rqrhj1+WFPL2AwJ8DfmsZgFTebJLdxVc3vyb4vIXb8KPTLqTWsjq+MYyKUN7KW1Y6Gz9Tkr2t6KC+dyeLgY0c0xiMG2kqqtQcRswJ4ID1g5bR7vPwY8iANPfzeVqb8RC+IG2YCqWdwROAgJrO/NgXRfFr4zrG4LB8mFo6rX4qGPxDyupEQbly2fRXIezPsnfOtane9WdHh4uoTBwzxFEKw+5xt65QmuwyNtzjyA/ipR4F0fD0rURbOz8hHgs="

files/check-install.sh

@@ -1,9 +1,8 @@
 #!/bin/bash
 
-set -e
+set -xe
 
-apt-get -qq update
+apt-get -yqq update && apt-get install -y hunspell hunspell-ru hunspell-en-us hunspell-de-de
-apt-get install -y hunspell hunspell-ru hunspell-en-us hunspell-de-de
 curl -s https://extensions.libreoffice.org/extensions/russian-spellcheck-dictionary.-based-on-works-of-aot-group > .dict_page
 cat .dict_page | grep -oP "<a href.+title=\"Current release for the project\"" | grep -oP "https://extensions.libreoffice.org/extensions/russian-spellcheck-dictionary.-based-on-works-of-aot-group/[^\"]+" > .current_release
 echo -n $(cat .current_release) > .current_release

files/check.sh

@@ -42,7 +42,7 @@ while read FILE; do
                 REGEXP_LINK=$(echo $LINK | sed 's/[]\.|$(){}?+*^[]/\\&/g')
                 LINK=$(echo "$LINK" | sed -e 's/\[/\\\[/g' -e 's/\]/\\\]/g' -e 's/\&/\&/g')
                 status=$(curl --insecure -XGET -H "User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -m 10 -L -s --head -w %{http_code} $LINK -o /dev/null)
-                expectedStatus=$(grep -oP "[^,]+,$REGEXP_LINK$" files/known_url.csv | cut -d',' -f1)
+                expectedStatus=$(grep -oP "[^,]+,$REGEXP_LINK$" $DIR/known_url.csv | cut -d',' -f1)
 
                 if [ -z "$expectedStatus" ]; then
                     expectedStatus="200"

files/dictionary.dic

@@ -1,6 +1,3 @@
--го
--м
--му
 500Mb
 Abbiegespur
 Aufenthaltstitel
@@ -31,8 +28,8 @@ juris
 Karl-Marx-Str
 Keplerstr
 Kottbusser
-KVR
 Kübler
+KVR
 Lichtenberg
 Lieferando
 Linevych
@@ -40,8 +37,8 @@ LTE
 Lübbenau
 mehrspurigem
 Multivisa
-Mutterschaftsgeld
 Müritz
+Mutterschaftsgeld
 Natan
 Nicolaistraße
 Niederlassungserlaubnis
@@ -70,59 +67,36 @@ Unstrut
 url
 VDSL
 Virchow
-Virchow
 Visumgültigkeit
 Volodymyr
-Volodymyr
 VPay
 Wientjes
-Wientjes
 Wittenbergplatz
 wowa
 yandex
 АБХ
-АБХ
+агрегатор
 Агрегаторы
-Апостилировать
-ВНЖ
-Лоукостеры
-Мбит
-ОВД
-ОСАГО
-ПДД
-ПДД
-ПИН
-ПМЖ
-ПриватБанк
-РСЦ
-Райффайзен
-Рафтинг
-Розенталер
-Сard.
-Семёна
-України
-ФОП
-Хостелы
-агрегатор
-агрегатор
 апостилированного
+Апостилировать
 апостилях
 апостилях
 бан
-бан
 банкинг
 банкинга
+більше
 бюргерамт
 бюргерамта
 бюргерамтах
 бюргерамте
 бюргерамту
 бюргерамты
-більше
 веб-сайт
 виданого
-встречки
 відомостями
+ВНЖ
+встречки
+-го
 громадянина
 дає
 держави
@@ -133,38 +107,52 @@ yandex
 документів
 заповнену
 зарплатные
-зарплатные
+іноземній
 картку
 компетентними
 консульський
 копію
+Лоукостеры
 лоукосты
+-м
+Мбит
 мониторят
+-му
 написами
 немецкоговорящим
 ніж
 облік
 облікову
+ОВД
 оригінал
+ОСАГО
 офлайн
 оффер
 оффера
 офферов
 паспортний
+ПДД
 перебуває
+ПИН
+ПМЖ
 подачі
 постоплата
+ПриватБанк
 провизион
 проживання
-проживання
 промо
 пруф
+Райффайзен
+Рафтинг
 репутационные
-репутационные
+Розенталер
 розміром
 роутер
 роутеры
+РСЦ
+Сard.
 свежеотремонтированная
+Семёна
 сторінок
 тикет
 тимчасово
@@ -172,12 +160,15 @@ yandex
 торрентов
 тусить
 украино
+України
 фишинг
 фишингом
+ФОП
 фотокартку
 фрилансером
 хак
+Хостелы
 цій
+ывро
 явника
 який
-іноземній

files/push.sh

@@ -0,0 +1,21 @@
+#!/bin/sh
+
+setup_git() {
+  git config --global user.email "travis@travis-ci.org"
+  git config --global user.name "Travis CI"
+}
+
+commit_files() {
+  git checkout master
+  git add .
+  git commit --message "Travis build: $TRAVIS_BUILD_NUMBER"
+}
+
+upload_files() {
+  git remote add origin-master https://${GH_TOKEN}@github.com/andreyors/de_faq.git > /dev/null 2>&1
+  git push --quiet --set-upstream origin-master master
+}
+
+setup_git
+commit_files
+upload_files

files/run_on_master.sh

@@ -0,0 +1,28 @@
+#!/bin/sh
+
+set -e
+
+skip() {
+	echo "$@" 1>&2
+	echo "Exiting..." 1>&2
+	exit 0
+}
+
+[ "${TRAVIS_PULL_REQUEST}" = "false" ] || \
+    skip "Not running master-only script for pull-requests."
+
+[ "${TRAVIS_BRANCH}" = "master" ] || \
+    skip "Running master-only for updates on 'master' branch (current: ${TRAVIS_BRANCH})."
+
+[ "${TRAVIS_REPO_SLUG}" = "ru-de/faq" ] || \
+    skip "Running master-only for updater on main repo (current: ${TRAVIS_REPO_SLUG})."
+
+[ "${GH_TOKEN+set}" = set ] || \
+    skip "GitHub access token not available, skipping dict check."
+
+dict_check() {
+    LC_ALL=ru_RU.UTF8 sort files/dictionary.dic -C || \
+    (LC_ALL=ru_RU.UTF8 sort files/dictionary.dic -o files/dictionary.dic -f && sh files/push.sh)
+}
+
+dict_check