Merge pull request #194 from ewgRa/check-broken-links

check broken links at travis

.travis.yml

@@ -1,4 +1,6 @@
 before_install:
+  - export GOPATH="${TRAVIS_BUILD_DIR}/Godeps/_workspace:$GOPATH"
+  - export PATH="${TRAVIS_BUILD_DIR}/Godeps/_workspace/bin:$PATH"
   - sudo apt-get -qq update
   - sudo apt-get install -y hunspell hunspell-ru hunspell-en-us hunspell-de-de
   - curl -s https://extensions.libreoffice.org/extensions/russian-spellcheck-dictionary.-based-on-works-of-aot-group > .dict_page
@@ -8,6 +10,8 @@ before_install:
   - cat .dict_page | grep -oP -f .current_release | wget -q -i - -O dictionary.otx
   - unzip dictionary.otx
   - git config core.quotepath false
+  - go get -u github.com/russross/blackfriday-tool
+
 script:
   - sh files/.travis.sh
 

README.md

@@ -27,3 +27,5 @@
 Женский чат в Skype: https://join.skype.com/mA676LOZb1Eg
 
 Группа «ИТ Берлин» в Facebook: https://www.facebook.com/groups/itberlin/
+
+test

files/.travis.sh

@@ -3,6 +3,7 @@
 DIR=`dirname $0`
 EXIT_CODE=0
 
+find *.md -exec blackfriday-tool {} {}.html \;
 go build -o $DIR/spell-checker $DIR/spell-checker.go
 
 cat $DIR/dictionary.dic | tr '\n' '|' | sed 's/\x27/\\x27/g' > dictionary_processed
@@ -29,4 +30,36 @@ while read FILE; do
     echo
 done < changed_files
 
+while read FILE; do
+    if [ -f "${FILE}.html" ]; then
+        grep -Po '(?<=href=")http[^"]*(?=")' "${FILE}.html" > links
+
+        if [ -s links ]; then
+            echo "Проверка файла $FILE на битые ссылки... ";
+            while read LINK; do
+                echo -n "Ссылка $LINK ... ";
+                REGEXP_LINK=$(echo $LINK | sed 's/[]\.|$(){}?+*^[]/\\&/g')
+                LINK=$(echo "$LINK" | sed -e 's/\[/\\\[/g' -e 's/\]/\\\]/g' -e 's/\&amp;/\&/g')
+                status=$(curl --insecure -XGET -H "User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36" -m 10 -L -s --head -w %{http_code} $LINK -o /dev/null)
+                expectedStatus=$(grep -oP "[^,]+,$REGEXP_LINK$" files/known_url.txt | cut -d',' -f1)
+
+                if [ -z "$expectedStatus" ]; then
+                    expectedStatus="200"
+                fi
+
+                if [ "$status" != "$expectedStatus" -a "$status" != "200" ]; then
+                    EXIT_CODE=1
+                    echo "недоступна с кодом $status, ожидается $expectedStatus";
+                else
+                    echo "доступна";
+                fi
+
+                echo
+            done < links
+
+            echo
+        fi
+    fi
+done < changed_files
+
 exit $EXIT_CODE

files/known_url.txt

@@ -0,0 +1,5 @@
+302,https://github.com/ewgRa/de_faq/blob/master/files/Einladung%20(short%20term).docx?raw=true
+302,https://github.com/ewgRa/de_faq/blob/master/files/Einladung%20(long%20term).docx?raw=true
+000,https://www.envivas.de/de/tarife-und-service/zusatzversicherungen/auslandsreise/travelxl
+000,https://www.envivas.de/de/tarife-und-service/zusatzversicherungen/auslandsreise/travelxf
+000,https://www.envivas.de/

Авто.md

@@ -52,7 +52,7 @@
 - В стоимость входят парковка, топливо, страховка (франшиза 350 Euro).
 - Машины ищете, через приложение или просто на улице.
 - В Берлине в почти всех BMW есть детские сидения-бустеры.
-- Оставлять можно в любом месте в черте города (Business area) (разрешенном для парковки). Google Map с этой картой области можно скачать здесь: [Берлин](https://api2.drive-now.com/geodata/6099/6099.kml), [Мюнхен](https://api2.drive-now.com/geodata/4604/4604.kml), [Кельн](https://api2.drive-now.com/geodata/1174/1174.kml), [Дюссельдорф](https://api2.drive-now.com/geodata/1293/1293.kml),  [Гамбург](https://api2.drive-now.com/geodata/40065/40065.kml). Область можно добавить себе в Google Maps.
+- Оставлять можно в любом месте в черте города (Business area) (разрешенном для парковки). Google Map с этой картой области можно скачать здесь: [Берлин](https://api2.drive-now.com/geodata/6099/6099.kml), [Мюнхен](https://api2.drive-now.com/geodata/4604/4604.kml), [Дюссельдорф](https://api2.drive-now.com/geodata/1293/1293.kml),  [Гамбург](https://api2.drive-now.com/geodata/40065/40065.kml). Область можно добавить себе в Google Maps.
 
 ### [Штрафы](http://auto.germany.ru/pravo/buskatalog.html)
 Информация может быть неактуальной.

Квартирный вопрос.md

@@ -1,10 +1,10 @@
 ## Квартирный вопрос
 - Сайты для поиска: 
   - http://www.immonet.de/,
-  - http://immobilienscout24.de, 
+  - https://www.immobilienscout24.de/, 
   - http://www.wg-gesucht.de/, 
   - http://kleinanzeigen.ebay.de
-  - https://akelius.de/de/ - это агентство, которое владеет многоквартирными домами под сдачу, вам помогает их агент, но платить ему не надо. Очень хорошие и говорят по-английски.
+  - https://www.akelius.de/ - это агентство, которое владеет многоквартирными домами под сдачу, вам помогает их агент, но платить ему не надо. Очень хорошие и говорят по-английски.
   - http://en.coming-home.org/suche_2.php?l=en&Ort=Berlin (агентство, цены выше среднего, но квартиры все меблированные)
   - https://www.city-wohnen.de/eng/berlin/ - агентство, цены немного выше среднего, как правило в цену уже все включено (газ, вода, свет), квартиры все меблированные, быстро отвечают и хорошо подбирают вариант если точно опишете свои пожелания и район, общение на английском.
   - http://www.berlinaspire.com/apartments-for-rent2/ (агентство)
@@ -33,7 +33,7 @@
 - [SCHUFA](http://www.ratgeber-geld.de/schufa/auskunft.html). Обычно актуальна три-четыре месяца.
   - Если нужна срочно - в отделении Postbank, см. первую строку тут: https://www.meineschufa.de/index.php?site=14_3. Надо иметь с собой регистрацию в Берлине, паспорт, визу и немецкий счет в банке. Делают за 10 минут.
   - Schufa можно получить бесплатно один раз в год (§ 34 Bundesdatenschutzgesetz), заполнив бумажную форму и отправив её по почте: https://www.meineschufa.de/index.php?site=11_3_1
-  - https://bonitaetscheck.immobilienscout24.de
+  - https://bonitaetscheck.immobilienscout24.de/
   - Список филиалов Postbank в Берлине, где делают SCHUFA:
     - Schönhauser Allee 79, 10439 Berlin-Prenzlauer Berg
     - Karl-Marx-Str. 66, 12043 Berlin-Neukölln

Медицина.md

@@ -43,7 +43,7 @@ HNO-Arzt Dr. Alexander Bogdanoff
 
 - Ортопед http://www.sanfte-orthopaeden.de/rus/ind_rus.html
 - Русско-говорящий травматолог, клиника с русско-говорящим персоналом, позитивный опыт: http://berlin24.ru/firm/vrachi-v-berline/hirurgi-i-travmatologi-v-berline/29-155-0-437-0-0.html
-- Dr. med. Natan Del русскоговорящий терапевт и не только http://www.city-aerztehaus.com/
+- Dr. med. [Natan Del](https://www.jameda.de/berlin/aerzte/innere-allgemeinmediziner/dr-natan-del/uebersicht/80103219_1/) - русскоговорящий терапевт и не только.
 
 #### Анализ крови (без направления врача)
 Анализы крови можно сдать в лаборатории [Institut für Medizinische Diagnostik, Nicolaistraße 22, 12247 Berlin](https://www.google.de/maps/place/Institut+f%C3%BCr+Medizinische+Diagnostik+MVZ+GbR/@52.44373,13.3327727,17z/data=!3m1!4b1!4m5!3m4!1s0x47a85a94df42fe15:0x69b4104e7532655e!8m2!3d52.44373!4d13.33394). Принимают без термина с 8:00-17:00, понедельник-пятница. Говорят по-английски. Результаты обычно по почте, где-то через 1 день, но зависит от вида анализа. Оплатить можно на месте кешем или вышлют счет по почте, который придет через 3-4 недели. Стоимость около 4.19 EUR за систему для взятия крови и потом примерно по 2.33 EUR за каждый анализ.

Мобильная связь.md

@@ -13,7 +13,7 @@
 - [smartmobile.de](https://www.smartmobil.de/)
 - [WinSIM](https://www.winsim.de/) - доступные тарифы, включающие в себя оплаченные минуты и трафик в роуминге.
 
-[Полный список мобильных операторов Германии (нем.)](https://de.wikipedia.org/wiki/Liste_der_Mobilfunk-Discounter_in_Deutschland)
+[Полный список мобильных операторов Германии (нем.)](https://de.wikipedia.org/wiki/Liste_der_Mobilfunkdiscounter_in_Deutschland)
  
 Номер без проблем портируется между операторами (NMP).
 

Отпуск и отдых.md

@@ -46,7 +46,7 @@
   - В Украину/из Украины: 
   - http://vidart.com.ua/countries/germany/
   - http://shevpastrans.com/ - водители иногда лапочки попадаются, а иногда моральные уроды. Лотерея.
-  - http://ecolines.ua/ru/
+  - https://ecolines.net/ru/ru
   - http://www.luxexpress.eu/en/coaches
 
 - Поиск надежных попутчиков:
@@ -54,7 +54,7 @@
 
 - Поиск полетов:
   - http://flug.idealo.de
-  - http://buchung.cheaptickets.de/
+  - https://www.cheaptickets.de/
   - http://www.opodo.de/
   - http://www.skyscanner.de/
   - https://www.google.com/flights/
@@ -66,5 +66,5 @@
     - http://www.airberlin.com/de-DE/site/start.php
 
 Страховка
- - Если у вас оформлена ТК (практически стандарт для Берлина), то можно оформить расширение страховки на весь мир в Envivas, индивидуальная [TravelXN](http://www.envivas.de/internet/envivas/envivas_internet.nsf/contentByKey/MPLZ-6ZWDBD-DE-p) стоит 9.80 евро/год или семейная [TravelXF](http://www.envivas.de/internet/envivas/envivas_internet.nsf/contentByKey/MPLZ-6ZWEE2-DE-p) - 23.90 евро/год, работает в путешествиях до восьми недель. Сайт http://envivas.de
+ - Если у вас оформлена ТК (практически стандарт для Берлина), то можно оформить расширение страховки на весь мир в Envivas, индивидуальная [TravelXN](https://www.envivas.de/de/tarife-und-service/zusatzversicherungen/auslandsreise/travelxl) стоит 9.80 евро/год или семейная [TravelXF](https://www.envivas.de/de/tarife-und-service/zusatzversicherungen/auslandsreise/travelxf) - 23.90 евро/год, работает в путешествиях до восьми недель. Сайт https://www.envivas.de/
  - Страховка здоровья во время путешествий в [Allianz](https://www.allianz.de/gesundheit/reisekrankenversicherung/rechner/) стоит 9,80€ за одного или 19,60€ за семью.

План действий для получивших оффер.md

@@ -15,7 +15,7 @@
 
 **3) Налоговый номер.** Придёт по почте по адресу регистрации. Чтобы ускорить процесс, можно самому запросить его через 7-10 рабочих дней, обратившись в местный tax office. Без этого номера вам не откроют банковский счет (исключение: онлайн-банк Number26, возможно, есть и другие онлайн сервисы) и не начислят зарплату. 
 
-**4) Поиск квартиры или комнаты.** Тема для отдельного разговора. Очень много желающих на маленькие площади и квартиры без мебели. Наиболее популярный сервис для поиска квартир – [Immobilenscout24.de](https://immobilenscout24.de/). Можно начинать писать запросы хозяевам квартир ещё за неделю до приезда.
+**4) Поиск квартиры или комнаты.** Тема для отдельного разговора. Очень много желающих на маленькие площади и квартиры без мебели. Наиболее популярный сервис для поиска квартир – [Immobilenscout24.de](https://www.immobilienscout24.de/). Можно начинать писать запросы хозяевам квартир ещё за неделю до приезда.
 
 **5) Открытие счёта в банке.** Обычно нужно записываться на приём в банк, по телефону или через сайт, за 4-5 рабочих дней. При себе иметь документ о регистрации места проживания, паспорт, номер налогового кода, контракт с немецким работодателем с указанием заработной платы. Открыть счет по телефону можно в таких онлайн-сервисах, как Number26, но им пока не пользовался.
 

Работа.md

@@ -2,7 +2,7 @@
 
 Поиск вакансий:
   - https://www.linkedin.com/
-  - http://careers.stackoverflow.com/
+  - http://stackoverflow.com/jobs
   - http://berlinstartupjobs.com/
   - https://angel.co/jobs
   - http://de.indeed.com/
@@ -10,9 +10,6 @@
   - https://xing.com
   - http://jobs.meinestadt.de
 
-Вакансии:
-  - SevenSenders ищет PHP Symfony разработчиков в Берлин, подробнее в [описании](http://sevensenders.com/join/senior-php) вакансии.
-
 Калькулятор netto/brutto зарплаты:
   - web: http://www.brutto-netto-rechner.info/gehalt/gross_net_calculator_germany.php (для стандартной мед. страховки TK используется 0.8%)
   - android OS: https://play.google.com/store/apps/details?id=de.betaapps.bruttonetto

Регистрация места жительства.md

@@ -84,7 +84,7 @@ Ordens- Künstlername — религиозный или артистически
 
 Имеет смысл проверять в ранние утренние часы, потому что бюргерамт может выбросить в систему пачку новых свободных терминов.
 
-Есть некие скрипты для автоматизированной ловли терминов (например, [скрипт на PHP](https://gist.github.com/ewgRa/1b515166a140bcf9ed9e) и [плагин для Chrome](https://chrome.google.com/webstore/detail/refresh-monkey/ljngnafhejmefmijjoedbclkadhacebd?hl=en)), но с ними можно быстро попасть в бан. Есть или был стартап по ловле терминов за деньги, действующий по аналогичному принципу, официальные власти с ним боролись.
+Есть некие скрипты для автоматизированной ловли терминов (например, [скрипт на PHP](https://gist.github.com/ewgRa/1b515166a140bcf9ed9e), но с ними можно быстро попасть в бан. Есть или был стартап по ловле терминов за деньги, действующий по аналогичному принципу, официальные власти с ним боролись.
 
 Также можно записаться на прием в телефонном режиме. Нужно попросить коллегу, который хорошо владеет немецким языком, позвонить по указанному на сайте номеру и узнать время ближайшего свободного термина. Возможно вам повезет и получится попасть на прием в этот же день.
 

Телевидение.md

@@ -20,7 +20,7 @@
 _Если вы согласны с предложением оплаты_, то необходимо подтвердить свое согласие в письменном виде.  
 Это можно сделать двумя путями.
 
-1. Удобнее всего [заполнить анкету на сайте](https://www.rundfunkbeitrag.de/formulare/buergerinnen_und_buerger/anmelden/index_ger.html), распечатать подтверждение и подписать его
+1. Удобнее всего [заполнить анкету на сайте](https://www.rundfunkbeitrag.de/buergerinnen_und_buerger/formulare/anmelden/index_ger.html), распечатать подтверждение и подписать его
 2. То же самое, но в бумажной форме - заполнить анкету, которая прилагалась в письме и также подписать
 
 Далее необходимо отправить письмо обратно.  
@@ -32,14 +32,12 @@ _Если вы согласны с предложением оплаты_, то
 _Если вы въезжаете в другую квартиру_ и получаете анкету повторно или _если вы регистрируете в квартире нового жильца_, и ему (ей) начинают приходить "письма счастья", то в анкете необходимо указать имеющийся номер (Beitragskonto) по которому уже производится оплата.
 Далее все то же самое - распечатать, подписать, отправить.
 
-[Формуляры в зависимости от ситуации](https://www.rundfunkbeitrag.de/formulare/buergerinnen_und_buerger/index_ger.html).
+[Формуляры в зависимости от ситуации](https://www.rundfunkbeitrag.de/buergerinnen_und_buerger/formulare/index_ger.html).
 
-_Если вы не согласны с предложением оплаты_ (или суммой), то есть возможность требовать [льготы или отмену оплаты](http://www.rundfunkbeitrag.de/e175/e218/Informationen_zur_Befreiung_von_der_Rundfunkbeitragspflicht_und_zur_Ermaessigung.pdf).
+_Если вы не согласны с предложением оплаты_ (или суммой), то есть возможность требовать [льготы или отмену оплаты](https://www.rundfunkbeitrag.de/buergerinnen_und_buerger/informationen/menschen_mit_behinderung/index_ger.html).
 [Здесь](https://www.rundfunkbeitrag.de/formulare/buergerinnen_und_buerger/antrag_auf_befreiung/index_ger.html) можно выбрать причину отказа.
 
-Большинство жителей все-таки должны платить данный налог. На освобождение от оплаты могут рассчитывать только некоторые категории граждан.
-
-[Формуляр для отказа](https://www.rundfunkbeitrag.de/e175/e183/Buergerinnen_und_Buerger_Wohnungsabmeldung_0106.pdf) по причине инвалидности или недееспособности.
+Большинство жителей все-таки должны платить данный налог. На освобождение от оплаты могут рассчитывать только некоторые категории граждан по причине инвалидности или недееспособности.
 
 
 ### Полезная информация и контакты