switch to dockerized mobi

core/mobi.py

@@ -16,11 +16,11 @@ def convert_to_mobi(input_url, input_format="application/epub+zip"):
 
     # using verify=False since at the moment, using a self-signed SSL cert.
 
-    payload = requests.get(input_url, verify=False).content 
+    payload = requests.get(input_url).content 
 
     headers = {'Content-Type': input_format}
     r = requests.post(mobigen_url, auth=(mobigen_user_id, mobigen_password),
-                      data=payload, verify=False, headers=headers)
+                      data=payload, headers=headers)
 
     # if HTTP reponse code is ok, the output is the mobi file; else error message
     if r.status_code == 200:

core/models/__init__.py

@@ -966,7 +966,12 @@ class Campaign(models.Model):
                     
                     # now make the mobi file
                     new_mobi_ebf = EbookFile.objects.create(edition=edition, format='mobi', asking=True)
-                    new_mobi_ebf.file.save(path_for_file('ebf', None), ContentFile(mobi.convert_to_mobi(new_epub_ebf.file.url)))
+                    try:
+                        new_mobi_file = ContentFile(mobi.convert_to_mobi(new_epub_ebf.file.url))
+                    except Exception as e:
+                        logger.error("error making mobi  for %s" % (new_epub_ebf.file.url))
+                        raise e
+                    new_mobi_ebf.file.save(path_for_file('ebf', None), new_mobi_file)
                     new_mobi_ebf.save()
                     new_mobi_ebf.version = version
                     new_ebfs.append(new_mobi_ebf)

requirements_versioned.pip

@@ -12,7 +12,8 @@ billiard==3.3.0.23
 awscli==1.10.26
 boto==2.42.0
 celery==3.1.23
-certifi==2016.2.28
+certifi==2018.4.16
+chardet==3.0.4
 # pip installing pillow seems to delete distribute
 # but having distribute in requirements starting to cause problems
 # distribute==0.6.28
@@ -70,7 +71,7 @@ rdflib==4.2.0
 rdflib-jsonld==0.3
 redis==2.10.3
 reportlab==3.4.0
-requests==2.10.0
+requests==2.18.4
 requests-mock==1.2.0
 requests-oauthlib==0.6.2
 selenium==2.53.1
@@ -89,14 +90,14 @@ webencodings==0.5.1
 cffi==1.7.0
 cryptography==1.4
 enum34==1.1.6
-idna==2.1
+idna==2.6
 ipaddress==1.0.16
 ndg-httpsclient==0.4.2
 pyOpenSSL==16.0.0
 pyasn1==0.1.9
 pycparser==2.14
 setuptools==25.0.0
-urllib3==1.16
+urllib3==1.22
 beautifulsoup4==4.6.0
 RISparser==0.4.2
 # include these 2 for development

vagrant/group_vars/all/secrets.yml

@@ -1,51 +1,51 @@
 $ANSIBLE_VAULT;1.1;AES256
-63376563643062623466613335633730323031653736643437643030303533383931666434323939
-3266633436313635643463333266356238316638326131610a653336303661326334323561623239
-65623834633736663861343464333764303865663934303533333031343934333635616333643631
-3933383131353062630a633133353430386437626130656632393230636664376438613862303466
-66343337303961303361353030313936626363383465316166316663643830313164646661363366
-66656630323437643031363237633439366434666537396464336364373134383061623364636635
-31393435326337373162333365386465633730323135383364383433366664353938303962313461
-61633835393963646666376562633731626639313438326235306335653639666635386566343033
-36383064653634613065303538346638363666326336643631616636623632376662323037633165
-32633662636531643366343963663439313439636335336435616666633863323433643930666536
-30623234313838616461383534663230616364336131383763316235356265363964636539316637
-61376433306366346362303439303665333961393239373263373365306363336334623536353031
-61636339353561303532383833336164346538396139373835633162323339333732373431613035
-62333739373832623762356364383035343937656337666439323830663235666637326134346531
-66386135323064333732663136396431616563653731343134363262373639333836623033656536
-38653931346337666566336331363631666238666638353237663065653164343936636239343631
-62636339396332663637643239376335343731643764343666356361623239383462313936366363
-32616638653666666638316563656366666361353538303133656433376637663532313666343631
-63633436336137653339653364616532333434623036396439343433613361626231613331373931
-64343232313839383332353036633633383762316531383936393539316531316336636537666439
-33613166613733346336643932363263663833366533623965623039313036373230396135343663
-66653336313437336561333630393365653133636263333031356562623332623733616464333262
-35333535396337616461353361616337613138363239656162323232346436336233633335376666
-63626661373639306665613431393735343937616539336233666235343936653932366337326663
-33353930653965623661383265643837306637363231656435663030393562623438623361353666
-36626635323837363733353365373738646230303436343834636666373165653937333130343637
-31666566643434653663626531383730666238306438656133303862626538613339626437633432
-64393432333834623339393631363932353862646332313062636565326135636138333931333431
-64633937356630326666373939343635323263373934306330393032316630646333363239313137
-65383666663063356430663965336463393537363266636431633362343263666234323463653532
-30376262656335653662656366636336336135626130303835326432366438393962616266373435
-39613234326136623263356131376239313136653131326632343739313137653833316434656265
-30323863383639363462613034353062393964333130656161306633306566646233356537313162
-65376237303961333239303630313831303232643831383036643166343164363934323138353234
-33623130383339343162636239343234393731626530326164643438633239343738306236623433
-37636662353263373866656564316334303736336566336636653937663566343261333335333437
-62313833353235393131326430323263383861366230663639363661383362363438373432346663
-62643166363633633134303836383239386236386361376533353330333930633530333139666462
-63623361356134333337643634393461343635363232313435656137303731326461653330613831
-66613536666635313539643130373132623965333863343930363761613031306664333732393564
-34333937326234383833306233386638323263323430613863346436643030353732356261643834
-62343230633034363839373965646133353238346261373538313833323264616531313965376537
-32646166326135306134356262353461626337663137323335613339646532636663326462393936
-30316265636335336138383930313138306366383766653866613532626366373463613436303638
-31333738306164613031626435373966323361626564666537396539313832613038363865366534
-62656565316466393366303137646431303231626534613031316561336233353137353265623032
-32616134366439363630376666343937633462613731613961343862303639373135373466363663
-34663235333431323764613330303539323164313332313331613761306439623232396436323138
-35623265613335636430323335313230373865633331303633613632306431323339396165626135
-3662393265643861393433333230353233366330646435343361
+64636439626632623833636366633136653733373531316266643663336632613035303563336664
+3163633033613732656536313030613263636331343139630a373432356362376136303463643637
+63393038386266313536356261633133353437363366386161616233353336336237373866633865
+6333613461666564390a346661343365663662613762643061343636383866623835316333663930
+35303839633239326666376437393664613039393235383838613439653239353831313238656530
+66313261313763666562343833663963613037636466623863383636343865626261386533383165
+35633331643361393265656333633330633064306161313566373131376235646531653063643565
+34313032643166636337313866383064383436653466303930663435393336333965333334303963
+39333232376437353765623832346366383833313962373632626232643636326436373233643237
+35353066646130363665313765386631646363663161383461626332616666396139656463376134
+39326234333138303130623963396430313037643263623037633139316362333332313933313035
+65656239333131346461383066656263393365326561316431613266303035636438366232373665
+30313265306332626566313165336437633035343063623630336139313166366136353666623934
+64616339653930333630316236363630356530663465613266643632313431376236356164663937
+62336361613739373030353761336366353764373231303433376435626334623637636637623832
+33373333623666306363646366393663353465396638623134313537303830333639333137343662
+65643865616139356161333239626165303165313730306434326431363032656337316337353739
+38653661316631643930343863326535313336323937633833323565326539376135376339323232
+30616236613034643935653866333465663837373861656536313333346637386632353139666539
+64643966313964393134396630343033633233353534353065363635383636363139303637366338
+64353835386537376363623062313862383637383430336464623566616336373836663835626331
+37633562303933646263646239306437653135633565303530333761326566336565613366303630
+32346436616135326262333930383130323562303465643065663562343832323364303737613764
+30623939303466306636376235613639363933343065376562353030326335663963353766313263
+34346266616239373264646439616536353762656536643738623662396231323334313261316331
+66356566626463363033316162626265353765653132346534663430653135353236333866653031
+37663636373133353465363635386561626666623532343832366536616634313065383531353538
+33633539373366396566333333653939313864663235663165363563326538656335306262393561
+32383831656638666464663462373462663662323833633735333764303363656161616235323464
+38353461306430363566633030386535656264616236393737343662613336353665666564343462
+34383365306166353236346533653333643465353061396135636362336239353231353463633361
+61623965643634396366656265303961623531306163373230626639303132306630356537623934
+63623732663562663231656439623266623034643336643839396534323363306364643534636233
+39353431323166326237663362353137633631333733303231386236356263613163656238326461
+63353162316366343465363662383631333761366262336235383862633630386362363135636232
+35386234646662376434646161633463353163313261333333636162303461623233626637363039
+39356263343632356333666633636437616431393062326230616132336462303231616635326237
+35616231643633386430363335383333386339353833323064393039303839653131316439623036
+37303236303535656466643037326337353766653666633933313330343930636532333666336638
+33376437383064646633366637623638623239663261376639343332363430656232373162356336
+65643331643036316136313737383934633731306466333639626230633465653338393932666636
+35613331323431386438356439613034363364643663623332303435363861353538623238393835
+36376432623361386237666233356638376537393536313335633361353566323963303864343461
+39386464613134666437393734376662386236303837626531613363373161343937333863656232
+63333766636465653666663261353939393363306665353832633938376362613061386665336665
+34373939623633666236326130643662643163666233643936636461613963643836373639336230
+65306337303261376232363239636634386638323238313566326234663331623535353433633431
+37313731663134323839336635366366336462363563373639646161376162313231396365323430
+64383739346161343030343635393935643931323237383030613662636630613935333061613961
+3665636339663830306630376237653762643333346563313939