From e1553f812185afed1c262c141321fd5f2d301c27 Mon Sep 17 00:00:00 2001 From: eric Date: Wed, 6 Jun 2018 17:29:12 -0400 Subject: [PATCH] switch to dockerized mobi --- core/mobi.py | 4 +- core/models/__init__.py | 7 +- requirements_versioned.pip | 9 +-- vagrant/group_vars/all/secrets.yml | 100 ++++++++++++++--------------- 4 files changed, 63 insertions(+), 57 deletions(-) diff --git a/core/mobi.py b/core/mobi.py index 87522369..07bbbc9d 100644 --- a/core/mobi.py +++ b/core/mobi.py @@ -16,11 +16,11 @@ def convert_to_mobi(input_url, input_format="application/epub+zip"): # using verify=False since at the moment, using a self-signed SSL cert. - payload = requests.get(input_url, verify=False).content + payload = requests.get(input_url).content headers = {'Content-Type': input_format} r = requests.post(mobigen_url, auth=(mobigen_user_id, mobigen_password), - data=payload, verify=False, headers=headers) + data=payload, headers=headers) # if HTTP reponse code is ok, the output is the mobi file; else error message if r.status_code == 200: diff --git a/core/models/__init__.py b/core/models/__init__.py index 6bcc8f3b..7136fd16 100755 --- a/core/models/__init__.py +++ b/core/models/__init__.py @@ -966,7 +966,12 @@ class Campaign(models.Model): # now make the mobi file new_mobi_ebf = EbookFile.objects.create(edition=edition, format='mobi', asking=True) - new_mobi_ebf.file.save(path_for_file('ebf', None), ContentFile(mobi.convert_to_mobi(new_epub_ebf.file.url))) + try: + new_mobi_file = ContentFile(mobi.convert_to_mobi(new_epub_ebf.file.url)) + except Exception as e: + logger.error("error making mobi for %s" % (new_epub_ebf.file.url)) + raise e + new_mobi_ebf.file.save(path_for_file('ebf', None), new_mobi_file) new_mobi_ebf.save() new_mobi_ebf.version = version new_ebfs.append(new_mobi_ebf) diff --git a/requirements_versioned.pip b/requirements_versioned.pip index b326b50a..0d8673ce 100644 --- a/requirements_versioned.pip +++ b/requirements_versioned.pip @@ -12,7 +12,8 @@ billiard==3.3.0.23 awscli==1.10.26 boto==2.42.0 celery==3.1.23 -certifi==2016.2.28 +certifi==2018.4.16 +chardet==3.0.4 # pip installing pillow seems to delete distribute # but having distribute in requirements starting to cause problems # distribute==0.6.28 @@ -70,7 +71,7 @@ rdflib==4.2.0 rdflib-jsonld==0.3 redis==2.10.3 reportlab==3.4.0 -requests==2.10.0 +requests==2.18.4 requests-mock==1.2.0 requests-oauthlib==0.6.2 selenium==2.53.1 @@ -89,14 +90,14 @@ webencodings==0.5.1 cffi==1.7.0 cryptography==1.4 enum34==1.1.6 -idna==2.1 +idna==2.6 ipaddress==1.0.16 ndg-httpsclient==0.4.2 pyOpenSSL==16.0.0 pyasn1==0.1.9 pycparser==2.14 setuptools==25.0.0 -urllib3==1.16 +urllib3==1.22 beautifulsoup4==4.6.0 RISparser==0.4.2 # include these 2 for development diff --git a/vagrant/group_vars/all/secrets.yml b/vagrant/group_vars/all/secrets.yml index d4a96e78..cfb9284f 100644 --- a/vagrant/group_vars/all/secrets.yml +++ b/vagrant/group_vars/all/secrets.yml @@ -1,51 +1,51 @@ $ANSIBLE_VAULT;1.1;AES256 -63376563643062623466613335633730323031653736643437643030303533383931666434323939 -3266633436313635643463333266356238316638326131610a653336303661326334323561623239 -65623834633736663861343464333764303865663934303533333031343934333635616333643631 -3933383131353062630a633133353430386437626130656632393230636664376438613862303466 -66343337303961303361353030313936626363383465316166316663643830313164646661363366 -66656630323437643031363237633439366434666537396464336364373134383061623364636635 -31393435326337373162333365386465633730323135383364383433366664353938303962313461 -61633835393963646666376562633731626639313438326235306335653639666635386566343033 -36383064653634613065303538346638363666326336643631616636623632376662323037633165 -32633662636531643366343963663439313439636335336435616666633863323433643930666536 -30623234313838616461383534663230616364336131383763316235356265363964636539316637 -61376433306366346362303439303665333961393239373263373365306363336334623536353031 -61636339353561303532383833336164346538396139373835633162323339333732373431613035 -62333739373832623762356364383035343937656337666439323830663235666637326134346531 -66386135323064333732663136396431616563653731343134363262373639333836623033656536 -38653931346337666566336331363631666238666638353237663065653164343936636239343631 -62636339396332663637643239376335343731643764343666356361623239383462313936366363 -32616638653666666638316563656366666361353538303133656433376637663532313666343631 -63633436336137653339653364616532333434623036396439343433613361626231613331373931 -64343232313839383332353036633633383762316531383936393539316531316336636537666439 -33613166613733346336643932363263663833366533623965623039313036373230396135343663 -66653336313437336561333630393365653133636263333031356562623332623733616464333262 -35333535396337616461353361616337613138363239656162323232346436336233633335376666 -63626661373639306665613431393735343937616539336233666235343936653932366337326663 -33353930653965623661383265643837306637363231656435663030393562623438623361353666 -36626635323837363733353365373738646230303436343834636666373165653937333130343637 -31666566643434653663626531383730666238306438656133303862626538613339626437633432 -64393432333834623339393631363932353862646332313062636565326135636138333931333431 -64633937356630326666373939343635323263373934306330393032316630646333363239313137 -65383666663063356430663965336463393537363266636431633362343263666234323463653532 -30376262656335653662656366636336336135626130303835326432366438393962616266373435 -39613234326136623263356131376239313136653131326632343739313137653833316434656265 -30323863383639363462613034353062393964333130656161306633306566646233356537313162 -65376237303961333239303630313831303232643831383036643166343164363934323138353234 -33623130383339343162636239343234393731626530326164643438633239343738306236623433 -37636662353263373866656564316334303736336566336636653937663566343261333335333437 -62313833353235393131326430323263383861366230663639363661383362363438373432346663 -62643166363633633134303836383239386236386361376533353330333930633530333139666462 -63623361356134333337643634393461343635363232313435656137303731326461653330613831 -66613536666635313539643130373132623965333863343930363761613031306664333732393564 -34333937326234383833306233386638323263323430613863346436643030353732356261643834 -62343230633034363839373965646133353238346261373538313833323264616531313965376537 -32646166326135306134356262353461626337663137323335613339646532636663326462393936 -30316265636335336138383930313138306366383766653866613532626366373463613436303638 -31333738306164613031626435373966323361626564666537396539313832613038363865366534 -62656565316466393366303137646431303231626534613031316561336233353137353265623032 -32616134366439363630376666343937633462613731613961343862303639373135373466363663 -34663235333431323764613330303539323164313332313331613761306439623232396436323138 -35623265613335636430323335313230373865633331303633613632306431323339396165626135 -3662393265643861393433333230353233366330646435343361 +64636439626632623833636366633136653733373531316266643663336632613035303563336664 +3163633033613732656536313030613263636331343139630a373432356362376136303463643637 +63393038386266313536356261633133353437363366386161616233353336336237373866633865 +6333613461666564390a346661343365663662613762643061343636383866623835316333663930 +35303839633239326666376437393664613039393235383838613439653239353831313238656530 +66313261313763666562343833663963613037636466623863383636343865626261386533383165 +35633331643361393265656333633330633064306161313566373131376235646531653063643565 +34313032643166636337313866383064383436653466303930663435393336333965333334303963 +39333232376437353765623832346366383833313962373632626232643636326436373233643237 +35353066646130363665313765386631646363663161383461626332616666396139656463376134 +39326234333138303130623963396430313037643263623037633139316362333332313933313035 +65656239333131346461383066656263393365326561316431613266303035636438366232373665 +30313265306332626566313165336437633035343063623630336139313166366136353666623934 +64616339653930333630316236363630356530663465613266643632313431376236356164663937 +62336361613739373030353761336366353764373231303433376435626334623637636637623832 +33373333623666306363646366393663353465396638623134313537303830333639333137343662 +65643865616139356161333239626165303165313730306434326431363032656337316337353739 +38653661316631643930343863326535313336323937633833323565326539376135376339323232 +30616236613034643935653866333465663837373861656536313333346637386632353139666539 +64643966313964393134396630343033633233353534353065363635383636363139303637366338 +64353835386537376363623062313862383637383430336464623566616336373836663835626331 +37633562303933646263646239306437653135633565303530333761326566336565613366303630 +32346436616135326262333930383130323562303465643065663562343832323364303737613764 +30623939303466306636376235613639363933343065376562353030326335663963353766313263 +34346266616239373264646439616536353762656536643738623662396231323334313261316331 +66356566626463363033316162626265353765653132346534663430653135353236333866653031 +37663636373133353465363635386561626666623532343832366536616634313065383531353538 +33633539373366396566333333653939313864663235663165363563326538656335306262393561 +32383831656638666464663462373462663662323833633735333764303363656161616235323464 +38353461306430363566633030386535656264616236393737343662613336353665666564343462 +34383365306166353236346533653333643465353061396135636362336239353231353463633361 +61623965643634396366656265303961623531306163373230626639303132306630356537623934 +63623732663562663231656439623266623034643336643839396534323363306364643534636233 +39353431323166326237663362353137633631333733303231386236356263613163656238326461 +63353162316366343465363662383631333761366262336235383862633630386362363135636232 +35386234646662376434646161633463353163313261333333636162303461623233626637363039 +39356263343632356333666633636437616431393062326230616132336462303231616635326237 +35616231643633386430363335383333386339353833323064393039303839653131316439623036 +37303236303535656466643037326337353766653666633933313330343930636532333666336638 +33376437383064646633366637623638623239663261376639343332363430656232373162356336 +65643331643036316136313737383934633731306466333639626230633465653338393932666636 +35613331323431386438356439613034363364643663623332303435363861353538623238393835 +36376432623361386237666233356638376537393536313335633361353566323963303864343461 +39386464613134666437393734376662386236303837626531613363373161343937333863656232 +63333766636465653666663261353939393363306665353832633938376362613061386665336665 +34373939623633666236326130643662643163666233643936636461613963643836373639336230 +65306337303261376232363239636634386638323238313566326234663331623535353433633431 +37313731663134323839336635366366336462363563373639646161376162313231396365323430 +64383739346161343030343635393935643931323237383030613662636630613935333061613961 +3665636339663830306630376237653762643333346563313939