Тормоз при загрузке памяти

[Валерий Афанасьев]

Это еще кто-нибудь заметил или только у меня? При загрузке в ТМ большого файла, скажем, на 800 тыс. сегментов программа (memoQ 2013 R2 6.8.55) тормозит нещадно, процесс загрузки занимает сутки или больше. В ранних версиях, даже в 6.8 без 5Х такого не наблюдалось? Если это не присущая именно данной версии проблема, а проблема в конфигурации моего компьютера, не посоветуете ли что мне у себя поправить? Ранее именно такая беда (катастрофически медленная загрузка ТМ) наблюдалась в Deja Vu из-за чего, собственно, я с Дежи на Мему переехал.

[AsIs]

Валерий, праздное любопытство: 800 тыс. сегментов... Это четырехколночная Библия соответственно на 4 языках?

[Валерий Афанасьев]

Ну, как бы, когда начинаешь память чистить, там мусора очень много. Частично вычистить удается, частично "фигня всякая" так и кочует из года в год, несмотря на чистку. Простой пример: в заголовке сидит слово Description. Варианты перевода: Название, Ниаменование, Описание и т.д. И каждое - свой отдельный сегмент. Другое дело, присылают всякие люди всякие свои собственные ТМ. Например, по сельскохозяйственной технике. Сами по себе эти комбайны-жатки-сеялки мне и нафик не сдались бы. Но ведь там внутри них редукторы, подшипники, втулки всякие и остальное железо общемеханического назначения. Вот так и набираются эти миллионы юнитов. Не говоря уже про уставы компаний БВО, Кипра и прочие. Не говоря уже про control valve в разных контекстах. Вот как-то так. Есть память рабочая, текущая. В ней, дай бог, 50 тыс. сегментов. И есть вот этот монстр, лежащий в глубинах, толку от него - чуть, но иногда на 50% конкорданса все же что-то всплывает. Я понимаю, что у каждого мастера своя технология. У меня вот такая.

Этих самых "чужих памятей" у меня - миллионов на пять или шесть. Реально пригодятся из их тысяч 10, хорошо

[Maxteams]

Валерий, не совсем понятна ваша мысль "загрузка большого файла". Какого формата файл? Сколько сегментов в загружаемом ТМ? Или вы создаете новый файл ТМ? Что вы имеете ввиду под словом "загрузка"? Ваше утверждение, что "процесс загрузки занимает сутки или больше" наводит на мысль, что "что-то неправильное происходит в Датском королевстве." MemoQ всегда отличалась от других "кошек" большой скоростью обработки файлов при их конвертации, будь то ТМ или ТВ. Я в Новогодние каникулы чистил свою ТМ. Конечная загрузка в ТМ заняла около 10-15 минут. А там было в несколько раз больше сегментов, чем в той ситуации, которую описываете вы. Правда у меня 6.5.18 (и никуда я переезжать пока на собираюсь). Если проблема для вас актуально, то я ""как пионер" всегда готов (кроме пятницы, конечно! Сами понимаете конец недели, пиво, баня со всеми вытекающими последствиями!) вам помочь в этом вопросе.

[Валерий Афанасьев]

Какого формата файл?

Или tmx, или tab-delimited text (txt), без разницы.

Сколько сегментов в загружаемом ТМ?

800 тысяч

Что вы имеете ввиду под словом "загрузка"?

Import from TMX/CSV

MemoQ всегда отличалась от других "кошек" большой скоростью обработки файлов при их конвертации

Совершенно согласен. Как раз и хочу понять, в чем и где возникла проблема: в версии memoQ 2013 R2 (на которую уже и без меня немало жалоб) или в каких-то конфликтах локального значения в моем компьютере. Оттого и вопрос возник, извиняюсь, если изначально был сформулирован некорректно: отмечались ли у кого-нибудь проблемы с загрузкой в ТМ больших (см. выше) файлов в версии МК 2013R2? Мне важно понять: поблема локальная (только у меня) или глобальная (дефект версии). Дополнительно могу сообщить, что при работе с 6.5.19 этой проблемы не возникает. Но в R2 имеются рюшечки, приятные, но недоступные в 6.5, оттого хотелось бы жить именно в среде R2.

[AsIs]

- Болван!
- Согласен...(с)
(С разбегу только понял, что речь о памяти, а не исходном файле...)

[Maxteams]

Дополнительно могу сообщить, что при работе с 6.5.19 этой проблемы не возникает. Но в R2 имеются рюшечки, приятные, но недоступные в 6.5, оттого хотелось бы жить именно в среде R2.

А что вам мешает все "телодвижения" с ТМ и ТВ делать в 6.5.19 и при этом спокойно "жить в R2"? Насколько я помню никаких изменений при переходе с 6.5 на R2 в ТМ и ТВ не происходят. Хотя могу и ошибаться. Я только один раз посмотрел R2, а потом ваш пост на Ruboard решил все мои сомнения.

[Валерий Афанасьев]

Видимо, так и придется делать. Пока же вопрос о том, действительно ли R2 гораздо тяжелее ворочает ТМ или какая-то беда у меня в компьютере остается неотвеченным. Тут работенка приехала, потолмачу, а потом в очереди есть еще один "миллионник", вот на нем и проверю. Отпишусь тогда.

[Andrew]

А сколько памяти в системе? Шустрый ли (и не слишком ли заполненный) диск? Что за ОС?

[Валерий Афанасьев]

А сколько памяти в системе? Шустрый ли (и не слишком ли заполненный) диск? Что за ОС?

Система вин 7 про 64, памяти 6 ГБ, диск жесткий 7200 об/мин, места много, процессор i7. Ноутбук HP EliteBook 8460p в верхней конфигурации, если что.

То, что дело не в системе и не в железе, я точно знаю. Ибо многие, гораздо более тяжелые программы и здоровенные файлы ворочаются как надо. Тут или баг программы или у меня в компьютере какие-то конфликты .... какой-нибудь парсинг или что там еще на уровне xml, С++, NET... не разбираюсь в этом.

Откатился на 6.5.19, попробую в ней эту тему порешать, тогда ясно станет.

[Andrew]

А свежие обновления все установлены?
Нет ли в системных логах предупреждений за время, когда выполнялись процедуры импорта-открытия ТМ?

[Валерий Афанасьев]

В общем, чтобы закрыть тему. Перешел на 6.5, все загружается как надо: tmx в 750 тыс. сегментов закинулась за ~15 минут. И это при том, что были одновременно еще открытые кое-какие жрущие память приложения. Т.е., все в порядке.

Вывод: R2, несмотря на то, что в версии 55 наобещали, что кучу багов подчистили, все еще глючновата. Будет время, еще поиграюсь.

Остался вопрос, есть ли в MQ место (файл конфигурации или еще что-то), где программе можно задать побольше памяти, типа -Xmx512m поменять на -Xmx2048m. Я искал, но не нашел.

ЗЫ: А тут еще и MQ2014 на подходе

[esperantisto]

типа -Xmx512m поменять на -Xmx2048m.

Это же для явашных программ (точнее, собственно, для самой Явы). А мемоКУ — нативная.

[Валерий Афанасьев]

типа -Xmx512m поменять на -Xmx2048m.

Это же для явашных программ (точнее, собственно, для самой Явы). А мемоКУ — нативная.

А... О... Понял. Спасибо, буду знать.

Взялся тут сдуру править ТМ прямо в Меме, задал в Find/Replace заменить все двойные пробелы на одинарные, прога поворочалась и нашла что-то около 7 тысяч замен. ОК, говорю ей, Commit changes. Она и зависла. Я знаю, что так делать нельзя и что мусор надо вычищать в Олифанте и т.п. Но вот же ж, захотелось попробовать. Попробовал, эх. Перезагружайся теперь. Ладно, хоть основной мусор скинул.

[esperantisto]

заменить все двойные пробелы на одинарные

…надо вычищать в Олифанте

Я бы такую задачу в любом случае делал в текстовом редакторе. Не нужно гонять экскаватор, чтобы ямку под саженец яблони выкопать.